很多伙伴对 Python 的迭代器、可迭代对象、生成器这几个概念有点搞不清楚,我来说说我的理解,希望对需要的朋友有所帮助。

1 迭代器协议

迭代器协议是核心,搞懂了这个,上面的几个概念也就很好理解了。

所谓迭代器协议,就是要求一个迭代器必须要实现如下两个方法

iterator.__iter__()

Return the iterator object itself.

iterator.__next__()

Return the next item from the container.

也就是说,一个对象只要支持上面两个方法,就是迭代器。__iter__() 需要返回迭代器本身,而 __next__() 需要返回下一个元素。

2 可迭代对象

知道了迭代器的概念,那可迭代对象又是啥呢?

这个更简单,只要对象实现了 __iter__() 方法,并且返回的是一个迭代器,那么这个对象就是可迭代对象。

比如我们常见的列表就是可迭代对象

>>> l = [1, 3, 5]
>>> iter(l)
<list_iterator object at 0x101a1d9e8>

使用 iter() 会调用对应的 __iter__() 方法,这里返回的是一个列表迭代器,所以说列表就是一个可迭代对象。

3 手写一个迭代器

迭代器的实现有不同的方式,相信大家首先能想到的就是自定义类,我们就从这个说起。

便于说明,我们手写一个迭代器,用于生成奇数序列。

按照迭代器协议,我们实现上述的两个方法。

class Odd:
def __init__(self, start=1):
self.cur = start def __iter__(self):
return self def __next__(self):
ret_val = self.cur
self.cur += 2
return ret_val

终端里,我们实例化一个 Odd 类得到一个对象 odd

>>> odd = Odd()
>>> odd
<__main__.Odd object at 0x101a1d9b0>

使用 iter() 方法会调用类里的 __iter__ 方法,得到它本身

>>> iter(odd)
<__main__.Odd object at 0x101a1d9b0>

使用 next() 方法会调用对应的 __next__() 方法,得到下一个元素

>>> next(odd)
1
>>> next(odd)
3
>>> next(odd)
5

其实,odd 对象就是一个迭代器了。

我们可以用 for 来遍历它

odd = Odd()
for v in odd:
print(v)

细心的伙伴可能会发现,这个其实会无限的打印下去,那怎么解决呢?

我们拿一个列表做做实验,先得到它的迭代器对象

>>> l = [1, 3, 5]
>>> li = iter(l)
>>> li
<list_iterator object at 0x101a1da90>

然后手动获取下一个元素,直到没有下一个元素为止,看下会发生什么

>>> next(li)
1
>>> next(li)
3
>>> next(li)
5
>>> next(li)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration

原来列表迭代器会在没有下一个元素的时候抛出 StopIteration 异常,估计 for 语句就是根据这个异常来确定是否结束。

我们修改一下原来的代码,能生成指定范围内的奇数

class Odd:
def __init__(self, start=1, end=10):
self.cur = start
self.end = end def __iter__(self):
return self def __next__(self):
if self.cur > self.end:
raise StopIteration
ret_val = self.cur
self.cur += 2
return ret_val

我们使用 for 试一下

>>> odd = Odd(1, 10)
>>> for v in odd:
... print(v)
...
1
3
5
7
9

果然,和预期一致。

我们用 while 循环模拟 for 的执行过程

目标代码

for v in iterable:
print(v)

翻译后的代码

iterator = iter(iterable)
while True:
try:
v = next(iterator)
print(v)
except StopIteration:
break

事实上 Python 的 for 语句原理也就是这样,可以将 for 理解为一个语法糖。

4 创建迭代器的其它方式

生成器其实也是迭代器,所以可以使用生成器的创建方式创建迭代器。

4.1 生成器函数

和普通函数的 return 返回不同,生成器函数使用 yield。

>>> def odd_func(start=1, end=10):
... for val in range(start, end + 1):
... if val % 2 == 1:
... yield val
...
>>> of = odd_func(1, 5)
>>> of
<generator object odd_func at 0x101a14200>
>>> iter(of)
<generator object odd_func at 0x101a14200>
>>> next(of)
1
>>> next(of)
3
>>> next(of)
5
>>> next(of)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration

4.2 生成器表达式

>>> g = (v for v in range(1, 5 + 1) if v % 2 == 1)
>>> g
<generator object <genexpr> at 0x101a142b0>
>>> iter(g)
<generator object <genexpr> at 0x101a142b0>
>>> next(g)
1
>>> next(g)
3
>>> next(g)
5
>>> next(g)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration

4.3 怎么选择

到现在为止,我们知道了创建迭代器的 3 种方式,那么该如何选择?

不用说也知道,最简单的就是生成器表达式,如果表达式能满足需求,那么就是它;如果需要添加比较复杂的逻辑就选生成器函数;如果前两者没法满足需求,那就自定义类实现吧。总之,选择最简单的方式就行。

5 迭代器的特点

5.1 惰性

迭代器并不是把所有的元素提前计算出来,而是在需要的时候才计算返回。

5.2 支持无限个元素

比如上面我们建立的第一个 Odd 类,它的实例 odd 表示大于 start 的所有奇数,而列表等容器没法容纳无限个元素的。

5.3 省空间

比如存 10000 个元素

>>> from sys import getsizeof
>>> a = [1] * 10000
>>> getsizeof(a)
80064

列表占用 80K 左右。

而迭代器呢?

>>> from itertools import repeat
>>> b = repeat(1, times=10000)
>>> getsizeof(b)
56

只占用了 56 个字节。

也正因为迭代器惰性的特点,才有了这个优势。

6 一些需要注意的细节

6.1 迭代器同时也是可迭代对象

因为迭代器的 __iter__() 方法返回了它自身,而正好它本身就是个迭代器,所以说迭代器也是可迭代对象。

6.2 迭代器遍历完一次就不能从头开始了

看一个奇怪的例子

>>> l = [1, 3, 5]
>>> li = iter(l)
>>> li
<list_iterator object at 0x101a1da90>
>>> 3 in li
True
>>> 3 in li
False

因为 li 是列表迭代器,第一次查找 3 的时候,找到了,所以返回 True,但是由于第一次迭代,已经跳过了 3 那个元素,第二次就找不到了,所以会出现 False。

因此,记得迭代器是「一次性」的。

当然,列表是可迭代对象,不管查找几次都是正常的。(不好理解的话,想想上面 for 语句的执行原理,每次都会从可迭代对象那通过 iter() 方法取到新的迭代器)

>>> 3 in l
True
>>> 3 in l
True

7 小节

  • 实现了迭代器协议的对象都是迭代器
  • 实现了 __iter__() 方法并返回迭代器的对象是可迭代对象
  • 生成器也是一种迭代器
  • 创建迭代器有三种方式,生成器表达式、生成器函数、自定义类,看情况选择最简单的就好
  • 迭代器同时也是可迭代对象
  • 迭代器是「一次性」的

前面 3 小项是重点,这 3 点理解了,其它的也都能领会。搞清楚标题的那几个名词的概念的自然也没有问题。

8 参考

原文链接:http://www.kevinbai.com/articles/25.html

关注「小小后端」公众号,更多干货等着你喔!

搞清楚 Python 的迭代器、可迭代对象、生成器的更多相关文章

  1. Python中的可迭代对象与迭代器对象

    刚刚学习Python,对“可迭代对象”和"迭代器对象"的个人理解,不知道对不对. 1.几个概念 (1)迭代工具:包括for循环.列表解析.in成员关系测试.....等等在内的,用于 ...

  2. 【Python】【容器 | 迭代对象 | 迭代器 | 生成器 | 生成器表达式 | 协程 | 期物 | 任务】

    Python 的 asyncio 类似于 C++ 的 Boost.Asio. 所谓「异步 IO」,就是你发起一个 IO 操作,却不用等它结束,你可以继续做其他事情,当它结束时,你会得到通知. Asyn ...

  3. python14 1.带参装饰器 | wrapper 了了解 # 2.迭代器 ***** # 可迭代对象 # 迭代器对象 # for迭代器 # 枚举对象

    ## 复习 '''函数的嵌套定义:在函数内部定义另一个函数 闭包:被嵌套的函数 -- 1.外层通过形参给内层函数传参 -- 2.验证执行 开放封闭原则: 功能可以拓展,但源代码与调用方式都不可以改变 ...

  4. 迭代器&迭代对象&生成器

    迭代器 & 迭代对象 & 生成器 包含__next__ 和 __iter__两个方法的对象为迭代器 __next__方法返回单个元素 __iter__方法返回迭代器本身 可迭代对象包含 ...

  5. Python中的可迭代对象

      Python中的可迭代对象有:列表.元组.字典.字符串:常结合for循环使用: 判断一个对象是不是可迭代对象: from collections import Iterable isinstanc ...

  6. python当中的 可迭代对象 迭代器

    学习python有一段时间了,在学习过程中遇到很多难理解的东西,做一下总结,希望能对其他朋友有一些帮助. 完全是个人理解,难免有错,欢迎其他大神朋友们批评指正. 1 迭代 什么是迭代呢??我们可以这样 ...

  7. Python生成器,迭代器,可迭代对象

    在了解Python的数据结构时,容器(container).可迭代对象(iterable).迭代器(iterator).生成器(generator).列表/集合/字典推导式(list,set,dict ...

  8. Python 生成器, 迭代器, 可迭代对象的区别

    1.可迭代对象 在python中, 一切皆对象, 但凡是可以用for循环进行遍历取值的对象都可以称之为可迭代对象, 可迭代对象在程序的一个执行周期中,可以无限轮次的进行循环遍历 2.迭代器 a.一个可 ...

  9. Python:容器、迭代对象、迭代器、生成器及yield关键字

            在了解Python的数据结构时,容器(container).可迭代对象(iterable).迭代器(iterator).生成器(generator).列表/集合/字典推导式(list, ...

随机推荐

  1. Spring中@Import的各种用法以及ImportAware接口

    @Import 注解 @Import注解提供了和XML中<import/>元素等价的功能,实现导入的一个或多个配置类.@Import即可以在类上使用,也可以作为元注解使用. @Target ...

  2. 面试官,不要再问我“Java GC垃圾回收机制”了

    Java GC垃圾回收几乎是面试必问的JVM问题之一,本篇文章带领大家了解Java GC的底层原理,图文并茂,突破学习及面试瓶颈. 楔子-JVM内存结构补充 在上篇<JVM之内存结构详解> ...

  3. 什么是IDS/IPS?

    目录   摘要 0x00 基于网络的IDS和IPS0x01 设计考虑因素0X02 IDS/IPS 总结           摘要 摘要 这篇文章主要介绍的是入侵检测系统(IDS)和入侵防御系统(IPS ...

  4. 移动端前端常见的触摸相关事件touch、tap、swipe

    前端的很多事件在PC端和浏览器端可公用,但有些事件却只在移动端产生,如触摸相关的事件 本文整理了移动端常见的一些事件,包括原生支持的click.touch.tap.swipe事件,也有定义型的gest ...

  5. Dart:1.Dart开发环境配置

    一 . Windows 环境 1 . choco 安装 Dart SDK 建议直接使用 choco 安装,关于 choco 如何使用可以参照 https://chocolatey.org/ 官方文档地 ...

  6. 2.Linux Bash认识

    虚拟机快照操作 1.什么是Bash shell? 它就是命令解释器,将用户输入的指令翻译给内核程序,内核处理完成之后将结果返回给Bash 2.Bash shell的用途? 几乎能完成所有的操作: 文件 ...

  7. Feign服务调用请求方式及参数总结

    前言 最近做微服务架构的项目,在用feign来进行服务间的调用.在互调的过程中,难免出现问题,根据错误总结了一下,主要是请求方式的错误和接参数的错误造成的.在此进行一下总结记录.以下通过分为三种情况说 ...

  8. 入门了解Service Mesh + Istio?从本文开始

    下周六,深圳,阔别已久的线下技术沙龙要和你见面啦! 现场有Rancher Labs研发经理demo刚刚发布的Rancher 2.3中的Istio.Windows容器.集群模板等功能及使用,还有k3s首 ...

  9. 查看java内存情况的几个常用命令

    java 命令简单查看jvm内存使用状况 jinfo:可以输出并修改运行时的java 进程的opts. jps:与unix上的ps类似,用来显示本地的java进程,可以查看本地运行着几个java程序, ...

  10. 【MongoDB详细使用教程】四、python操作MongoDB

    目录 1.安装pymongo 2.连接数据库 3.操作数据库 3.1.查 3.2.增 3.3.改 3.4.删 使用第三方库pymongo来实现python对MongoDB的操作 pymongo官方文档 ...