Python generator和yield介绍
Python生成器(generator)并不是一个晦涩难懂的概念。相比于MetaClass和Closure等概念,其较为容易理解和掌握。但相对于程序结构:顺序、循环和分支而言其又不是特别的直观。无论学习任何的东西,概念都是非常重要的。正确树立并掌握一些基础的概念是灵活和合理运用的前提,本文将以一种通俗易懂的方式介绍一下generator和yield表达式。
1. Iterator与Iterable
首先明白两点:
- Iterator(迭代器)是可迭代对象;
- 可迭代对象并不一定是Iterator;
比较常见的数据类型list、tuple、dict等都是可迭代的,属于collections.Iterable类型;
迭代器不仅可迭代还可以被内置函数next调用,属于collections.Iterator类型;
迭代器是特殊的可迭代对象,是可迭代对象的一个子集。
将要介绍的gererator(生成器)是types.GeneratorType类型,也是collections.Iterator类型。
也就是说生成器是迭代器,可被next调用,也可迭代。
三者的包含关系:(可迭代(迭代器(生成器)))
迭代器:可用next()函数访问的对象;
生成器:生成器表达式和生成器函数;
2. Python生成器
python有两种类型的生成器:生成器表达式和生成器函数。
由于生成器可迭代并且是iterator,因此可以通过for和next进行遍历。
2.1 生成器表达式
把列表生成式的[]改成()便得到生成器表达式。
>>> gen = (i + i for i in xrange(10))
>>> gen
<generator object <genexpr> at 0x0000000003A2DAB0>
>>> type(gen)
<type 'generator'>
>>> isinstance(gen, types.GeneratorType) and isinstance(gen, collections.Iterator) and isinstance(gen, collections.Iterable)
True
>>>
2.2 生成器函数
python函数定义中有关键字yield,该函数便是一个生成器函数,函数调用返回的是一个generator.
def yield_func():
for i in xrange(3):
yield i
gen_func = yield_func()
for yield_val in gen_func:
print yield_val
生成器函数每次执行到yield便会返回,但与普通函数不同的是yield返回时会保留当前函数的执行状态,再次被调用时可以从中断的地方继续执行。
2.3 next与send
通过for和next可以遍历生成器,而send则可以用于向生成器函数发送消息。
def yield_func():
for i in xrange(1, 3):
x = yield i
print 'yield_func',x
gen_func = yield_func()
print 'iter result: %d' % next(gen_func)
print 'iter result: %d' % gen_func.send(100)
结果:
iter result: 1
yield_func 100
iter result: 2
简单分析一下执行过程:
- line_no 5 调用生成器函数yield_func得到函数生成器gen_func;
- line_no 6 使用next调用gen_func,此时才真正的开始执行yield_func定义的代码;
- line_no 3 执行到yield i,函数yield_func暂停执行并返回当前i的值1.
- line_no 6 next(gen_func)得到函数yield_func执行到yield i返回的值1,输出结果iter result: 1;
- line_no 7 执行gen_func.send(100);
- line_no 3 函数yield_func继续执行,并将调用者send的值100赋值给x;
- line_no 4 输出调用者send接收到的值;
- line_no 3 执行到yield i,函数yield_func暂停执行并返回当前i的值2.
- line_no 7 执行gen_func.send(100)得到函数yield_func运行到yield i返回的值2,输出结果iter result: 2;
如果在上面代码后面再加一行:
print 'iter result: %d' % next(gen_func)
结果:
iter result: 1
yield_func 100
iter result: 2
yield_func None
File "G:\Cnblogs\Alpha Panda\Main.py", line 22, in <module>
print 'iter result: %d' % next(gen_func)
StopIteration
yield_func只会产生2个yield,但是我们迭代调用了3次,会抛出异常StopIteration。
next和send均会触发生成器函数的执行,使用for遍历生成器函数时不要用send。原因后面解释。
2.4 生成器返回值
使用了yield的函数严格来讲已经不是一个函数,而是一个生成器。因此函数中yield和return是不能同时出现的。
SyntaxError: 'return' with argument inside generator
生成器只能通过yield将每次调用的结果返回给调用者。
2.5 可迭代对象转成迭代器
list、tuple、dict等可迭代但不是迭代器的对象可通过内置函数iter转化为iterator,便可以通过next进行遍历;
这样的好处是可以统一使用next遍历所有的可迭代对象;
tup = (1,2,3)
for ele in tup:
print ele + ele
上面的代码等价于:
tup_iterator = iter(tup)
while True:
try:
ele = next(tup_iterator)
except StopIteration:
break
print ele + ele
for循环使用next遍历一个迭代器,混合使用send可能会导致混乱的遍历流程。
其实到这里生成器相关的概念基本已经介绍完成了,自己动手过一遍应该能弄明白了。为了更加深刻的体会生成器,下面我们在往前走一步。
3. range与xrange
在Python 2中这两个比较常用,看一下两者的区别:
- range为一个内置函数,xrange是一个类;
- 前者返回一个list,后者返回一个可迭代对象;
- 后者遍历操作快于前者,且占用更少内存;
这里xrange有点类似于上面介绍的生成器表达式,虽然xrange返回的并不是生成器,但两者均返回并不包含全部结果可迭代对象。
3.1 自定义xrange的Iterator版本
作为一个iterator:
The iterator objects themselves are required to support the following two methods, which together form the iterator protocol:
iterator.
__iter__
()Return the iterator object itself. This is required to allow both containers and iterators to be used with the
for
andin
statements. This method corresponds to thetp_iter
slot of the type structure for Python objects in the Python/C API.
iterator.
next
()Return the next item from the container. If there are no further items, raise the
StopIteration
exception. This method corresponds to thetp_iternext
slot of the type structure for Python objects in the Python/C API.
下面我们自定义class my_xrange:
class my_xrange(object):
def __init__(self, start, stop = None, step = 1):
""" 仅仅为了演示,假设start, stop 和 step 均为正整数 """
self._start = 0 if stop is None else start
self._stop = start if stop is None else stop
self._step = step
self._cur_val = self._start def __iter__(self):
return self def next(self):
if self._start <= self._cur_val < self._stop:
cur_val = self._cur_val
self._cur_val += self._step
return cur_val
raise StopIteration
测试结果:
import collections
myxrange = my_xrange(0, 10, 3)
res = []
for val in myxrange:
res.append(val)
print res == range(0, 10, 3) # True
print isinstance(myxrange, collections.Iterator) # True
print isinstance(myxrange, types.GeneratorType) # False
3.2 使用函数生成器
下面使用函数生成器定义一个generator版的xrange。
def xrange_func(start, stop, step = 1):
""" 仅仅为了演示,假设start, stop 和 step 均为正整数 """
cur_val = start
while start <= cur_val and cur_val < stop:
yield cur_val
cur_val += step
isinstance(myxrange, collections.Iterator) and isinstance(myxrange, types.GeneratorType) is True
上面两个自定义xrange版本的例子,均说明生成器以及迭代器保留数列生成过程的状态,每次只计算一个值并返回。这样只要占用很少的内存即可表示一个很大的序列。
4. 应用
不管是迭代器还是生成器,对于有大量有规律的数据产生并需要遍历访问的情景均适用,占用内存少而且遍历的速度快。其中一个较为经典的应用为斐波那契数列(Fibonacci sequence)。
这里以os.walk遍历目录为例来说明yield的应用。如果我们需要遍历一个根目录下的所有文件并根据需要进行增删改查。可能会遇到下列的问题:
预先遍历且缓存结果,但是目录下文件可能很多,而且会动态改变;如果不缓存,多个地方可能会频繁的需要访问这一结果导致效率低下。
这时候可以使用yield定义一个生成器函数。
def get_all_dir_files(target_dir):
for root, dirs, files in os.walk(target_dir):
for file in files:
file_path = os.path.join(root, file)
yield os.path.realpath(file_path) def file_factory(file):
""" do something """ target_dir = './'
all_files = get_all_dir_files(target_dir)
for file in all_files:
file_factory(file)
限于篇幅,就先介绍到这里,希望本文能让你对生成器有一个新的认识。
Python generator和yield介绍的更多相关文章
- Python generator 的yield (enumerate)
生成杨辉三角 1 1 1 1 2 1 1 3 3 1 1 4 6 4 1 1 5 10 10 5 1 def triangles(max): L = [1,] while len(L) - 1 < ...
- python generator与coroutine
python generator与coroutine 协程 简单介绍 协程,又称微线程,纤程,英文名Coroutine.协程是一种用户态的轻量级线程,又称微线程.协程拥有自己的寄存器上下文和栈,调度 ...
- 关于Python中的yield
关于Python中的yield 在介绍yield前有必要先说明下Python中的迭代器(iterator)和生成器(constructor). 一.迭代器(iterator) 在Python中,f ...
- Python:笔记(7)——yield关键字
Python:笔记(7)——yield关键字 yield与生成器 所谓生成器是一个函数,它可以生成一个值的序列,以便在迭代中使用.函数使用yield关键字可以定义生成器对象. 一个例子 我们调用该函数 ...
- python协程--yield和yield from
字典为动词“to yield”给出了两个释义:产出和让步.对于 Python 生成器中的 yield 来说,这两个含义都成立.yield item 这行代码会产出一个值,提供给 next(...) 的 ...
- Python生成器(yield)
对于调用一个普通的Python函数,一般是从函数的第一行代码开始执行,结束于return语句.异常或者函数所有语句执行完毕.一旦函数将控制权交还给调用者,就意味着全部结束.函数中做的所有工作以及保存在 ...
- python Scrapy安装和介绍
python Scrapy安装和介绍 Windows7下安装1.执行easy_install Scrapy Centos6.5下安装 1.库文件安装yum install libxslt-devel ...
- RUF MVC5 Repositories Framework Generator代码生成工具介绍和使用
RUF MVC5 Repositories Framework Generator代码生成工具介绍和使用 功能介绍 这个项目经过了大半年的持续更新到目前的阶段基本稳定 所有源代码都是开源的,在gith ...
- (转) Python Generators(生成器)——yield关键字
http://blog.csdn.net/scelong/article/details/6969276 生成器是这样一个函数,它记住上一次返回时在函数体中的位置.对生成器函数的第二次(或第 n 次) ...
随机推荐
- BZOJ_1697_[Usaco2007 Feb]Cow Sorting牛排序_贪心
BZOJ_1697_[Usaco2007 Feb]Cow Sorting牛排序_贪心 Description 农夫JOHN准备把他的 N(1 <= N <= 10,000)头牛排队以便于行 ...
- 关于CocoaPods的ruby镜像文件问题
项目遇到第三方库更新问题 时 用到cocoaPods更换淘宝ruby镜像问题的时候 报错 后来 又在别处找了下 发现 用的是 https 如下: 后来细想 可能跟Xcode7 要求HTTPs ...
- 解决jenkins slave 中文乱码 encoding=ANSI_X3.4-1968
jenkins配置slave进行构建时,发现slave构建的控制台输入中文乱码,查看master,slave的jenkins系统信息 file.encoding和sun.jnu.encoding都没有 ...
- Windows上安装配置SSH教程(3)——在Windows系统上安装与配置WinSCP
知识点汇总:http://www.cnblogs.com/feipeng8848/p/8559803.html -------------------- 首先确认客户端已经安装了OpenSSH.安装方 ...
- [CTF隐写]png中CRC检验错误的分析
[CTF隐写]png中CRC检验错误的分析 最近接连碰到了3道关于png中CRC检验错误的隐写题,查阅了相关资料后学到了不少姿势,在这里做一个总结 题目来源: bugku-MISC-隐写2 bugku ...
- 【工具篇】接口测试神器 -- Postman 入门教程
一.Postman概述 (1)工具介绍 Postman是一个接口测试工具,一款非常流行的API调试工具.在做接口测试的时候,Postman相当于一个客户端,它可以模拟用户发起的各类HTTP请求,将请求 ...
- .Net Core使用Redis(CSRedis)
前言 CSRedis是国外大牛写的.git地址:https://github.com/2881099/csredis,让我们看看如果最简单的 使用一下CSRedis吧. 引入NuGet 获取Nuget ...
- Netty源码—二、server启动(2)
我们在使用Netty的时候的初始化代码一般如下 EventLoopGroup bossGroup = new NioEventLoopGroup(); EventLoopGroup workerGro ...
- WebApi用户登录验证及服务器端用户状态存取
最近项目需要给手机端提供数据,采用WebApi的方式,之前的权限验证设计不是很好,这次采用的是Basic基础认证. 1.常见的认证方式 我们知道,asp.net的认证机制有很多种.对于WebApi也不 ...
- js数组中的find(), findIndex(), filter(), forEach(), some(), every(), map(), reduce()方法的详解和应用实例
1. find()与findIndex() find()方法,用于找出第一个符合条件的数组成员.它的参数是一个回调函数,所有数组成员依次执行该回调函数,直到找出第一个返回值为true的成员,然后返回该 ...