python生成器原理剖析

python生成器原理剖析

函数的调用满足“后进先出”的原则，也就是说，最后被调用的函数应该第一个返回，函数的递归调用就是一个经典的例子。显然，内存中以“后进先出”方式处理数据的栈段是最适合用于实现函数调用的载体，在编译型程序语言中，函数被调用后，函数的参数，返回地址，寄存器值等数据会被压入栈，待函数体执行完毕，将上述数据弹出栈。这也意味着，一个被调用的函数一旦执行完毕，它的生命周期就结束了。

在python这样的解释型语言中，函数的调用也是依赖栈的。之前说过，python的标准解释器是用C写的。解释器用一个叫做PyEval_EvalFrameEx的C函数来执行python程序。对于一个python中的函数，解释器接受一个python的栈帧对象，并在这个栈帧的上下文中执行python字节码。

我们来看看这样一个例子：

import dis
def foo():
    bar()
def bar():
    pass
print(dis.dis(foo))

我们用dis模块可以查看python程序的字节码，下面是函数foo()的字节码：

0 LOAD_GLOBAL              0 (bar)
2 CALL_FUNCTION            0
4 POP_TOP
6 LOAD_CONST               0 (None)
8 RETURN_VALUE

foo函数将bar加载到栈中并调用它，然后从栈中弹出返回值，最后加载并返回None，当PyEval_EvalFrameEx遇到CALL_FUNCTION字节码的时候，它会创建一个新的python栈帧，然后用这个新的帧作为参数递归调用PyEval_EvalFrameEx来执行bar。不过有一点要注意的是，python解释器是个普通的C程序，所以它的堆栈帧就是普通的堆栈。但是它操作的python堆栈帧是分配在堆上的，所以python的栈帧可以在它的调用之外存活。而且可以显式的保存下来。

这是python生成器的技术基础，下面是一个生成器：

def gen():
    yield 1
    yield 2
g = gen()
next(g)
print(type(g))

返回的结果是：

<class 'generator'>

调用gen()产生的所有生成器都指向同一个代码对象，但是每个都有自己的堆栈帧。这个堆栈帧并不存在于实际的堆栈上，它在堆内存上等待着被使用。

堆栈帧有个“last instruction”指针，指向最近执行的那条指令。刚开始的时候last instruction指针是-1意味着生成器尚未开始,这就是为什么上面的例子中有next(g)这行代码。生成器可以在任何时候被任何函数恢复执行，因为它的栈帧实际上不在栈上而是在堆上。生成器在调用调用层次结构中的位置不是固定的，也不需要遵循常规函数执行时遵循的先进后出顺序。因为这些特性，生成器不仅能用于生成可迭代对象，还可以用于实现多任务协作。