ql的python学习之路-day10

前言：本节主要讲解迭代器和生成器

迭代器&生成器

一、生成器（generator）

循环占用大部分的容量内存，如果只需要循环前面的几个结果那怎么样做呢，在python中有一种一边循环一边计算的机制，称为生成器：generator，就能解决这个问题。

生成器只有在调用的时候才会产生相应的数据，用__next（）__方法调用（2.7版本里是next（）），生成器只能记录当前的位置，不能后退也不能记录以后的数据。

实例：斐波那契数列中的生成器

 #!/usr/bin/env python
 # -*- coding:utf-8 -*-
 # Author:qinjiaxi
 def fib(max):
     n, a, b = 0, 0, 1#初始化
     while n < max:#循环
         yield b
         #print(b)#打印b
         a, b = b, a + b
         n += 1
     return "done"#异常的时候打印的消息
 
 #抓异常
 g = fib(6)
 while True:
     try:
         x = next(g)
         print("g:", x)
     except StopIteration as e:
         print("Generator return value:", e.value)
         break
 #调用生成器
 f = fib(10)
 print(f)#打印生成器对象的内存地址
 print(next(f))#取第一个值
 print(f.__next__())#取第二个值
 print(next(f))#取第三个值
 print("---start loop---")
 for i in f:#循环取剩下的数据
     print(i)
 #注：当用next（）方法调用次数超过设定值时，会产生异常
 
 #理解其中的a, b = b, a + b
 t = (b, a + b)#实际有个临时变量t，t是一个元组
 a = t[0]
 b = t[1]
 #t不会显式的出现在代码中

生成器实际工作中的应用：协程(单线程并行处理)，异步io处理

yeild作用是保存当前状态并返回，无返回值（返回值是None）

next方法调用yield，send方法调用yield并给yield传值,yield后面加上一个变量，可以返回变量

协程1源码：

 #!/user/bin/env python
 #-*-coding:utf-8 -*-
 #Author: qinjiaxi
 import time
 def consumer(name):
     print("%s准备吃包子了" % name)
     while True:
         baozi = yield
         print("包子[%s]被%s吃了" % (baozi, name))
 
 c = consumer('ql')
 #next(c)#停在yield位置（中断，返回迭代值）
 #c.__next__()#从yield下一句开始执行，由于默认没有给yield传递参数所以返回的是None，执行完后又回到yield这一行
 #c.__next__()
 #c.send("韭菜馅的")#send方法可以调用yield并且给yield传送参数
 
 def producer(name):
     c = consumer('A')
     c1 = consumer('B')
     c.__next__()#A准备吃包子了
     c1.__next__()#B准备吃包子了
     print("%s开始做包子了" % name)
     for i in range(10):
         time.sleep(1)
         print("做了一个包子分两半")
         c.send(i)#传递i到A的yield，给A的yield赋值
         c1.send(i)#传递i到B的yield，给B的yield赋值
 producer('qinlang')

协程2源码：

 #!/user/bin/env python
 #-*-coding:utf-8 -*-
 #Author: qinjiaxi
 import time
 def consumer():
     r = ''#初始化r
     while True:
         n = yield r#将值传给n，然后执行下一句，碰到r变量再返还r给producer函数
         print("[consumer] is consuming %s " % n)
         r = '200 is ok'
 
 def producer(c):
     c.send(None)
     n = 0
     while n < 5:
         n = n + 1
         time.sleep(1)
         print("[producer] is producting %s" % n)
         r = c.send(n)
         print("[producer] cousumer return %s" % r)
     # for i in range(6):
     #     time.sleep(1)
     #     print('[producer] is producing %s ' % i)
     #     r = c.send(i)#传n值给生成器yield
     #     print('[producer] consumer return %s' % r)
     c.close()#关闭生成器
 c = consumer()
 producer(c)

结论：

一个带有yield的函数就是一个generator，它和普通函数不一样，生成器generator看起来像函数，其实不会执行任何函数代码，直到对其调用next（）方法（在for循环中会自动调用next（）方法）才会执行。虽然执行仍然像函数一样执行，其实当执行到yield时候就会中断并返回一个迭代值，当再次调用next（）方法时从yield下一句开始执行。看起来就好像一个函数在正常执行的时候被yield中断了数次，每次中断都会通过yield返回迭代值。

二、迭代器（Iterator）

我们知道能直接作用于for循环的数据类型有以下几种：

一类是集合数据类型，如list、tuple、str、set、dict

一类是generator，包括生成器和带yield的generator function

*这些可以直接作用于for循环的对象统称为可迭代对象：Iterable

可以使用isinstance（）来判断一个对象是否是iterable对象：

 >>> from collections import Iterable
 >>> isinstance([], Iterable)
 True
 >>> isinstance('abc', Iterable)
 True
 >>> isinstance({}, Iterable)
 True
 >>> isinstance((i for i in range(10)), Iterable)
 True
 >>> isinstance(100, Iterable)
 False

生成器不但可以作用于for循环，还可以被next（）函数不断的调用并返回下一个值，直到最后抛出StopIteration错误表示无法继续返回下一个值。

*可以被next（）函数调用并且不断返回下一个值的对象称为迭代器：Iterator

可以使用isinstance（）来判断一个对象是否是interator对象：

 >>> from collections import Iterator
 >>> isinstance([], Iterator)
 False
 >>> isinstance({}, Iterator)
 False
 >>> isinstance((i for i in range(10)), Iterator)
 True

由上可知生成器都是Iterator对象，但list、dict、str虽然是Iterable但不是Iterator。

把list、dict、str等Iterable变成Iterator可以使用iter（）函数：

 >>> isinstance(iter([]), Iterator)
 True
 >>> isinstance(iter('abc'), Iterator)
 True
 >>> isinstance(iter({}), Iterator)
 True

为什么list、dict、str等数据不是Iterator？

因为python的Iterator对象表示的是一个数据流，Iterator对象可以被next（）函数调用并不断的返回下一个数据，直到没有数据时抛出StopIteration错误。可以把数据流看做是一个有序序列，但是我们提前并不知道序列的长度，只有通过next（）函数按需继续下一个数据，所以Iterator的计算是惰性的，只有在需要返回下一个数据的时候才计算。

Iterator甚至可以表示一个无限大的数据流，例如全体自然数。但是list是永远不可能村粗全体自然数的。

小结：

凡是可作用于for循环的对象都是Iterable类型（可迭代类型）；

凡是可以作用于next（）函数的对象都是Iterator类型（迭代器类型），它们表示一个惰性的计算序列；

集合数据类型例如list、dict、str等都是Iterable（可迭代对象）但不是Iterator（迭代器），可以通过iter（）函数获得一个迭代对象。

Python的for循环的本质就是不断的通过调用next（）函数实现的。

python3.0中range（10）其实是一个迭代器

python2.x中xrange（10）是迭代器