Python【第五课】迭代器，生成器，数据序列化

本节内容

1. 列表生成式，生成器，迭代器

2. Json & pickle 数据序列化

1.列表生成式，生成器，迭代器

1.1 列表生成式

列表生成式？不就是生成个列表的表达式，恩~~~ 差不多。

一般生成一个列表怎么生成，如下方法可以实现

# 可以生成一个顺序的列表
a = list(range(10))
print(a)

要生成一个不是顺序的列表要怎么做呢？想想~~~，哈哈，还是看我的吧。

# 输出一个偶数列表
a = map(lambda x:x*2,range(1,11))
print(a)
for i in a:
    print(i)

其实还有一种写法：

# 这就叫做列表生成式
a = [i*2 for i in range(10)]
print(a)

列表生成式的其他玩法：

# 如果x可以整除3，返回x的平方
a = [x*x for x in range(10) if x %3 ==0]
print(a)
# 输出所有0,1,2中两个数组成的元组的列表
a = [(x,y) for x in range(3) for y in range(3)]
print(a)
# 把两个列表中的相同数据输出
a = [(x,y) for x in range(100000) for y in range(100) if x == y ]
print(a)

1.2 生成器

通过列表生成式，我们可以直接创建一个列表。但是，受到内存限制，列表容量肯定是有限的。而且，创建一个包含100万个元素的列表，不仅占用很大的存储空间，如果我们仅仅需要访问前面几个元素，那后面绝大多数元素占用的空间都白白浪费了。

所以，如果列表元素可以按照某种算法推算出来，那我们是否可以在循环的过程中不断推算出后续的元素呢？这样就不必创建完整的list，从而节省大量的空间。在Python中，这种一边循环一边计算的机制，称为生成器：generator。

要创建一个generator，有很多种方法。第一种方法很简单，只要把一个列表生成式的[]改成()，就创建了一个generator：

# 把列表生成式的'[]'改为'()'，就变为了一个生成器
a = (i*2 for i in range(10))
for i in a:
    print(i)

创建列表生成式和生成器的区别仅在于最外层的[]和()。


我们可以直接打印出list的每一个元素，但我们怎么打印出generator的每一个元素呢？

如果要一个一个打印出来，可以通过next()函数获得generator的下一个返回值：

a = (i*2 for i in range(5))  # 方便测试，改为range(5)
print(next(a),next(a),next(a),next(a),next(a))
print(next(a))
# 输出
# 0 2 4 6 8
# 以下为部分报错信息：
# print(next(a))
# StopIteration

我们讲过，generator保存的是算法，每次调用next(g)，就计算出生成器的下一个元素的值，直到计算到最后一个元素，没有更多的元素时，抛出StopIteration的错误。

当然，上面这种不断调用next(g)实在是太变态了，正确的方法是使用for循环，因为generator也是可迭代对象：

所以，我们创建了一个generator后，基本上永远不会调用next()，而是通过for循环来迭代它，并且不需要关心StopIteration的错误。

generator非常强大。如果推算的算法比较复杂，用类似列表生成式的for循环无法实现的时候，还可以用函数来实现。

a = (i*2 for i in range(5))  # 方便测试，改为range(5)
for i in a :
    print(i,end=' ')  # 配置end=' '，使输出显示在同一行

插入一个知识点：

# 赋值语句
a, b = b, a + b
# 相当于：
t = (b, a + b) # t是一个tuple
a = t[0]
b = t[1]
# 但不必显式写出临时变量t就可以赋值。

著名的斐波拉契数列（Fibonacci），除第一个和第二个数外，任意一个数都可由前两个数相加得到：

例如：1, 1, 2, 3, 5, 8, 13, 21, 34, ...

斐波那契数列用列表生成式写不出来，但是，用函数把它打印出来却很容易：

# 显示斐波那契数的前N个数：
def fib(max):
    n, a, b = 0, 0, 1
    while n < max:
        print(b,end=' ')
        a, b = b, a + b
        n = n + 1
fib(5)
# 输出
# 1 1 2 3 5 

可以看出，fib函数实际上是定义了斐波拉契数列的推算规则，可以从第一个元素开始，推算出后续任意的元素，这种逻辑其实非常类似generator。

也就是说，上面的函数和generator仅一步之遥。要把fib函数变成generator，只需要把print(b)改为yield b就可以了：

def fib(max):
    n, a, b = 0, 0, 1
    while n < max:
        # print(b,end=' ')
        yield b  # 这就是定义generator的另一种方法。如果一个函数定义中包含yield关键字，那么这个函数就不再是一个普通函数，而是一个generator：
        a, b = b, a + b
        n = n + 1
# fib(5)
f=fib(5)
print(f)
for i in f:
　　print(i,end=' ')  # 相当于 print(next(f),next(f),next(f),next(f),next(f))

# 输出
# <generator object fib at 0x00000010829ECF68>
# 1 1 2 3 5

这里，最难理解的就是generator和函数的执行流程不一样。函数是顺序执行，遇到return语句或者最后一行函数语句就返回。而变成generator的函数，在每次调用next()的时候执行，遇到yield语句返回，再次执行时从上次返回的yield语句处继续执行。

f=fib(5)
print(next(f))
print('hello,world!')
print(next(f))
print(next(f))
print(next(f))
 
# 输出
# 1
# hello world!
# 1
# 2
# 3

next方法和for循环的方法都可以取出generator的值，两种方式各有各的好处。

在使用next时，如果generator的值取完后会有报错。怎么处理呢，先大概的提一下。

def fib(max):
    n, a, b = 0, 0, 1
    while n < max:
        # print(b,end=' ')
        yield b
        a, b = b, a + b
        n = n + 1
 
f=fib(5)
 
while True:
    try:
        print(next(f))
    except StopIteration:
        print('数字取完了!')
        break
# 输出结果自己去试试吧。

还可通过yield实现在单线程的情况下实现并发运算的效果

# yield 并发
import time
def consumer(name):
    print("%s-->来了" % name)
    while True:
        baozi = yield
        print('%s 吃了包子 %s' % (name,baozi))
 
def shengchanzhe():
    c = consumer('刘浩')
    c2 = consumer('小强')
    c.__next__()
    c2.__next__()
    print("我开始了卖包子之路")
    for i in range(10):
        time.sleep(1)
        print(''.center(50,'-'))
        print("做第%s个包子" %i )
        c.send(i)
        c2.send(i)
 
shengchanzhe()

1.3 迭代器

我们已经知道，可以直接作用于for循环的数据类型有以下几种：

一类是集合数据类型，如list、tuple、dict、set、str等；

一类是generator，包括生成器和带yield的generator function。

这些可以直接作用于for循环的对象统称为可迭代对象：Iterable。

可以使用isinstance()判断一个对象是否是Iterable对象：

# 判断对象是否可迭代
from collections import Iterable
print(isinstance([],Iterable))
print(isinstance({},Iterable))
print(isinstance((),Iterable))
print(isinstance('',Iterable))
print(isinstance(100,Iterable))

而生成器不但可以作用于for循环，还可以被next()函数不断调用并返回下一个值，直到最后抛出StopIteration错误表示无法继续返回下一个值了。

*可以被next()函数调用并不断返回下一个值的对象称为迭代器：Iterator。

# 判断对象是否是迭代器
from collections import Iterator
print(isinstance([],Iterator))
print(isinstance({},Iterator))
print(isinstance((),Iterator))
print(isinstance('',Iterator))
print(isinstance(100,Iterator))
print(isinstance((x for x in range(10)),Iterator))

生成器都是Iterator对象，但list、dict、str虽然是Iterable，却不是Iterator。

把list、dict、str等Iterable变成Iterator可以使用iter()函数：

from collections import Iterator
print(isinstance(iter([]),Iterator))
print(isinstance(iter([]),Iterator))

为什么list、dict、str等数据类型不是Iterator？

因为Python的Iterator对象表示的是一个数据流，Iterator对象可以被next()函数调用并不断返回下一个数据，直到没有数据时抛出StopIteration错误。可以把这个数据流看做是一个有序序列，但我们却不能提前知道序列的长度，只能不断通过next()函数实现按需计算下一个数据，所以Iterator的计算是惰性的，只有在需要返回下一个数据时它才会计算。

Iterator甚至可以表示一个无限大的数据流，例如全体自然数。而使用list是永远不可能存储全体自然数的。

2 Json & pickle 数据序列化

用于序列化的两个模块

• json，用于字符串 和 python数据类型间进行转换
• pickle，用于python特有的类型 和 python的数据类型间进行转换

Json模块提供了四个功能：dumps、dump、loads、load

pickle模块提供了四个功能：dumps、dump、loads、load

1.1 Json

Json是不同语言直接常使用的一种序列化方法。

Json可以序列化简单的数据类型，例如字符串、列表、字典、元组、集合等。

import json
date = {
    'name':'40kuai',
    'age':22
}
# 序列化
f = open('date.json','w',encoding='utf-8')
f.write(json.dumps(date)) # 是将数据通过特殊形式转化为所有语言都认识的字符串
f.close()
# 反序列化
f = open('date.json',encoding='utf-8')
date=json.loads(f.read())
print(date['name'])  # 从文件中取出数据，还原为原有的数据类型
f.close()
# 输出
# 40kuai

Json还有两个方法分别和dumps和loads有什么区别呢？

json.dump和json.load可以接收文件对象的参数，也就是说可以在序列化和反序列化的时候把文件对象传给json，让json自来读取或写入数据到文件。

还是上边的代码再来一遍：

import json
date = {
    'name':'40kuai',
    'age':22
}
# 序列化
f = open('date.json','w',encoding='utf-8')
# f.write(json.dumps(date)) # 是将数据通过特殊形式转化为所有语言都认识的字符串
json.dump(date,f)
f.close()
# 反序列化
f = open('date.json',encoding='utf-8')
# date=json.loads(f.read())
date = json.load(f)
print(date['name'])  # 从文件中取出数据，还原为原有的数据类型
f.close()

1.2 Pickle

Pickle 是Python语言使用的一种序列化方法。

Pickle 可以序列化任何Python的数据类型，是Python专有的。

下面来演示下picle的序列化和反序列化：

# 序列化
import pickle
date = {
    'name':'40kuai',
    'age':22
}
 
f = open('date.pickle','wb')
pickle.dump(date,f)
# f.write(pickle.dumps(date))
f.close()

# 反序列化
import pickle
 
f = open('date.pickle','rb')
# date = pickle.loads(f.read())
date = pickle.load(f)
print(date['name'])

如有不完善的地方...你看着办吧。