迭代器和生成器

一 、迭代的概念

#迭代器即迭代的工具,那什么是迭代呢?
#迭代是一个重复的过程,每次重复即一次迭代,并且每次迭代的结果都是下一次迭代的初始值
while True: #只是单纯地重复,因而不是迭代
print('===>') l=[1,2,3]
count=0
while count < len(l): #迭代
print(l[count])
count+=1

二、什么是迭代器协议

1、迭代器协议指:对象必须提供一个 next 方法,执行该方法要么返回迭代中的下一项,要么引起一个StopIteration异常,以终止迭代(只能往后不能往前退)

2、可迭代对象:实现了迭代器协议的对象(如何实现:对象内部定义了一个__iter__() 方法)

3、协议是一种约定,可迭代对象实现了迭代器协议,Python内部工具(如for循环,sum,min,max等)使用迭代器协议访问对象。

三、为何要有迭代器?什么是可迭代对象?什么是迭代器对象?

#1、为何要有迭代器?
对于序列类型:字符串、列表、元组,我们可以使用索引的方式迭代取出其包含的元素。但对于字典、集合、文件等类型是没有索引的
若还想取出其内部包含的元素,则必须找出一种不依赖于索引的迭代方式,这就是迭代器 #2、什么是可迭代对象?
可迭代对象指的是内置有 __iter__ 方法的对象,即 obj.__iter__,如下
'hello'.__iter__
(1,2,3).__iter__
[1,2,3].__iter__
{'a':1}.__iter__
{'a','b'}.__iter__
open('a.txt').__iter__ #3、什么是迭代器对象?
可迭代对象执行obj.__iter__()得到的结果就是迭代器对象
而迭代器对象指的是即内置有__iter__又内置有__next__方法的对象 文件类型是迭代器对象
open('a.txt').__iter__()
open('a.txt').__next__() #4、注意:
迭代器对象(obj.__iter__())一定是可迭代对象,而可迭代对象("hello")不一定是迭代器对象

四、 迭代器对象的使用

dic={'a':1,'b':2,'c':3}
iter_dic=dic.__iter__() #得到迭代器对象,迭代器对象即有__iter__又有__next__,但是:迭代器.__iter__()得到的仍然是迭代器本身
iter_dic.__iter__() is iter_dic #True print(iter_dic.__next__()) #等同于next(iter_dic)
print(iter_dic.__next__()) #等同于next(iter_dic)
print(iter_dic.__next__()) #等同于next(iter_dic)
# print(iter_dic.__next__()) #抛出异常StopIteration,或者说结束标志
补充:print(next(iter_dic))  # next()<===>iter_dic.__next__()
#有了迭代器,我们就可以不依赖索引迭代取值了
#下面是用一个while循环 模拟 for循环
li = [1,2,3,4,5]
# for i in li:
# print(i)
"""模拟for循环过程"""
iter_li = li.__iter__()
while True:
try:
print(iter_li.__next__())
except StopIteration:
# print("迭代完毕,循环结束!")
break #这么写太丑陋了,需要我们自己捕捉异常,控制next,python这么牛逼,能不能帮我解决呢?能,请看for循环

五、 for循环

#基于for循环,我们可以完全不再依赖索引去取值了
dic={'a':1,'b':2,'c':3}
for k in dic:
print(dic[k]) #for循环的工作原理
#1:执行in后对象的dic.__iter__()方法,得到一个迭代器对象iter_dic
#2: 执行next(iter_dic),将得到的值赋值给k,然后执行循环体代码
#3: 重复过程2,直到捕捉到异常StopIteration,结束循环

六、 迭代器的优缺点

#优点:
- 提供一种统一的、不依赖于索引的迭代方式
- 惰性计算,节省内存
#缺点:
- 无法获取长度(只有在next完毕才知道到底有几个值)
- 一次性的,只能往后走,不能往前退

一、什么是生成器

生成器可以理解为一种数据类型,这种数据类型自动实现迭代器协议(其他的数据类型需要调用自己的__iter__() 方法,所以生成器就是可迭代对象)

二、生成器在Python中的表现形式

1、生成器函数:常规函数定义,但是使用yield语句 而不是return 语句返回函数结果,碰到一个yield语句返回一个结果(def 函数只能有一个return 但是可以有多个yield),

在每个结果中间保留函数状态,下次执行__next__() 时从上次函数保留的状态处继续执行

#只要函数内部包含有yield关键字,那么函数名()的到的结果就是生成器,并且不会执行函数内部代码

def func():
print('====>first')
yield 1
print('====>second')
yield 2
print('====>third')
yield 3
print('====>end') g=func()
print(g) #<generator object func at 0x0000000002184360>

函数内部包含有yield

import time
def test():
print("开始生孩子了。。。")
yield "我" #第1次执行 __next__() 碰到一个yield 返回,函数保留到该状态
time.sleep(3)
print("开始生儿子了。。。") #第2次执行 __next__() 碰到一个yield 返回,函数保留到该状态
yield "儿子"
time.sleep(3)
print("开始生孙子了。。。") #第3次执行 __next__() 碰到一个yield 返回,函数保留到该状态
yield "孙子"
time.sleep(3)
print("开始生重孙子了。。。") #第4次执行 __next__() 碰到一个yield 返回,函数保留到该状态
yield "重孙子" res = test()
print(res) #<generator object test at 0x00000174FBCF10A0>
print(res.__next__()) #开始生孩子了。。。 我
print(res.__next__()) #开始生儿子了。。。 儿子
print(res.__next__()) #开始生孙子了。。 孙子
print(res.__next__()) #开始生重孙子了。。 重孙子

案例1

2、生成器表达式:类似于列表推导,但是生成器返回按需产生结果的一个对象,而不是一次性构建一个结果列表(优点:可以节省内存)

补充:三元表达式和列表解析

# 三元表达式
name = "xiong"
# name = "wang"
res = "帅哥" if name == "xiong" else "sb"
print(res) li1 = ["鸡蛋%s"%i for i in range(10)] #二元列表解析
li2 = ["鸡蛋%s"%i for i in range(10) if i>5] #三元列表解析
print(li1)
print(li2)
li3 = ("鸡蛋%s"%i for i in range(10) if i>5) #生成器表达式
print(li3) #<generator object <genexpr> at 0x000002230C8F1048>
print(li3.__next__())
print(li3.__next__())

总结:

1、把列表解析的 [] 换成 () 得到的就是生成器表达式

2、列表解析和生成器表达式都是一种便利的编程方式,只不过生成器表达式更省内存

3、Python不但使用迭代器协议让for循环变得更加通用,而且大部分内置函数也使用迭代器协议访问对象。

例如:sum()  max()  min()  sorted()

# 可以直接使用sum求和
ss1 = sum(x**2 for x in range(10))
print(ss1)
# 不需要多此一举先构造一个列表
ss2 = sum([x**2 for x in range(10)])
print(ss2)

三、为何使用生成器及生成器的优点

Python使用生成器对延迟操作提供了支持。所谓延迟操作,是指在需要的时候才产生结果,而不是立即产生结果存在内存中。这样生成器节省了内存

生成器总结:

1、是可迭代对象

2、实现延迟操作,省内存(可以保留函数运行状态,碰到一个yield返回,下次再运行__next__() 从上次停下来的地方继续运行)

3、生成器本质和其他数据类型一样,都是实现了迭代器协议,只不过生成器附加了延迟操作省内存的特点,而其他可迭代对象没有这个优点

四、生成器总结

综上已经对生成器有了一定的认识,下面我们以生成器函数为例进行总结

  • 语法上和函数类似:生成器函数和常规函数几乎是一样的。它们都是使用def语句进行定义,差别在于,生成器使用yield语句返回一个值,而常规函数使用return语句返回一个值
  • 自动实现迭代器协议:对于生成器,Python会自动实现迭代器协议,以便应用到迭代背景中(如for循环,sum函数)。由于生成器自动实现了迭代器协议,所以,我们可以调用它的next方法,并且,在没有值可以返回的时候,生成器自动产生StopIteration异常
  • 状态挂起:生成器使用yield语句返回一个值。yield语句挂起该生成器函数的状态,保留足够的信息,以便之后从它离开的地方继续执行

优点一:生成器的好处是延迟计算,一次返回一个结果。也就是说,它不会一次生成所有的结果,这对于大数据量处理,将会非常有用。

#列表解析
sum([i for i in range(100000000)])#内存占用大,机器容易卡死 #生成器表达式
sum(i for i in range(100000000))#几乎不占内存

优点二:生成器还能有效提高代码可读性

#求一段文字中,每个单词出现的位置
def index_words(text):
result = []
if text:
result.append(0)
for index, letter in enumerate(text, 1):
if letter == ' ':
result.append(index)
return result print(index_words('hello alex da sb'))

不使用迭代器

#求一段文字中每个单词出现的位置
def index_words(text):
if text:
yield 0
for index, letter in enumerate(text, 1):
if letter == ' ':
yield index g=index_words('hello alex da sb')
print(g)
print(g.__next__())
print(g.__next__())
print(g.__next__())
print(g.__next__())
print(g.__next__())#报错

使用迭代器

这里,至少有两个充分的理由说明 ,使用生成器比不使用生成器代码更加清晰:

  1. 使用生成器以后,代码行数更少。大家要记住,如果想把代码写的Pythonic,在保证代码可读性的前提下,代码行数越少越好
  2. 不使用生成器的时候,对于每次结果,我们首先看到的是result.append(index),其次,才是index。也就是说,我们每次看到的是一个列表的append操作,只是append的是我们想要的结果。使用生成器的时候,直接yield index,少了列表append操作的干扰,我们一眼就能够看出,代码是要返回index。

这个例子充分说明了,合理使用生成器,能够有效提高代码可读性。只要大家完全接受了生成器的概念,理解了yield语句和return语句一样,也是返回一个值。那么,就能够理解为什么使用生成器比不使用生成器要好,能够理解使用生成器真的可以让代码变得清晰易懂。

注意事项:生成器只能遍历一次(母鸡一生只能下一定数量的蛋,下完了就死掉了)

人口信息.txt文件内容
{'name':'北京','population':10}
{'name':'南京','population':100000}
{'name':'山东','population':10000}
{'name':'山西','population':19999} def get_provice_population(filename):
with open(filename) as f:
for line in f:
p=eval(line)
yield p['population']
gen=get_provice_population('人口信息.txt') all_population=sum(gen)
for p in gen:
print(p/all_population) 执行上面这段代码,将不会有任何输出,这是因为,生成器只能遍历一次。在我们执行sum语句的时候,就遍历了我们的生成器,当我们再次遍历我们的生成器的时候,将不会有任何记录。所以,上面的代码不会有任何输出。 因此,生成器的唯一注意事项就是:生成器只能遍历一次。

人口信息

def test():
for i in range(4):
yield i g=test() g1=(i for i in g)
g2=(i for i in g1) print(list(g1))
print(list(g2))

生成器只能用一次

def add(n,i):
return n+i def test():
for i in range(4):
yield i g=test()
for n in [1,10]:
g=(add(n,i) for i in g) print(list(g))

yield面试题1

import os

def init(func):
def wrapper(*args,**kwargs):
g=func(*args,**kwargs)
next(g)
return g
return wrapper @init
def list_files(target):
while 1:
dir_to_search=yield
for top_dir,dir,files in os.walk(dir_to_search):
for file in files:
target.send(os.path.join(top_dir,file))
@init
def opener(target):
while 1:
file=yield
fn=open(file)
target.send((file,fn))
@init
def cat(target):
while 1:
file,fn=yield
for line in fn:
target.send((file,line)) @init
def grep(pattern,target):
while 1:
file,line=yield
if pattern in line:
target.send(file)
@init
def printer():
while 1:
file=yield
if file:
print(file) g=list_files(opener(cat(grep('python',printer())))) g.send('/test1')

协程应用:grep -rl /dir

五、练习

1、自定义函数模拟range(1,7,2)

2、模拟管道,实现功能:tail -f access.log | grep '404'

#题目一:
def my_range(start,stop,step=1):
while start < stop:
yield start
start+=step #执行函数得到生成器,本质就是迭代器
obj=my_range(1,7,2) #1 3 5
print(next(obj))
print(next(obj))
print(next(obj))
print(next(obj)) #StopIteration #应用于for循环
for i in my_range(1,7,2):
print(i) #题目二
import time
def tail(filepath):
with open(filepath,'rb') as f:
f.seek(0,2)
while True:
line=f.readline()
if line:
yield line
else:
time.sleep(0.2) def grep(pattern,lines):
for line in lines:
line=line.decode('utf-8')
if pattern in line:
yield line for line in grep('',tail('access.log')):
print(line,end='') #测试
with open('access.log','a',encoding='utf-8') as f:
f.write('出错啦404\n')

生产者消费者模型(吃包子案例--->实现并发)

def consumer(name):
print('我是[%s],我准备开始吃包子了' %name)
while True:
baozi=yield
time.sleep(1)
print('%s 很开心的把【%s】吃掉了' %(name,baozi)) def producer():
c1=consumer('wupeiqi')
c2=consumer('yuanhao_SB')
c1.__next__()
c2.__next__()
for i in range(10):
time.sleep(1)
c1.send('包子 %s' %i)
c2.send('包子 %s' %i)
producer() ##输出结果
我是[wupeiqi],我准备开始吃包子了
我是[yuanhao_SB],我准备开始吃包子了
wupeiqi 很开心的把【包子 0】吃掉了
yuanhao_SB 很开心的把【包子 0】吃掉了
wupeiqi 很开心的把【包子 1】吃掉了
yuanhao_SB 很开心的把【包子 1】吃掉了
wupeiqi 很开心的把【包子 2】吃掉了
yuanhao_SB 很开心的把【包子 2】吃掉了
wupeiqi 很开心的把【包子 3】吃掉了
yuanhao_SB 很开心的把【包子 3】吃掉了
wupeiqi 很开心的把【包子 4】吃掉了
yuanhao_SB 很开心的把【包子 4】吃掉了
wupeiqi 很开心的把【包子 5】吃掉了
yuanhao_SB 很开心的把【包子 5】吃掉了
wupeiqi 很开心的把【包子 6】吃掉了
yuanhao_SB 很开心的把【包子 6】吃掉了
wupeiqi 很开心的把【包子 7】吃掉了
yuanhao_SB 很开心的把【包子 7】吃掉了
wupeiqi 很开心的把【包子 8】吃掉了
yuanhao_SB 很开心的把【包子 8】吃掉了
wupeiqi 很开心的把【包子 9】吃掉了
yuanhao_SB 很开心的把【包子 9】吃掉了

参考:

https://www.cnblogs.com/bingabcd/p/6691730.html

https://www.cnblogs.com/linhaifeng/articles/7580428.html

【Python基础】迭代器、生成器的更多相关文章

  1. Python基础-迭代器&生成器&装饰器

    本节内容 迭代器&生成器 装饰器 Json & pickle 数据序列化 软件目录结构规范 作业:ATM项目开发 1.列表生成式,迭代器&生成器 列表生成式 我现在有个需求,看 ...

  2. python基础—迭代器、生成器

    python基础-迭代器.生成器 1 迭代器定义 迭代的意思是重复做一些事很多次,就像在循环中做的那样. 只要该对象可以实现__iter__方法,就可以进行迭代. 迭代对象调用__iter__方法会返 ...

  3. python基础——迭代器

    python基础——迭代器 我们已经知道,可以直接作用于for循环的数据类型有以下几种: 一类是集合数据类型,如list.tuple.dict.set.str等: 一类是generator,包括生成器 ...

  4. 十三. Python基础(13)--生成器进阶

    十三. Python基础(13)--生成器进阶 1 ● send()方法 generator.send(value) Resumes the execution, and "sends&qu ...

  5. 十二. Python基础(12)--生成器

    十二. Python基础(12)--生成器 1 ● 可迭代对象(iterable) An object capable of returning its members one at a time. ...

  6. python函数-迭代器&生成器

    python函数-迭代器&生成器 一.迭代器 1 可迭代协议 迭代:就是类似for循环,将某个数据集内的数据可以“一个挨着一个取出来” 可迭代协议: ① 协议内容:内部实现__iter__方法 ...

  7. python基础--迭代器、生成器

    (1)迭代器 可迭代对象和迭代器的解释如下: ''' 什么是对象?Python中一切皆对象,之前我们讲过的一个变量,一个列表,一个字符串,文件句柄,函数名等等都可称作一个对象,其实一个对象就是一个实例 ...

  8. 【python】迭代器&生成器

    源Link:http://www.cnblogs.com/huxi/archive/2011/07/01/2095931.html 迭代器 迭代器是访问集合元素的一种方式.迭代器对象从集合的第一个元素 ...

  9. python基础-迭代器和生成器

    一.递归和迭代 1.递归:(问路示例) 递归算法是一种直接或者间接地调用自身算法的过程.在计算机编写程序中,递归算法对解决一大类问题是十分有效的,它往往使算法的描述简洁而且易于理解. 2.迭代:简单理 ...

  10. python基础(八)生成器,迭代器,装饰器,递归

    生成器 在函数中使用yield关键字就会将一个普通的函数变成一个生成器(generator),普通的函数只能使用return来退出函数,而不执行return之后的代码.而生成器可以使用调用一个next ...

随机推荐

  1. LuoguP1268树的重量【构造/思维】By cellur925

    题目传送门 Description 给你一个矩阵$M$,$M(i,j)$表示$i$到$j$的最短距离.定义树的重量为树上各边权之和,对于任意给出的合法矩阵$M$,已知它所能表示树的重量是唯一确定的.给 ...

  2. SPRING-BOOT系列之Spring4快速入门

    上节 : spring boot简介 接着上章节的spring boot简介,我们会发现boot是基于spring的,其中最重要的就是spring容器了.那么本章着重介绍spring容器装配自定义be ...

  3. [已读]HTML5与CSS3设计模式

    我想说,不要被书名骗了,其实并没有涉及丁点h5与css3的内容,但是确实称得上比较详细的一本关于css的书.看它的页数就知道了,481~~ 今年上半年看完的,现在想想,觉得自己还是蛮拼的.内容会比较枯 ...

  4. 数位dp知识

    转自http://blog.csdn.net/zhaoxinfan/article/details/8707605 下面先给出数位DP的背景: •在给定区间[A,B]内,找满足要求的数. •要求一般和 ...

  5. AJPFX简述Context.startService()和Context.bindService

    Context.startService()和Context.bindService 服务不能自己运行,需要通过调用Context.startService()或Context.bindService ...

  6. CF963A Alternating Sum

    思路:利用周期性转化为等比数列求和. 注意当a != b的时候 bk * inv(ak) % (109 + 9)依然有可能等于1,不知道为什么. 实现: #include <bits/stdc+ ...

  7. <meta>详解

    一.元数据和<meta> 元数据是描述以提供关于其他数据的数据,在<meta>中,html document是被描述的数据,meta标签中包括的数据是描述html docume ...

  8. EventBus 报“Subscriber class already registered to event class”错误

    这句子的话意思也很容易理解,“接收者类已经被注册为事件类了”. 之前我是这么写: 事件注册是写在onStart()里面的 @Override protected void onStart() { su ...

  9. Google的Java编程风格指南

    作者:Hawstein出处:http://hawstein.com/posts/google-java-style.html声明:本文采用以下协议进行授权: 自由转载-非商用-非衍生-保持署名|Cre ...

  10. C# 图片打印杂谈

    日常开头水一下,看了下上次博客,一年零八天了,啧啧,奢侈. 最近这个工作挺满意的,是我想要的发展方向,后续要做机器学习,现在得先把公司之前堆积的问题解决了. 谈人生到此结束,还是说正题吧.(感觉这标题 ...