python函数式编程之生成器
在前面的学习过程中,我们知道,迭代器有两个好处:
一是不依赖索引的统一的迭代方法
二是惰性计算,节省内存
但是迭代器也有自己的显著的缺点,那就是
不如按照索引取值方便
一次性,只能向后取值,不能向前取值
所以我们还需要学习另外一种对象,那已经生成器
1.什么是生成器
如果一个函数体内部包含yield关键字,该函数就是生成器函数,执行该函数就得到一个生成器对象
2.得到生成器
先来看下面的代码
def foo():
print("first...")
yield
print("second...")
yield
print("third...")
g=foo()
print(g)
根据上面生成器的定义:函数体内部包含yield关键字,则该函数就是生成器函数
,则上面的函数执行结果就是一个生成器对象
执行上面的代码,查看程序执行结果
<generator object foo at 0x0000000001DF2BF8>
可以看出:上面的函数执行的结果g就是一个生成器对象,上面的函数foo就是一个生成器函数
3.生成器的内置方法
修改上面的代码,调用dir方法查看生成器中包含的方法
def foo():
print("first...")
yield
print("second...")
yield
print("third...")
g=foo()
print(dir(g))
打印生成器内部的方法,可以看到打印的结果
['__class__', '__del__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__iter__', '__le__', '__lt__', '__name__', '__ne__', '__new__', '__next__', '__qualname__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', 'close', 'gi_code', 'gi_frame', 'gi_running', 'gi_yieldfrom', 'send', 'throw']
在这些结果中,可以看到有__iter__方法
和__next__方法
,由此可以判断出生成器的本质就是迭代器
,生成器是迭代器的一种
4.判断生成器是否是迭代器
修改上面的代码
def foo():
print("first...")
yield
print("second...")
yield
print("third...")
g=foo()
from collections import Iterable
print(isinstance(g,Iterable))
查看打印结果
True
上面的两个例子都可以证明:生成器的本质是迭代器,生成器就是迭代器的一种
5.生成器的 __iter__方法
和__next__方法
既然生成器的本质是迭代器,那么调用生成器的 __iter__方法
和__next__方法
,得到的结果会是什么呢
修改上面的代码
def foo():
print("first...")
yield
print("second...")
yield
print("third...")
g=foo()
print(g)
print(g.__iter__())
g.__next__()
程序执行结果
<generator object foo at 0x0000000001DF2BF8>
<generator object foo at 0x0000000001DF2BF8>
first...
从上面的程序的执行结果可以看出:直接打印生成器g和调用生成器g.__iter__方法,得到的结果都是生成器对象g 在内存中的地址
调用g.__next__
方法,实际上就是从生成器g中取出一个值,执行一次g.__next__
方法,触发一次生成器的取值操作,这个过程在上面的代码中表现为foo函数的向下执行过程
从上面的程序的执行结果中可以看到,只执行了foo函数的第一个print函数,并没有执行第二个和第三个print函数。
通常对函数来说,函数开始执行以后直到return语句,函数才会停止执行
在这里执行一次g.__next__
方法,foo函数中执行了一行代码,遇到yield就停止了,在这里yield好像起到了return的作用。
实际上,yield关键字的功能之一就是起到返回的作用
上面的程序执行遇到yield,本次g.__next__
方法执行完毕。
在函数的执行过程中,如果函数的return语句有返回值,则函数的执行完成就得到return语句的返回值,
如果return没有定义返回值或者函数中没有定义return语句,则函数的执行结果默认为None
修改上面的代码,打印__next__
方法的执行结果
def foo():
print("first...")
yield
print("second...")
yield
print("third...")
g=foo()
print(g.__next__())
程序执行结果
first...
None
可以看到,调用__next__
方法时,yield后没接任何参数时,yield默认的返回值也是None
6.yield后面接返回值
那如果在yield关键字后接一个返回值,程序执行结果会是怎么样的呢
修改上面的代码,在yield关键字后接一个返回值,看程序的执行结果
def foo():
print("first...")
yield 1
print("second...")
yield 2
print("third...")
g=foo()
print(g.__next__())
程序执行结果
first...
1
从上面的程序的执行结果可以看出,yield会把其后面接的数返回,作为__next__
方法的执行结果
7.yield与return的不同点
在函数中,不管一个函数中定义了多少个return语句,函数在执行到第一个return语句的时候就会中止,其后面的语句将不会被继续执行
而对于yield来说,每调用一次__next__
方法,程序会从开始向下执行,直到遇到yield语句,程序暂停,等到第二次调用 __next__
方法,程序会从上次暂停的地方继续向下执行,直到遇到下一个yield或者程序执行完成
在上面的例子里,是使用yield把函数foo变成一个生成器,执行foo函数时,并不会立即执行foo函数,而是先得到生成器g,当调用一次`g.__next__`方法时,函数foo开始向下执行,遇到yield时,程序暂停,当下一次调用`g.__next__`方法时,函数foo继续从上一次暂停的地方开始向下执行,直到遇到yield暂停
8.生成器的StopIteration
修改程序,多次调用__next__
方法,查看程序的执行结果
def foo():
print("first...")
yield
print("second...")
yield
print("third...")
g=foo()
print(g)
print(g.__iter__())
g.__next__()
print('*'*30)
g.__next__()
print('#'*30)
g.__next__()
程序执行结果
<generator object foo at 0x0000000001DF2BF8>
<generator object foo at 0x0000000001DF2BF8>
first...
******************************
second...
##############################
third...
Traceback (most recent call last):
File "E:/py_code/test.py", line 28, in <module>
g.__next__()
StopIteration
从上面程序的执行结果可以看出,每调用一次生成器的__next__
方法,会得到一个返回值,就相当于从迭代器中取一个值。
如果程序在执行过程中,没有得到返回值,这就说明迭代器的最后一个值已经被遍历完成了,所以此时再调用__next__
方法,程序就会抛出异常
9.生成器的for循环遍历
在前面的学习中已经知道,生成器本质上就是一个迭代器
。既然是迭代器,那么当然可以使用for循环来遍历生成器
修改上面的例子,使用for循环来遍历生成器
def foo():
print("first...")
yield 1
print("second...")
yield 2
print("third...")
g=foo()
for i in g:
print(i)
print("*"*30)
查看程序的执行结果
first...
1
******************************
second...
2
******************************
third...
在上面的例子里,每执行一次for循环,就相当于是执行一次g.__next__
方法,yield会返回其后所接的数字,所以for循环前两次的执行结果都是print函数和yield后接的数字
for循环执行到第三次的时候,执行完print函数,程序会抛出StopIteration
异常,但是StopIteration
的异常会被for循环捕捉到,所以for循环执行第三次只执行了print语句
10.总结:
yield关键字的功能:
与return的功能类似,都可以返回值,但不一样的地方在于一个函数中可以多次调用yield来返回值
为函数封装好了`__iter__方法`和`__next__方法`,把函数的执行结果变成了迭代器
`遵循迭代器的取值方式(obj.__next__())`,触发的函数的执行,函数暂停与再继续都由yield保存
11.示例:使用yield模拟linux中的命令:tail -f | grep 'error' | grep '404'
代码如下:
import time
def tail(file_path, encoding='utf-8'):
with open(file_path, encoding=encoding) as f:
f.seek(0, 2)
while True:
line = f.readline()
if line:
yield line
else:
time.sleep(0.5)
def grep(lines, pattern):
for line in lines:
if pattern in line:
yield line
g1 = tail('a.txt')
g2 = grep(g1, 'error')
g3 = grep(g2, '404')
for i in g3:
print(i)
python函数式编程之生成器的更多相关文章
- Python高级编程之生成器(Generator)与coroutine(一):Generator
转载请注明出处:点我 这是一系列的文章,会从基础开始一步步的介绍Python中的Generator以及coroutine(协程)(主要是介绍coroutine),并且详细的讲述了Python中coro ...
- Python函数式编程:从入门到走火入魔
一行代码显示"爱心" >>> print]+(y*-)**-(x**(y*<= ,)]),-,-)]) Python函数式编程:从入门到走火入魔 # @fi ...
- python函数式编程,列表生成式
1.python 中常见的集中存储数据的结构: 列表 集合 字典 元组 字符串 双队列 堆 其中最常见的就是列表,字典. 2.下面讲一些运用循环获取字典列表的元素 >>> dic={ ...
- (转)Python函数式编程——map()、reduce()
转自:http://www.jianshu.com/p/7fe3408e6048 1.map(func,seq1[,seq2...]) Python 函数式编程中的map()函数是将func作用于se ...
- python 函数式编程学习笔记
函数基础 一个函数就是将一些语句集合在一起的部件,它们能够不止一次地在程序中运行.函数的主要作用: 最大化的代码重用和最小化代码冗余 流程的分解 一般地,函数讲的流程是:告诉你怎样去做某事,而不是让你 ...
- python 函数式编程:高阶函数,map/reduce
python 函数式编程:高阶函数,map/reduce #函数式编程 #函数式编程一个特点就是,允许把函数本身作为参数传入另一个函数,还允许返回一个函数 #(一)高阶函数 f=abs f print ...
- Python高级编程之生成器(Generator)与coroutine(二):coroutine介绍
原创作品,转载请注明出处:点我 上一篇文章Python高级编程之生成器(Generator)与coroutine(一):Generator中,我们介绍了什么是Generator,以及写了几个使用Gen ...
- Python函数式编程(进阶2)
转载请标明出处: http://www.cnblogs.com/why168888/p/6411915.html 本文出自:[Edwin博客园] Python函数式编程(进阶2) 1. python把 ...
- Python函数式编程——map()、reduce()
文章来源:http://www.pythoner.com/46.html 提起map和reduce想必大家并不陌生,Google公司2003年提出了一个名为MapReduce的编程模型[1],用于处理 ...
随机推荐
- 【Learning】最小点覆盖(二分图匹配) 与Konig定理证明
(附一道例题) Time Limit: 1000 ms Memory Limit: 128 MB Description 最小点覆盖是指在二分图中,用最小的点集覆盖所有的边.当然,一个二分图的最小 ...
- day2(字符串、格式化输出、运算符、流程控制)
一.字符串 在Python中,加了引号的字符都被认为是字符串! 单引号.双引号.多引号的区别? 单引号和 双引号没有任何区别,但是某种情况下需要单双配合 如 msg = " My name ...
- python爬虫之基本知识
随着数据的海量增长,我们需要在互联网上选取所需要的数据进行自己研究的分析和实验.这就用到了爬虫这一技术,下面就跟着小编一起初遇python爬虫! 一.请求-响应 在利用python语言实现爬虫时,主要 ...
- 普通权限拿webshell
普通权限拿webshell: 1.0day拿webshell:这个不多说.可以去网上搜索一些, 比如你找到你搞的网站cms是discz的,你可以搜索一些相 关0day直接拿 2.修改网站上传类 ...
- mysql常用基础操作语法(十)~~子查询【命令行模式】
mysql中虽然有连接查询实现多表连接查询,但是连接查询的性能很差,因此便出现了子查询. 1.理论上,子查询可以出现在查询语句的任何位置,但实际应用中多出现在from后和where后.出现在from后 ...
- file_get_contents函数不能使用的解决方法
今天开发微信公众平台的时候 使用file_get_contents 去获得token 结果一直返回false.百度了一下,大部分都是说用curl 偶然发现可能是openssl没有开启的问题,开启ope ...
- (十四)java中super和this
super代表的是父类.超类,用在继承中的子类中:this代表对象本身,用在本类中. super访问的是被子类隐藏的父类的属性或被覆盖的方法,而this访问的是同一类中的成员. sup ...
- Linux显示文件和目录的详细资料
Linux显示文件和目录的详细资料 youhaidong@youhaidong-ThinkPad-Edge-E545:~$ ls -l 总用量 56 -rw-r--r-- 1 youhaidong y ...
- 芝麻HTTP:Python爬虫入门之Urllib库的基本使用
1.分分钟扒一个网页下来 怎样扒网页呢?其实就是根据URL来获取它的网页信息,虽然我们在浏览器中看到的是一幅幅优美的画面,但是其实是由浏览器解释才呈现出来的,实质它是一段HTML代码,加 JS.CSS ...
- Asp.Net WebApi 调试利器“单元测试”
当我们编辑好一个WebApi应用程序后,需要对该Api接口进行调试,传统的调试办法是在方法内设置断点,然后用PostMan等http工具模拟访问进行查看WebAPI的运行情况,但这种除了效率较低还进行 ...