with的上下文管理
1.with
with语句是在Python2.6中出现的新语句。在Python2.6以前要正确的处理涉及到异常的资源管理时,需要使用try/finally代码结构。如要实现文件在操作出现异常时也能正确关闭,则需要像如下实现:
f = open("test.txt")
try:
for line in f.readlines():
print(line)
finally:
f.close()
不管文件操作有没有出现异常,try/finally中的finnally语句都会执行,从而保证文件的正确关闭。
with语句的基本语法结构如下:
with expression [as variable]:
with-block
用with语句代替上面的try/finally的例子
with open("text.txt") as f:
for line in f.readlines()
print(line)
with语句的expression是上下文管理器,这个我们下文会说。with语句中的[as variable]是可选的,如果指定了as variable说明符,则variable是上下文管理器expression调用__enter__()函数返回的对象。所以,f并不一定就是expression,而是expression.__enter__()的返回值,至于expression.__enter__()返回什么就由这个函数来决定了。with-block是执行语句,with-block执行完毕时,with语句会自动进行资源清理,对应上面例子就是with语句会自动关闭文件。
expression是一个上下文管理器,其实现了__enter__和__exit__两个函数。当我们调用一个with语句时,执行过程如下:
1.首先生成一个上下文管理器expression,在上面例子中with语句首先以“test.txt”作为参数生成一个上下文管理器open("test.txt")。
2.然后执行expression.__enter__()。如果指定了[as variable]说明符,将__enter__()的返回值赋给variable。上例中open("test.txt").__enter__()返回的是一个文件对象给f。
3.执行with-block语句块。上例中执行读取文件。
4.执行expression.__exit__(),在__exit__()函数中可以进行资源清理工作。上面例子中就是执行文件的关闭操作。
with语句不仅可以管理文件,还可以管理锁、连接等等,如下面的例子:
#管理锁
import threading
lock = threading.lock()
with lock:
#执行一些操作
pass
2.上下文管理器
with语句可以如此简单但强大,主要依赖于上下文管理器。那么什么是上下文管理器?上下文管理器就是实现了上下文协议的类,而上下文协议就是一个类要实现__enter__()和__exit__()两个方法。一个类只要实现了__enter__()和__exit__(),我们就称之为上下文管理器下面我们具体说下这两个方法。
__enter__():主要执行一些环境准备工作,同时返回一资源对象。如果上下文管理器open("test.txt")的__enter__()函数返回一个文件对象。
__exit__():完整形式为__exit__(type, value, traceback),这三个参数和调用sys.exec_info()函数返回值是一样的,分别为异常类型、异常信息和堆栈。如果执行体语句没有引发异常,则这三个参数均被设为None。否则,它们将包含上下文的异常信息。__exit_()方法返回True或False,分别指示被引发的异常有没有被处理,如果返回False,引发的异常将会被传递出上下文。如果__exit__()函数内部引发了异常,则会覆盖掉执行体的中引发的异常。处理异常时,不需要重新抛出异常,只需要返回False,with语句会检测__exit__()返回False来处理异常。
如果我们要自定义一个上下文管理器,只需要定义一个类并且是实现__enter__()和__exit__()即可。下面通过一个简单的例子是演示如果新建自定义的上下文管理器,我们以数据库的连接为例。在使用数据库时,有时要涉及到事务操作。数据库的事务操作当调用commit()执行sql命令时,如果在这个过程中执行失败,则需要执行rollback()回滚数据库,通常实现方式可能如下:
def test_write():
con = MySQLdb.connection()
cursor = con.cursor()
sql = """ #具体的sql语句
"""
try:
cursor.execute(sql)
cursor.execute(sql)
cursor.execute(sql)
con.commit() #提交事务
except Exception as ex:
con.rollback() #事务执行失败,回滚数据库
通过with语句来实现数据库执行失败的回滚操作,则我们需要自定义一个数据库连接的上下文管理器,假设为DBConnection,则我们将上面例子用with语句来实现的话,应该是这样子的,如下:
def test_write():
sql = """ #具体的sql语句
"""
con = DBConnection()
with con as cursor:
cursor.execute(sql)
cursor.execute(sql)
cursor.execute(sql)
要实现上面with语句的功能,则我们的DBConnection数据库上下文管理器则需要提供一下功能:__enter__()要返回一个连接的cursor; 当没有异常发生是,__exit__()函数commit所有的数据库操作。如果有异常发生则_exit__()会回滚数据库,调用rollback()。所以我们可以实现DBConnection如下:
1 def DBConnection(object):
2 def __init__(self):
3 pass
4
5 def cursor(self):
6 #返回一个游标并且启动一个事务
7 pass
8
9 def commit(self):
10 #提交当前事务
11 pass
12
13 def rollback(self):
14 #回滚当前事务
15 pass
16
17 def __enter__(self):
18 #返回一个cursor
19 cursor = self.cursor()
20 return cursor
21
22 def __exit__(self, type, value, tb):
23 if tb is None:
24 #没有异常则提交事务
25 self.commit()
26 else:
27 #有异常则回滚数据库
28 self.rollback()
3.contextlib模块
contextmanage对象
如果我们要实现一个自定义的上下文管理器,需要定义一个实现了__enter__和__exit__两个方法的类, 这显示不是很方便。Python的contextlib模块给我们提供了更方便的方式来实现一个自定义的上下文管理器。contextlib模块包含一个装饰器contextmanager和一些辅助函数,装饰器contextmanager只需要写一个生成器函数就可以代替自定义的上下文管理器,典型用法如下:
需要使用yield先定义一个生成器函数.
@contextmanager
def some_generator(<arguments>):
<setup>
try:
yield <value>
finally:
<cleanup>
然后便可以用with语句调用contextmanage生成的上下文管理器了,with语句用法如下:
with some_generator(<arguments>) as <variable>:
<body>
生成器函数some_generator就和我们普通的函数一样,它的原理如下:
- some_generator函数在在yield之前的代码等同于上下文管理器中的__enter__函数。
- yield的返回值等同于__enter__函数的返回值,即如果with语句声明了as <variable>,则yield的值会赋给variable
- 然后执行<cleanup>代码块,等同于上下文管理器的__exit__函数。此时发生的任何异常都会再次通过yield函数返回。
下面举几个简单的例子:
列子1:锁资源自动获取和释放的列子
1 @contextmanager
2 def locked(lock):
3 lock.acquire()
4 try:
5 yield
6 finally:
7 lock.release()
8
9 with locked(myLock):
10 #代码执行到这里时,myLock已经自动上锁
11 pass
12 #执行完后会,会自动释放锁
with的上下文管理的更多相关文章
- python2.7高级编程 笔记一(Python中的with语句与上下文管理器学习总结)
0.关于上下文管理器上下文管理器是可以在with语句中使用,拥有__enter__和__exit__方法的对象. with manager as var: do_something(var) 相当于以 ...
- 上下文管理、线程池、redis订阅和发布
一:上下文管理: 对于一些对象在使用之后,需要关闭操作的.比如说:socket.mysql数据库连接.文件句柄等. 都可以用上下文来管理. 语法结构: Typical usage: @contextm ...
- 翻译《Writing Idiomatic Python》(五):类、上下文管理器、生成器
原书参考:http://www.jeffknupp.com/blog/2012/10/04/writing-idiomatic-python/ 上一篇:翻译<Writing Idiomatic ...
- python学习笔记4(对象/引用;多范式; 上下文管理器)
### Python的强大很大一部分原因在于,它提供有很多已经写好的,可以现成用的对象 21. 动态类型:对象/引用 对象和引用: 对象是储存在内存中的实体,对象名只是指向这一对象的引用(refere ...
- Python深入02 上下文管理器
作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明.谢谢! 上下文管理器(context manager)是Python2.5开始支持的一种语 ...
- python 上下文管理器
作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明.谢谢! 上下文管理器(context manager)是Python2.5开始支持的一种语 ...
- 【Python学习笔记】with语句与上下文管理器
with语句 上下文管理器 contextlib模块 参考引用 with语句 with语句时在Python2.6中出现的新语句.在Python2.6以前,要正确的处理涉及到异常的资源管理时,需要使用t ...
- python with语句上下文管理的两种实现方法
在编程中会经常碰到这种情况:有一个特殊的语句块,在执行这个语句块之前需要先执行一些准备动作:当语句块执行完成后,需要继续执行一些收尾动作.例如,文件读写后需要关闭,数据库读写完毕需要关闭连接,资源的加 ...
- python上下文管理器及with语句
with语句支持在一个叫上下文管理器的对象的控制下执行一系列语句,语法大概如下: with context as var: statements 其中的context必须是个上下文管理器,它实现了两个 ...
- 流畅python学习笔记:第十五章:上下文管理器
在开始本章之前,我们首先来谈谈try-excep..final模块.在Python中,进行异常保护的最多就是用try..except..final.首先来看下下面的代码.进行一个简单的除法运算.为了防 ...
随机推荐
- 外星人入侵游戏(python代码)
https://github.com/ehmatthes/pcc/tree/master/chapter_12/images
- 如何使用mongodb(建立原型,连接数据库)
前两天看了一个朋友做的mongodb数据库,他是自己从某网络大学试听课学的,从可读性和模块区分方面做的比较差,所以写下此文,以作交流. 首先是创建一个modules文件夹,这里面用来存放mongodb ...
- asp.net 多个txt压缩导出下载
//方法代码 MemoryStream ms = new MemoryStream(); byte[] buffer = null; using (ZipFile file = ZipFile.Cre ...
- Python中不尽如人意的断言Assertion
Python Assert 为何不尽如人意 Python中的断言用起来非常简单,你可以在assert后面跟上任意判断条件,如果断言失败则会抛出异常. >>> assert 1 + 1 ...
- Complex类的设计与改进
Complex类 源码 #include <cmath> #include <iomanip> #include <iostream> #include <s ...
- python程序—用户登录
编写一个用户登录程序: 1.登录成功显示登录页面 2.登录失败,显示密码错误,并且显示错误几次 3.登录失败三次,退出程序 username= 'root' passwd= ' count= prin ...
- PHP 获取当前访问的完整URL
代码如下: <?php // php 获取当前访问的完整url function GetCurUrl() { $url = 'http://'; if(isset($_SERVER['HTTPS ...
- centos7配置consul
下载wget https://releases.hashicorp.com/consul/1.4.2/consul_1.4.2_linux_amd64.zip解压unzip consul_1.4.2_ ...
- kafka consumer 配置详解
1.Consumer Group 与 topic 订阅 每个Consumer 进程都会划归到一个逻辑的Consumer Group中,逻辑的订阅者是Consumer Group.所以一条message ...
- 第 10 章 容器监控 - 081 - Weave Scope 多主机监控
除了监控容器,Weave Scope 还可以监控 Docker Host 点击顶部 HOSTS 菜单项,地图将显示当前 host. 与容器类似,点击该 host 图标将显示详细信息 host 当前的资 ...