所谓上下文

计算机上下文(Context)对于我而言,一直是一个很抽象的名词。就像形而上一样,经常听见有人说,但是无法和现实认知世界相结合。

最直观的上下文,莫过于小学的语文课,经常会问联系上下文,推测...,回答...,表明作者...。文章里的上下文比较好懂,无非就是前与后。

直到了解了计算机的执行状态,程式的运行,才稍微对计算机的上下文(context)有了一定的认识,多半还是只可意会,不可言传。本文所讨论的上下文,简而言之,就是程式所执行的环境状态,或者说程式运行的情景。

关于上下文的定义,我就不在多言,具体通过程式来理解。既然提及上下文,就不可避免的涉及Python中关于上下文的魔法,即上下文管理器(contextor)。

资源的创建和释放场景

上下文管理器的常用于一些资源的操作,需要在资源的获取与释放相关的操作,一个典型的例子就是数据库的连接,查询,关闭处理。先看如下一个例子:

class Database(object):

def __init__(self):

self.connected = False

def connect(self):

self.connected = True

def close(self):

self.connected = False

def query(self):

if self.connected:

return 'query data'

else:

raise ValueError('DB not connected ')

def handle_query():

db = Database()

db.connect()

print 'handle --- ', db.query()

db.close()

def main():

handle_query()

if __name__ == '__main__':

main()

上述的代码很简单,针对Database这个数据库类,提供了connect query 和close 三种常见的db交互接口。客户端的代码中,需要查询数据库并处理查询结果。当然这个操作之前,需要连接数据库(db.connect())和操作之后关闭数据库连接( db.close())。上述的代码可以work,可是如果很多地方有类似handle_query的逻辑,连接和关闭这样的代码就得copy很多遍,显然不是一个优雅的设计。

对于这样的场景,在python黑魔法—装饰器中有讨论如何优雅的处理。下面使用装饰器进行改写如下:

class Database(object):

...

def dbconn(fn):

def wrapper(*args, **kwargs):

db = Database()

db.connect()

ret = fn(db, *args, **kwargs)

db.close()

return ret

return wrapper

@dbconn

def handle_query(db=None):

print 'handle --- ', db.query()

def main():

...

编写一个dbconn的装饰器,然后在针对handle_query进行装饰即可。使用装饰器,复用了很多数据库连接和释放的代码逻辑,看起来不错。

装饰器解放了生产力。可是,每个装饰器都需要事先定义一下db的资源句柄,看起来略丑,不够优雅。

优雅的With as语句

Python提供了With语句语法,来构建对资源创建与释放的语法糖。给Database添加两个魔法方法:

class Database(object):

...

def __enter__(self):

self.connect()

return self

def __exit__(self, exc_type, exc_val, exc_tb):

self.close()

然后修改handle_query函数如下:

def handle_query():

with Database() as db:

print 'handle ---', db.query()

在Database类实例的时候,使用with语句。一切正常work。比起装饰器的版本,虽然多写了一些字符,但是代码可读性变强了。

上下文管理协议

前面初略的提及了上下文,那什么又是上下文管理器呢?与python黑魔法—迭代器类似,实现了迭代协议的函数/对象即为迭代器。实现了上下文协议的函数/对象即为上下文管理器。

迭代器协议是实现了__iter__方法。上下文管理协议则是__enter__和__exit__。对于如下代码结构:

class Contextor:

def __enter__(self):

pass

def __exit__(self, exc_type, exc_val, exc_tb):

pass

contextor = Contextor()

with contextor [as var]:

with_body

Contextor 实现了__enter__和__exit__这两个上下文管理器协议,当Contextor调用/实例化的时候,则创建了上下文管理器contextor。类似于实现迭代器协议类调用生成迭代器一样。

配合with语句使用的时候,上下文管理器会自动调用__enter__方法,然后进入运行时上下文环境,如果有as 从句,返回自身或另一个与运行时上下文相关的对象,值赋值给var。当with_body执行完毕退出with语句块或者with_body代码块出现异常,则会自动执行__exit__方法,并且会把对于的异常参数传递进来。如果__exit__函数返回True。则with语句代码块不会显示的抛出异常,终止程序,如果返回None或者False,异常会被主动raise,并终止程序。

大致对with语句的执行原理总结Python上下文管理器与with语句:

  1. 执行 contextor 以获取上下文管理器

  2. 加载上下文管理器的 exit() 方法以备稍后调用

  3. 调用上下文管理器的 enter() 方法

  4. 如果有 as var 从句,则将 enter() 方法的返回值赋给 var

  5. 执行子代码块 with_body

  6. 调用上下文管理器的 exit() 方法,如果 with_body 的退出是由异常引发的,那么该异常的 type、value 和 traceback 会作为参数传给 exit(),否则传三个 None

  7. 如果 with_body 的退出由异常引发,并且 exit() 的返回值等于 False,那么这个异常将被重新引发一次;如果 exit() 的返回值等于 True,那么这个异常就被无视掉,继续执行后面的代码

了解了with语句和上下文管理协议,或许对上下文有了一个更清晰的认识。即代码或函数执行的时候,调用函数时候有一个环境,在不同的环境调用,有时候效果就不一样,这些不同的环境就是上下文。例如数据库连接之后创建了一个数据库交互的上下文,进入这个上下文,就能使用连接进行查询,执行完毕关闭连接退出交互环境。创建连接和释放连接都需要有一个共同的调用环境。不同的上下文,通常见于异步的代码中。

上下文管理器工具

通过实现上下文协议定义创建上下文管理器很方便,Python为了更优雅,还专门提供了一个模块用于实现更函数式的上下文管理器用法。

import contextlib

@contextlib.contextmanager

def database():

db = Database()

try:

if not db.connected:

db.connect()

yield db

except Exception as e:

db.close()

def handle_query():

with database() as db:

print 'handle ---', db.query()

使用contextlib 定义一个上下文管理器函数,通过with语句,database调用生成一个上下文管理器,然后调用函数隐式的__enter__方法,并将结果通yield返回。最后退出上下文环境的时候,在except代码块中执行了__exit__方法。当然我们可以手动模拟上述代码的执行的细节。

In [1]: context = database()    # 创建上下文管理器

In [2]: context

In [3]: db = context.__enter__() # 进入with语句

In [4]: db                             # as语句,返回 Database实例

Out[4]:

In [5]: db.query()

Out[5]: 'query data'

In [6]: db.connected

Out[6]: True

In [7]: db.__exit__(None, None, None)    # 退出with语句

In [8]: db

Out[8]:

In [9]: db.connected

Out[9]: False

上下文管理器的用法

既然了解了上下文协议和管理器,当然是运用到实践啦。通常需要切换上下文环境,往往是在多线程/进程这种编程模型。当然,单线程异步或者协程的当时,也容易出现函数的上下文环境经常变动。

异步式的代码经常在定义和运行时存在不同的上下文环境。此时就需要针对异步代码做上下文包裹的hack。看下面一个例子:

import tornado.ioloop

ioloop = tornado.ioloop.IOLoop.instance()

def callback():

print 'run callback'

raise ValueError('except in callback')

def async_task():

print 'run async task'

ioloop.add_callback(callback=callback)

def main():

try:

async_task()

except Exception as e:

print 'exception {}'.format(e)

print 'end'

main()

ioloop.start()

运行上述代码得到如下结果

run async task

end

run callback

ERROR:root:Exception in callback

Traceback (most recent call last):

...

raise ValueError('except in callback')

ValueError: except in callback

主函数中main中,定义了异步任务函数async_task的调用。async_task中异常,在except中很容易catch,可是callback中出现的异常,则无法捕捉。原因就是定义的时候上下文为当前的线程执行环境,而使用了tornado的ioloop.add_callback方法,注册了一个异步的调用。当callback异步执行的时候,他的上下文已经和async_task的上下文不一样了。因此在main的上下文,无法catch异步中callback的异常。

下面使用上下文管理器包装如下:

class Contextor(object):

def __enter__(self):

pass

def __exit__(self, exc_type, exc_val, exc_tb):

if all([exc_type, exc_val, exc_tb]):

print 'handler except'

print 'exception {}'.format(exc_val)

return True

def main():

with tornado.stack_context.StackContext(Contextor):

async_task()

运行main之后的结果如下:

run async task

handler except

run callback

handler except

exception except in callback

可见,callback的函数的异常,在上下文管理器Contextor中被处理了,也就是说callback调用的时候,把之前main的上下文保存并传递给了callback。当然,上述的代码也可以改写如下:

@contextlib.contextmanager

def contextor():

try:

yield

except Exception as e:

print 'handler except'

print 'exception {}'.format(e)

finally:

print 'release'

def main():

with tornado.stack_context.StackContext(contextor):

async_task()

效果类似。当然,也许有人会对StackContext这个tornado的模块感到迷惑。其实他恰恰应用上下文管理器的魔法的典范。查看StackContext的源码,实现非常精秒,非常佩服tornado作者的编码设计能力。至于StackContext究竟如何神秘,已经超出了本篇的范围,将会在介绍tonrado异步上下文管理器中介绍。

参见:http://www.cnblogs.com/wumingxiaoyao/p/7132181.html

python 黑魔法 ---上下文管理器(contextor)的更多相关文章

  1. 谈一谈Python的上下文管理器

    经常在Python代码中看到with语句,仔细分析下,会发现这个with语句功能好强,可以自动关闭资源.这个在Python中叫上下文管理器Context Manager.那我们要怎么用它,什么时候用它 ...

  2. python contextlib 上下文管理器

    1.with操作符 在python中读写文件,可能需要这样的代码 try-finally读写文件 file_text = None try: file_text = open('./text', 'r ...

  3. python使用上下文管理器实现sqlite3事务机制

    如题,本文记录如何使用python上下文管理器的方式管理sqlite3的句柄创建和释放以及事务机制. 1.python上下文管理(with) python上下文管理(context),解决的是这样一类 ...

  4. 【Python】 上下文管理器和contextlib

    上下文管理器 一直对python中的上下文管理比较迷惑,趁着今天研究SQLAlchemy顺便看了一下,感觉稍微清楚了一点.http://www.cnblogs.com/chenny7/p/421344 ...

  5. python的上下文管理器-1

    reference:https://zhuanlan.zhihu.com/p/26487659 来看看如何正确关闭一个文件. 普通版: def m1(): f = open("output. ...

  6. Python 的上下文管理器是怎么设计的?

    花下猫语:最近,我在看 Python 3.10 版本的更新内容时,发现有一个关于上下文管理器的小更新,然后,突然发现上下文管理器的设计 PEP 竟然还没人翻译过!于是,我断断续续花了两周时间,终于把这 ...

  7. python的上下文管理器

    直接上代码: f = open('123.txt','w') try: f.write('hello world') except Exception: pass finally: f.close() ...

  8. 【Python】【上下文管理器】

    """#[备注]#1⃣️try :仅当try块中没有异常抛出时才运行else块.#2⃣️for:仅当for循环运行完毕(即for循环没有被break语句终止)才运行els ...

  9. Python中的上下文管理器和with语句

    Python2.5之后引入了上下文管理器(context manager),算是Python的黑魔法之一,它用于规定某个对象的使用范围.本文是针对于该功能的思考总结. 为什么需要上下文管理器? 首先, ...

随机推荐

  1. TryUpdateModel方法 模型绑定

    文档资料:https://msdn.microsoft.com/zh-cn/library/ee728634.aspx 有很多重载其中 Controller.TryUpdateModel<TMo ...

  2. vue.js-列表分页

    <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...

  3. java中break,continue,标签实现goto效果(编程思想)

    goto 编程语言中一开始就有goto关键词了.事实上,goto起源于汇编语言的程序控制:“若条件A成立,则调到这里:否则跳到那里”. goto语句时在源码级别上的跳转,这导致了其不好的名誉.于是go ...

  4. 201621123010《Java程序设计》第7周学习总结

    1. 本周学习总结 1.1思维导图:Java图形界面总结 2.书面作业 1. GUI中的事件处理 1.1 写出事件处理模型中最重要的几个关键词. addActionListener(new Actio ...

  5. EM算法及其应用(一)

    EM算法及其应用(一) EM算法及其应用(二): K-means 与 高斯混合模型 EM算法是期望最大化 (Expectation Maximization) 算法的简称,用于含有隐变量的情况下,概率 ...

  6. Nginx的负载均衡和高可用

    一.Nginx的理解 Nginx是一个高性能的HTTP和反向代理服务,也是一个IMAP/POP3/SMTP服务.Nginx是一款轻量级的web服务器/反向代理服务器及电子邮件(IMAP/POP3)代理 ...

  7. 最终还是迁移到github

    作为全球最大的程序员同性交友社区,github pages 吸引了我 为了有一个更好的博客的写作环境 将会把内容逐渐迁移到 github.io 地址 zongxiao.github.io 新的文章也会 ...

  8. UML类图中的各种箭头代表的含义(转自:http://www.cnblogs.com/damsoft/archive/2016/10/24/5993602.html)

    1.UML简介Unified Modeling Language (UML)又称统一建模语言或标准建模语言. 简单说就是以图形方式表现模型,根据不同模型进行分类,在UML 2.0中有13种图,以下是他 ...

  9. debian 安装deb软件

    deb包 deb包是debian,ubuntu等LINUX发行版的软件安装包,是类似于rpm的软件包,而非debian,ubuntu系统不推荐使用deb软件包,因为要解决软件包依赖问题,安装也比较麻烦 ...

  10. Java反射机制的使用

    一:反射是什么 JAVA反射机制是在运行状态中,对于任意一个类,都能够获取这个类的所有属性和方法:对于任意一个对象,都能够调用它的任意一个方法和属性:这种动态获取类信息以及动态调用对象内容就称为jav ...