Python 多进程异常处理
前言
最近项目用到了Python作为网站的前端,使用的框架是基于线程池的Cherrypy,但是前端依然有一些比较‘重’的模块。由于python的多线程无法很好的利用多核的性质,所以觉得把这些比较‘重’的功能用多进程进行管理。
Python 多进程编程
Python的多进程编程主要依赖multiprocessing库,父进程的参数直接拷贝给子进程,因为Linux进程的copy on write特性,如果子进程不对参数进行修改就不会进行拷贝工作,也就是说父进程,子进程共享参数。而参数的返回则通过管道pipe进行。
下面是简单的代码例子:
import multiprocessing
def heavy_load_func(N, child_conn):
'''function do heavy computing'''
try:
#do_some_heavy_computing
child_conn.send(return_value) #return something
except Exception,e:
child_conn.send(e) #将异常通过管道送出
if __name__=='__main__'
'''main function'''
try:
parent_conn, child_conn = multiprocessing.Pipe()
hild_process = multiprocessing.Process(target=heavy_load_func, args=(10, child_conn))
child_process.start()
child_process.join()
child_return = parent_conn.recv()
print child_return
except Exception,e:
logger.error(e)
多进程异常处理
但是如果heavy_load_func在执行过程中抛出异常就比较麻烦了,当然我们可以通过Pipe将捕捉到的异常信息传到父进程,但是这样父进程只是得到了一条返回值,并没有触发父进程的异常机制,如何把子进程的异常抛出给父进程进行处理呢?
本文提供一种方法,通过引入一个代理类Process对multiprocessing.Process进行重载,Process中重写multiprocessing.Process的run方法,并且加入exception属性,通过exception来判断子进程是否触发异常。
class Process(multiprocessing.Process):
def __init__(self, *args, **kwargs):
multiprocessing.Process.__init__(self, *args, **kwargs)
self._pconn, self._cconn = multiprocessing.Pipe()
self._exception = None
def run(self):
try:
multiprocessing.Process.run(self)
self._cconn.send(None)
except Exception as e:
tb = traceback.format_exc()
self._cconn.send((e, tb))
@property
def exception(self):
if self._pconn.poll():
self._exception = self._pconn.recv()
return self._exception
这样我们的代码就可以写成这样:
if __name__=='__main__':
'''main function'''
try:
parent_conn, child_conn = multiprocessing.Pipe()
#child_process = multiprocessing.Process(target=heavy_load_func, args=(10, child_conn))
child_process = Process(target=heavy_load_func, args=(10, child_conn))
child_process.start()
child_process.join()
if child_process.exception:
error, traceback = child_process.exception
print error
child_process.terminate()
else:
child_return = parent_conn.recv() #如果不子进程不抛出异常就接受值,否则主进程退出,避免主进程被管道阻塞!
print child_return
except Exception, e:
print e
总结
本文主要介绍了一种Python多进程异常处理的方法,通过引入代理类来进行异常的转发。文章介绍的比较简单,其实里面有很多东西。
Python 多进程异常处理的更多相关文章
- Python多进程(1)——subprocess与Popen()
Python多进程方面涉及的模块主要包括: subprocess:可以在当前程序中执行其他程序或命令: mmap:提供一种基于内存的进程间通信机制: multiprocessing:提供支持多处理器技 ...
- Python 多进程编程之 进程间的通信(Queue)
Python 多进程编程之 进程间的通信(Queue) 1,进程间通信Process有时是需要通信的,操作系统提供了很多机制来实现进程之间的通信,而Queue就是其中的一个方法----这是操作系统开辟 ...
- Python多进程库multiprocessing创建进程以及进程池Pool类的使用
问题起因最近要将一个文本分割成好几个topic,每个topic设计一个regressor,各regressor是相互独立的,最后汇总所有topic的regressor得到总得预测结果.没错!类似bag ...
- Python多进程编程
转自:Python多进程编程 阅读目录 1. Process 2. Lock 3. Semaphore 4. Event 5. Queue 6. Pipe 7. Pool 序. multiproces ...
- Python多进程使用
[Python之旅]第六篇(六):Python多进程使用 香飘叶子 2016-05-10 10:57:50 浏览190 评论0 python 多进程 多进程通信 摘要: 关于进程与线程的对比, ...
- python多进程断点续传分片下载器
python多进程断点续传分片下载器 标签:python 下载器 多进程 因为爬虫要用到下载器,但是直接用urllib下载很慢,所以找了很久终于找到一个让我欣喜的下载器.他能够断点续传分片下载,极大提 ...
- Python多进程multiprocessing使用示例
mutilprocess简介 像线程一样管理进程,这个是mutilprocess的核心,他与threading很是相像,对多核CPU的利用率会比threading好的多. import multipr ...
- Python多进程并发(multiprocessing)用法实例详解
http://www.jb51.net/article/67116.htm 本文实例讲述了Python多进程并发(multiprocessing)用法.分享给大家供大家参考.具体分析如下: 由于Pyt ...
- python 多进程开发与多线程开发
转自: http://tchuairen.blog.51cto.com/3848118/1720965 博文作者参考的博文: 博文1 博文2 我们先来了解什么是进程? 程序并不能单独运行,只有将程 ...
随机推荐
- hive环境
一.hive安装部署 1.hive安装及配置 (1)解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面 tar -zxvf apache-hive-1.2. ...
- python学习第十六天集合的关系测试
在做数据分析的时候,要对一个集合分析,而且分析多个集合的之间的关系分析,那么用传统的循环的比较麻烦,集合提供很多方法,很容易比较多个集合的关系,并集,交集,差集,对称差集等. n1={1,2,4,6} ...
- H Kuangyeye and hamburgers
链接:https://ac.nowcoder.com/acm/contest/338/H来源:牛客网 题目描述 Kuangyeye is a dalao of the ACM school team ...
- Linux常用命令操作文档
Ls命令:列出目录内容 选项 长选项 含义 -a --all 列出所有文件,包括隐藏的文件 -d --directory 指定一个目录 -F --classify 在每个列出的名字后面加上类型指示符( ...
- 关于自带的sql developer修改java.exe版本的解决办法
第一次安装oracle11gR2后,就很好奇的点了一下,当点击应用程序开发下的sql developer后,就弹出一个窗口,要选择一个java.exe的路径,我就讲本机中的JDK1.7下的java.e ...
- js/jquery中什么时候用return,什么时候用return false
根本的说 return 是函数的返回结果用, 如果你一个函数需要执行结果那就return 你需要的结果, 不需要结果就不用return而在jq中有些特殊的用法,比如$().each(function( ...
- JVM(16)之 双亲委派模型
开发十年,就只剩下这套架构体系了! >>> 在上一篇博文中,我们知道了如何获得二进制的字节流,并根据获得的字节流去装载一个类.同时也了解到类加载器的存在,每个加载器对应着不同的加 ...
- elasticsearch 深入 —— Search Type检索类型
在此我们再给出那个查询的代码: $ curl -XGET localhost:9200/startswith/test/_search?pretty -d '{ "query": ...
- 机器学习-线性回归(基于R语言)
基本概念 利用线性的方法,模拟因变量与一个或多个自变量之间的关系.自变量是模型输入值,因变量是模型基于自变量的输出值. 因变量是自变量线性叠加和的结果. 线性回归模型背后的逻辑——最小二乘法计算线性系 ...
- Django组件——Cookie与session相关
一,会话跟踪技术 1 什么是会话跟踪技术我们需要先了解一下什么是会话!可以把会话理解为客户端与服务器之间的一次会晤,在一次会晤中可能会包含多次请求和响应.例如你给10086打个电话,你就是客户端,而1 ...