前言

最近项目用到了Python作为网站的前端,使用的框架是基于线程池的Cherrypy,但是前端依然有一些比较‘重’的模块。由于python的多线程无法很好的利用多核的性质,所以觉得把这些比较‘重’的功能用多进程进行管理。

Python 多进程编程

Python的多进程编程主要依赖multiprocessing库,父进程的参数直接拷贝给子进程,因为Linux进程的copy on write特性,如果子进程不对参数进行修改就不会进行拷贝工作,也就是说父进程,子进程共享参数。而参数的返回则通过管道pipe进行。
下面是简单的代码例子:

import multiprocessing

def heavy_load_func(N, child_conn):
'''function do heavy computing''' try: #do_some_heavy_computing child_conn.send(return_value) #return something except Exception,e:
child_conn.send(e) #将异常通过管道送出 if __name__=='__main__'
'''main function'''
try:
parent_conn, child_conn = multiprocessing.Pipe()
hild_process = multiprocessing.Process(target=heavy_load_func, args=(10, child_conn))
child_process.start()
child_process.join()
child_return = parent_conn.recv()
print child_return
except Exception,e:
logger.error(e)

多进程异常处理

但是如果heavy_load_func在执行过程中抛出异常就比较麻烦了,当然我们可以通过Pipe将捕捉到的异常信息传到父进程,但是这样父进程只是得到了一条返回值,并没有触发父进程的异常机制,如何把子进程的异常抛出给父进程进行处理呢?

本文提供一种方法,通过引入一个代理类Process对multiprocessing.Process进行重载,Process中重写multiprocessing.Process的run方法,并且加入exception属性,通过exception来判断子进程是否触发异常。

class Process(multiprocessing.Process):
def __init__(self, *args, **kwargs):
multiprocessing.Process.__init__(self, *args, **kwargs)
self._pconn, self._cconn = multiprocessing.Pipe()
self._exception = None def run(self):
try:
multiprocessing.Process.run(self)
self._cconn.send(None)
except Exception as e:
tb = traceback.format_exc()
self._cconn.send((e, tb)) @property
def exception(self):
if self._pconn.poll():
self._exception = self._pconn.recv()
return self._exception

这样我们的代码就可以写成这样:

if __name__=='__main__':
'''main function'''
try:
parent_conn, child_conn = multiprocessing.Pipe()
#child_process = multiprocessing.Process(target=heavy_load_func, args=(10, child_conn))
child_process = Process(target=heavy_load_func, args=(10, child_conn))
child_process.start()
child_process.join()
if child_process.exception:
error, traceback = child_process.exception
print error
child_process.terminate()
else:
child_return = parent_conn.recv() #如果不子进程不抛出异常就接受值,否则主进程退出,避免主进程被管道阻塞!
print child_return
except Exception, e:
print e

总结

本文主要介绍了一种Python多进程异常处理的方法,通过引入代理类来进行异常的转发。文章介绍的比较简单,其实里面有很多东西。

Python 多进程异常处理的更多相关文章

  1. Python多进程(1)——subprocess与Popen()

    Python多进程方面涉及的模块主要包括: subprocess:可以在当前程序中执行其他程序或命令: mmap:提供一种基于内存的进程间通信机制: multiprocessing:提供支持多处理器技 ...

  2. Python 多进程编程之 进程间的通信(Queue)

    Python 多进程编程之 进程间的通信(Queue) 1,进程间通信Process有时是需要通信的,操作系统提供了很多机制来实现进程之间的通信,而Queue就是其中的一个方法----这是操作系统开辟 ...

  3. Python多进程库multiprocessing创建进程以及进程池Pool类的使用

    问题起因最近要将一个文本分割成好几个topic,每个topic设计一个regressor,各regressor是相互独立的,最后汇总所有topic的regressor得到总得预测结果.没错!类似bag ...

  4. Python多进程编程

    转自:Python多进程编程 阅读目录 1. Process 2. Lock 3. Semaphore 4. Event 5. Queue 6. Pipe 7. Pool 序. multiproces ...

  5. Python多进程使用

    [Python之旅]第六篇(六):Python多进程使用   香飘叶子 2016-05-10 10:57:50 浏览190 评论0 python 多进程 多进程通信 摘要:   关于进程与线程的对比, ...

  6. python多进程断点续传分片下载器

    python多进程断点续传分片下载器 标签:python 下载器 多进程 因为爬虫要用到下载器,但是直接用urllib下载很慢,所以找了很久终于找到一个让我欣喜的下载器.他能够断点续传分片下载,极大提 ...

  7. Python多进程multiprocessing使用示例

    mutilprocess简介 像线程一样管理进程,这个是mutilprocess的核心,他与threading很是相像,对多核CPU的利用率会比threading好的多. import multipr ...

  8. Python多进程并发(multiprocessing)用法实例详解

    http://www.jb51.net/article/67116.htm 本文实例讲述了Python多进程并发(multiprocessing)用法.分享给大家供大家参考.具体分析如下: 由于Pyt ...

  9. python 多进程开发与多线程开发

    转自: http://tchuairen.blog.51cto.com/3848118/1720965 博文作者参考的博文:  博文1  博文2 我们先来了解什么是进程? 程序并不能单独运行,只有将程 ...

随机推荐

  1. vim-tabe多标签切换

    vim-tabe多标签切换 本文转载自https://www.cnblogs.com/liqiu/archive/2013/03/26/2981949.html 1.新建标签页 使用:tabe命令和文 ...

  2. c3p0连接池在spring中的配置

    <bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource" destr ...

  3. jvm(1)性能监控-linux相关命令

    top命令能够实时显示系统中各个进程的资源占用情况,其输出信息分为两部分,前半部分为系统统计信息,后半部分是进程信息. 第一行是任务队列信息,它的结果等同于uptime命令. 第二行是进程统计信息: ...

  4. Linux服务正常启动,Linux服务器能访问,但是外部机器不能访问

    公司用到了jenkins,就在自己虚拟机里面部署了一个jenkins.部署成功之后,在Linux虚拟机里面能正常访问,但是外部真实机却不能访问.当时的第一反应就是觉得应该是权限问题,猜测会不会是jen ...

  5. Linux mysql 乱码

    http://www.pc6.com/infoview/Article_63586.html http://itindex.net/detail/41748-linux-mysql-5.5 http: ...

  6. kvm扩容home目录

    KVM虚拟磁盘扩容 1.磁盘扩容分为raw和qcow2两种扩容方式,命令相同,区别是后缀名 [root@daixuan ~]# qemu-img info /data/daixuan1.qcow2 / ...

  7. CodeChef Sereja and LCM(矩阵快速幂)

    Sereja and LCM   Problem code: SEALCM   Submit All Submissions   All submissions for this problem ar ...

  8. python学习第三天格式化输出%s %d

    编程语言为什么要格式化输出吗,一般print()就够了,有些复杂的格式输出比较麻烦,用格式化输出更加高效, info=""" ---------------------- ...

  9. 转载一篇别人分享的VSFTPD.CONF的中文解释方便以后查询

    # 服务器以standalong模式运行,这样可以进行下面的控制 listen=YES # 接受匿名用户 anonymous_enable=YES # 匿名用户login时不询问口令 no_anon_ ...

  10. Windows 下 MySQL 备份脚本

    @title MySQL备份脚本 @echo off @echo root@127.0.0.1:3306 set host=127.0.0.1 set port=3306 set user=root ...