Python 线程池,进程池,协程,和其他
本节内容
线程池
- 进程池
协程
try异常处理
IO多路复用
- 线程的继承调用
1.线程池
线程池帮助你来管理线程,不再需要每个任务都创建一个线程进行处理任务。
任务需要执行时,会从线程池申请线程,有则使用线程池的线程执行任务,如果没有就等着,其他在执行的任务执行完毕后释放线程,等待的任务就可以使用释放的线程来执行操作了。
from concurrent.futures import ThreadPoolExecutor
import requests
import time
def taks(url): # 线程的回调函数,处理消息
time.sleep(1)
response = requests.get(url)
print(response.url,response.status_code)
pool = ThreadPoolExecutor(2) # 线程池中有两个线程轮流工作
url_list = [
'http://www.baidu.com', # 数据是了看清楚程序是同时执行两个。
'http://www.baidu.com',
'http://www.baidu.com',
'http://www.baidu.com',
'http://www.baidu.com',
'http://www.baidu.com',
'http://www.baidu.com',
'http://www.baidu.com',
]
for url in url_list:
# 去线程池中去线程工作
pool.submit(taks,url)
2.进程池
进程池和线程池在我看来其实是差不多的。
下面使用进程池来实现和上面同样的效果。
from concurrent.futures import ProcessPoolExecutor
import time
import requests
def task(url):
time.sleep(1)
response = requests.get(url)
print(response.url,response.status_code)
pool = ProcessPoolExecutor(2) # 定义进程池
url_list = [
'http://www.baidu.com', # 数据是了看清楚程序是同时执行两个。
'http://www.baidu.com',
'http://www.baidu.com',
'http://www.baidu.com',
'http://www.baidu.com',
'http://www.baidu.com',
'http://www.baidu.com',
'http://www.baidu.com',
]
if __name__ == '__main__':
for url in url_list:
pool.submit(task,url)
进程池回调函数的使用:
# pip3 install requests
from concurrent.futures import ThreadPoolExecutor
import requests
import time
def txt(futer): # 负责处理数据
down_txt = futer.result()
print("处理后的信息:",down_txt.url,down_txt.status_code) def down(url):# 负责下载
print('开始请求:', url)
response = requests.get(url)
return response pool = ThreadPoolExecutor(2)
url_list=[
'http://www.sina.com.cn',
'http://www.autohome.com.cn',
'http://www.oldboyedu.com',
'http://www.qq.com',
'http://www.taobao.com',
'http://www.baidu.com',
]
for url in url_list:
futer = pool.submit(down,url)
futer.add_done_callback(txt)
3.协程
线程和进程的操作是由程序触发系统接口,最后的执行者是系统;协程的操作则是程序员。
协程存在的意义:对于多线程应用,CPU通过切片的方式来切换线程间的执行,线程切换时需要耗时(保存状态,下次继续)。协程,则只使用一个线程,在一个线程中规定某个代码块执行顺序。
协程的适用场景:当程序中存在大量不需要CPU的操作时(IO),适用于协程;
协程的好处:
- 无需线程上下文切换的开销
- 无需原子操作锁定及同步的开销
- "原子操作(atomic operation)是不需要synchronized",所谓原子操作是指不会被线程调度机制打断的操作;这种操作一旦开始,就一直运行到结束,中间不会有任何 context switch (切换到另一个线程)。原子操作可以是一个步骤,也可以是多个操作步骤,但是其顺序是不可以被打乱,或者切割掉只执行部分。视作整体是原子性的核心。
- 方便切换控制流,简化编程模型
- 高并发+高扩展性+低成本:一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理。
缺点:
- 无法利用多核资源:协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上.当然我们日常所编写的绝大部分应用都没有这个必要,除非是cpu密集型应用。
- 进行阻塞(Blocking)操作(如IO时)会阻塞掉整个程序
我们先给协程一个标准定义,即符合什么条件就能称之为协程:
- 必须在只有一个单线程里实现并发
- 修改共享数据不需加锁
- 用户程序里自己保存多个控制流的上下文栈
- 一个协程遇到IO操作自动切换到其它协程
3.1 greenlet
greenlet是一个用C实现的协程模块,相比与python自带的yield,它可以使你在任意函数之间随意切换,而不需把这个函数先声明为generator
from greenlet import greenlet def test1():
print(12)
gr2.switch()
print(34)
gr2.switch() def test2():
print(56)
gr1.switch()
print(78) gr1 = greenlet(test1)
gr2 = greenlet(test2)
gr1.switch()
greenlet
3.2 gevent
Gevent 是一个第三方库,可以轻松通过gevent实现并发同步或异步编程,在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部,但它们被协作式地调度。
import gevent
def task(pid):
gevent.sleep(0.5)
print('Task %s done' % pid)
def synchronous():
for i in range(1, 10):
task(i)
def asynchronous():
threads = [gevent.spawn(task, i) for i in range(10)]
gevent.joinall(threads)
print('Synchronous:')
synchronous()
print('Asynchronous:')
asynchronous()
上面程序的重要部分是将task函数封装到Greenlet内部线程的gevent.spawn
。 初始化的greenlet列表存放在数组threads
中,此数组被传给gevent.joinall
函数,后者阻塞当前流程,并执行所有给定的greenlet。执行流程只会在 所有greenlet执行完后才会继续向下走。
遇到IO阻塞时会自动切换任务
import gevent
import requests
def func(url):
response = requests.get(url)
print(response.url,response.status_code) gevent.joinall([
gevent.spawn(func, 'http://www.oldboyedu.com/'),
gevent.spawn(func, 'http://www.baidu.com/'),
gevent.spawn(func, 'http://autohome.com/'),
])
协程的详细使用:
http://www.cnblogs.com/aylin/p/5601969.html
http://www.cnblogs.com/alex3714/articles/5248247.html
4. try异常处理
异常处理的注意事项
缩进错误和语法错误无法捕捉到。
IndentationError:缩进错误
SyntaxError:语法错误
Exception 相当于 BaseException 都是万能异常
try:
print(name)
except NameError as e:
print(e)
else:
print("如果什么错误也没有会执行else下的代码")
finally:
print("无论有没有错都执行finally下的代码") # 输出
# name 'name' is not defined
# 无论有没有错都执行finally下的代码
1.name变量不存在,捕捉NameErrot异常,打印异常信息
try:
print(name)
except NameError as e:
print(e)
2.抓多个异常(只能抓一个)
try:
name=[1,2,3]
print(names)
print(name[4])
except NameError as e:
print(e)
except IndexError as e:
print(e)
3.抓多个异常(一次也只能抓到一个异常)
try:
name=[1,2,3]
print(names)
print(name[4])
except (NameError,IndexError) as e:
print(e)
4.万能异常(Exception)
try:
name=[1,2,3]
print(names)
print(name[4])
except Exception as e:
print(e)
5.异常用法
try:
pass
except NameError as e:
print(e)
except IndexError as e:
print(e)
except Exception as e:
print(e)
6.自定义异常
class helei(Exception): # 继承 Exception
def __init__(self,msg):
self.message = msg
# def __str__(self): #被print调用时执行,可以不写
# return self.message
try:
raise helei('我的异常') # 触发异常
except helei as e:
print(e)
5.IO多路复用
I/O多路复用指:通过一种机制,可以监视多个描述符,一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知程序进行相应的读写操作。
select select最早于1983年出现在4.2BSD中,它通过一个select()系统调用来监视多个文件描述符的数组,当select()返回后,该数组中就绪的文件描述符便会被内核修改标志位,使得进程可以获得这些文件描述符从而进行后续的读写操作。
select目前几乎在所有的平台上支持,其良好跨平台支持也是它的一个优点,事实上从现在看来,这也是它所剩不多的优点之一。
select的一个缺点在于单个进程能够监视的文件描述符的数量存在最大限制,在Linux上一般为1024,不过可以通过修改宏定义甚至重新编译内核的方式提升这一限制。
另外,select()所维护的存储大量文件描述符的数据结构,随着文件描述符数量的增大,其复制的开销也线性增长。同时,由于网络响应时间的延迟使得大量TCP连接处于非活跃状态,但调用select()会对所有socket进行一次线性扫描,所以这也浪费了一定的开销。 poll poll在1986年诞生于System V Release 3,它和select在本质上没有多大差别,但是poll没有最大文件描述符数量的限制。
poll和select同样存在一个缺点就是,包含大量文件描述符的数组被整体复制于用户态和内核的地址空间之间,而不论这些文件描述符是否就绪,它的开销随着文件描述符数量的增加而线性增大。
另外,select()和poll()将就绪的文件描述符告诉进程后,如果进程没有对其进行IO操作,那么下次调用select()和poll()的时候将再次报告这些文件描述符,所以它们一般不会丢失就绪的消息,这种方式称为水平触发(Level Triggered)。 epoll 直到Linux2.6才出现了由内核直接支持的实现方法,那就是epoll,它几乎具备了之前所说的一切优点,被公认为Linux2.6下性能最好的多路I/O就绪通知方法。
epoll可以同时支持水平触发和边缘触发(Edge Triggered,只告诉进程哪些文件描述符刚刚变为就绪状态,它只说一遍,如果我们没有采取行动,那么它将不会再次告知,这种方式称为边缘触发),理论上边缘触发的性能要更高一些,但是代码实现相当复杂。
epoll同样只告知那些就绪的文件描述符,而且当我们调用epoll_wait()获得就绪文件描述符时,返回的不是实际的描述符,而是一个代表就绪描述符数量的值,你只需要去epoll指定的一个数组中依次取得相应数量的文件描述符即可,这里也使用了内存映射(mmap)技术,这样便彻底省掉了这些文件描述符在系统调用时复制的开销。
另一个本质的改进在于epoll采用基于事件的就绪通知方式。在select/poll中,进程只有在调用一定的方法后,内核才对所有监视的文件描述符进行扫描,而epoll事先通过epoll_ctl()来注册一个文件描述符,一旦基于某个文件描述符就绪时,内核会采用类似callback的回调机制,迅速激活这个文件描述符,当进程调用epoll_wait()时便得到通知。
select,poll,epoll
Python中有一个select模块,其中提供了:select、poll、epoll三个方法,分别调用系统的 select,poll,epoll 从而实现IO多路复用。
Windows Python:
提供: select
Mac Python:
提供: select
Linux Python:
提供: select、poll、epoll
注意:网络操作、文件操作、终端操作等均属于IO操作,对于windows只支持Socket操作,其他系统支持其他IO操作,但是无法检测 普通文件操作 自动上次读取是否已经变化。
对于select方法:
句柄列表11, 句柄列表22, 句柄列表33 = select.select(句柄序列1, 句柄序列2, 句柄序列3, 超时时间) 参数: 可接受四个参数(前三个必须)
返回值:三个列表 select方法用来监视文件句柄,如果句柄发生变化,则获取该句柄。
1、当 参数1 序列中的句柄发生可读时(accetp和read),则获取发生变化的句柄并添加到 返回值1 序列中
2、当 参数2 序列中含有句柄时,则将该序列中所有的句柄添加到 返回值2 序列中
3、当 参数3 序列中的句柄发生错误时,则将该发生错误的句柄添加到 返回值3 序列中
4、当 超时时间 未设置,则select会一直阻塞,直到监听的句柄发生变化
当 超时时间 = 1时,那么如果监听的句柄均无任何变化,则select会阻塞 1 秒,之后返回三个空列表,如果监听的句柄有变化,则直接执行。
select
import socket
import select sk1 = socket.socket()
sk1.bind(('127.0.0.1',8001))
sk1.listen(5) sk2 = socket.socket()
sk2.bind(('127.0.0.1',8002))
sk2.listen(5)
inputs = [sk1,sk2]
while True:
r, w, e = select.select(inputs, [], [], 5)
for obj in r:
if obj in [sk1,sk2]:
print('新连接来了。。')
conn,addr = obj.accept()
inputs.append(conn)
else:
print('有用户发消息来了。。')
data = obj.recv(1024)
obj.sendall(data)
利用select实现伪同时监听多个服务端
import socket
import select
client = socket.socket()
client.connect(('127.0.0.1', 8001,))
while True:
# v = input('>>>')
# client.sendall(bytes(v,encoding='utf-8'))
# ret = client.recv(1024)
# print('服务器返回:',ret)
read_list = [client]
write_list = []
# print('select')
for obj in read_list:
if obj:
data = input(":>>")
obj.send(data.encode())
read_list.remove(obj)
write_list.append(obj)
else:
pass
r, w, e = select.select(read_list, write_list, read_list)
# print('r',r)
# print('w',w)
for obj in write_list:
data = obj.recv(1024)
print(data)
客户端-1(基于select实现)好像有错
import socket client = socket.socket()
client.connect(('127.0.0.1',8002,)) while True:
v = input('>>>')
client.sendall(bytes(v,encoding='utf-8'))
ret = client.recv(1024)
print('服务器返回:',ret)
客户端-2
抄袭地址:http://www.cnblogs.com/wupeiqi/articles/5040823.html
select,poll,epoll详细看这里:
http://www.cnblogs.com/alex3714/p/4372426.html
https://segmentfault.com/a/1190000003063859
https://my.oschina.net/moooofly/blog/147297
6. 线程的继承调用
忘了,下次补。
adfsaf
Python 线程池,进程池,协程,和其他的更多相关文章
- Python 线程和进程和协程总结
Python 线程和进程和协程总结 线程和进程和协程 进程 进程是程序执行时的一个实例,是担当分配系统资源(CPU时间.内存等)的基本单位: 进程有独立的地址空间,一个进程崩溃后,在保护模式下不会对其 ...
- Python 线程、进程和协程
python提供了两个模块来实现多线程thread 和threading ,thread 有一些缺点,在threading 得到了弥补,为了不浪费时间,所以我们直接学习threading 就可以了. ...
- python基础-第九篇-9.1初了解Python线程、进程、协程
了解相关概念之前,我们先来看一张图 进程: 优点:同时利用多个cpu,能够同时进行多个操作 缺点:耗费资源(重新开辟内存空间) 线程: 优点:共享内存,IO操作时候,创造并发操作 缺点:抢占资源 通过 ...
- python线程、进程和协程
链接:http://www.jb51.net/article/88825.htm 引言 解释器环境:python3.5.1 我们都知道python网络编程的两大必学模块socket和socketser ...
- python 线程,进程与协程
引言 线程 创建普通多线程 线程锁 互斥锁 信号量 事件 条件锁 定时器 全局解释器锁 队列 Queue:先进先出队列 LifoQueue:后进先出队列 PriorityQueue:优先级队列 deq ...
- python 线程、进程与协程
一.什么是线程?什么是进程? 第一,进程是一个实体.每一个进程都有它自己的地址空间,一般情况下,包括文本区域(text region).数据区域(data region)和堆栈(stack regio ...
- 一句话介绍python线程、进程和协程
一.进程: Python的os模块封装了常见的系统调用,其中就包括fork.而fork是linux常用的产生子进程的方法,简言之是一个调用,两个返回. 在python中,以下的两个模块用于进程的使用. ...
- python ---线程,进程,协程
本章内容 线程 进程 协程 线程是最小的调度单位 进程是最小的管理单元 线程 多线程的特点: 线程的并发是利用cpu上下文切换 多线程的执行的顺序是无序的 多线程共享全局变量 线程是继承在进程里的,没 ...
- Python之线程、进程和协程
python之线程.进程和协程 目录: 引言 一.线程 1.1 普通的多线程 1.2 自定义线程类 1.3 线程锁 1.3.1 未使用锁 1.3.2 普通锁Lock和RLock 1.3.3 信号量(S ...
- Python之路【第七篇】:线程、进程和协程
Python之路[第七篇]:线程.进程和协程 Python线程 Threading用于提供线程相关的操作,线程是应用程序中工作的最小单元. 1 2 3 4 5 6 7 8 9 10 11 12 1 ...
随机推荐
- 开始使用HTML5和CSS3验证表单
使用HTML5和CSS3验证表单 客户端验证是网页客户端程序最常用的功能之一,我们之前使用了各种各样的js库来进行表单的验证.HTML5其实早已为我们提供了表单验证的功能.至于为啥没有流行起来估计是兼 ...
- ll的命令后面的字段详解
linux学习 命令ll后字段的解释 分类:linux | 标签: 命令ll后字段的解释 2010-10-25 15:47阅读(4513)评论(0) ls -l 列表信息详解 我们平时用ls -l ...
- php实现单,双向链表,环形链表解决约瑟夫问题
传智播客PHP学院 韩顺平 PHP程序员玩转算法第一季 http://php.itcast.cn 聊天篇: 数学对我们编程来说,重不重要? 看你站在什么样的层次来说. 如果你应用程序开发,对数学要求 ...
- SpringBoot项目如何进行打包部署
springboot的打包方式有很多种.有打成war的,有打成jar的,也有直接提交到github,通过jekins进行打包部署的.这里主要介绍如何打成jar进行部署.不推荐用war,因为spring ...
- javaScript识别网址文本并转为链接文本
最近项目有个需求:用户之间发送消息时,如果发送者输入的信息中含有网址文本,要在接受者界面中显示网址链接,点击该链接直接跳转到网页.这个功能和 QQ 发送网址文本的效果非常像,可以说是一模一样的. 思路 ...
- Linq 集合操作符 Except,Intersect,Union
IList<string> s1 = new List<string>() { "One", "Two", "Three&qu ...
- python 类的绑定方法和非绑定方法
一.绑定方法 1.对象的绑定方法 首先我们明确一个知识点,凡是类中的方法或函数,默认情况下都是绑定给对象使用的.下面,我们通过实例,来慢慢解析绑定方法的应用. class People: def __ ...
- iot前台开发环境:请求示例
参考链接:http://www.cnblogs.com/keatkeat/category/872790.html 编辑->update保存 一.typescipt import { Injec ...
- CentOS7.4下的 JDK1.8 安装
一.卸载老的JDK 如果需要卸载OpenJDK,执行以下操作: [root@localhost ~]# rpm -e --nodeps tzdata-java-2014i-1.el7.noarch[r ...
- Java-Maven(五):Eclipse&Maven下创建java工程&web工程
本章文章主要学习集成了maven插件的eclipse下,创建java project和web project的步骤. 创建java工程 第一步:使用使用maven project来创建java pr ...