多线程/多进程/异步IO
SOCK_STREAM :TCP
SOCK_Dgram :UDP
family=
AF_INET: 服务器之间的通信
AF_INET6: 服务器之间的通信
AF_UNIX: Unix不同进程间的通信
永远遵循一发一收的原则
Day6
server 下的方法
bind() 连结IP地址和端口
listen() 每次最多几个等候
accept() 接受client里面的数据
client 下的方法
connect()
共同的方法
recv(1024)
send(string) 发送数据
sendall()
---------线程与进程---------
线程模块
import threading
t1 = threading.Thread(target=foo, args=(2,)) # 创建一个新的线程
t1.setDaemon() # 守护线程, 主程序结束,子线程直接结束
t1.start() # 执行该线程
t1.join() # 线程没执行完就停在这里 阻塞线程用
threading.current_thread()
threading.active_count()
锁:
https://www.cnblogs.com/yuanchenqi/p/5733873.html
r = threading.Lock()
r.require() 加锁
r.release() 解锁
只有执行完里面的内容才会切换线程
r = threading.Rlock() 可以重用的递归锁
event
event.isSet():返回event的状态值;
event.wait():如果 event.isSet()==False将阻塞线程;
event.set(): 设置event的状态值为True,所有阻塞池的线程激活进入就绪状态, 等待操作系统调度;
event.clear():恢复event的状态值为False。
# 多线程服务器
import socketserver
Class MyServer(socketserver):
def handle(self):
pass
if __name__ == '__main__':
server = socketserver.ThreadingTCPServer(('127.0.0.1', 8000), MyServer)
server.serve_forever()
# 多进程
from multiprocessing import Process
p = Process(target=foo, args=(1,))
p.start()
p.join() # 直接调用
#类调用
Class MyProcess(Process):
def __init__(self, name)
super(MyProcess, self).__init__()
self.name = name
def run(self):
pass
if __name__ == '__main__':
for i in range(5):
p = MyProcess('sss%s' % i)
p_list.append(p)
p.start()
for p in p_list:
p.join()
构造方法:
Process([group [, target [, name [, args [, kwargs]]]]])
group: 线程组,目前还没有实现,库引用中提示必须是None;
target: 要执行的方法;
name: 进程名;
args/kwargs: 要传入方法的参数。
方法
is_alive():返回进程是否在运行。
join([timeout]):阻塞当前上下文环境的进程程,直到调用此方法的进程终止或到达指定的timeout(可选参数)。
start():进程准备就绪,等待CPU调度
run():start()调用run方法,如果实例进程时未制定传入target
terminate():不管任务是否完成,立即停止工作进程
属性:
authkey
daemon:和线程的setDeamon功能一样
exitcode(进程在运行时为None、如果为–N,表示被信号N结束)
name:进程名字。
pid:进程号。
Manager 共享线程下面的所有数据 Queue 队列
from multiprocessing import Process, Manager, Queue, Pipe
with Manager() as manager:
d = manager.dic() #这样之后d 就可以在所有进程中通用
q = Queue() # 建立一个可以在进程中修改的队列
parent_conn, child_conn = Pipe() # 进程之间可以通过这两个来收发消息
---------线程池----------------
https://www.cnblogs.com/wupeiqi/articles/6229292.html
https://www.cnblogs.com/wupeiqi/articles/4839959.html
from concurrent.futures import ThreadPoolExecutor
def async_url():
pass
pool = ThreadPoolExecutor(len(url_list))
pool.submit(async_url, url)
pool.shutdown(wait=True)
进程就是 ProcessPollExecutor
-----------------协程-----------------
yield 协程
遇到用的时候调用
gevent
def f():
pass
monkey.patch_all()
gevent.joinall([
gevent.spawn(f, 'https://www.cnblogs.com/alex3714/articles/5248247.html'),
gevent.spawn(f, 'https://www.yahoo.com/'),
gevent.spawn(f, 'https://github.com/'),
])
线程: 计算机工作的最小单元
进程: 默认主线程,可以有多个线程共存, 共享资源
协程: 使用进程中的一个线程去做多个任务, 微线程
多线程: IO密集型
多进程: 计算密集型
GIL: 全局解释器锁 同一时间被CPU调用的只有一个线程 Cpython特有
-------------异步IO---------------
1.
asyncio 不支持http
asyncio + aiohttp 可以支持http
asyncio + requests
2.
gevent+requests
grequests
3.
Twisted
4.
Tornado
http://www.cnblogs.com/linhaifeng/articles/7454717.html
mongodb
https://www.cnblogs.com/moning/p/8329406.html
###########未解决
-------Timer---------
def hello():
print("hello, world")
t = Timer(30.0, hello)
t.start()
sk.bind(address)
将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下,以元组(host,port)的形式表示地址。
sk.listen(backlog)
#开始监听传入连接。backlog指定在拒绝连接之前,可以挂起的最大连接数量。
#backlog等于5,表示内核已经接到了连接请求,但服务器还没有调用accept进行处理的连接个数最大为5
#这个值不能无限大,因为要在内核中维护连接队列
sk.setblocking(bool)
#是否阻塞(默认True),如果设置False,那么accept和recv时一旦无数据,则报错。
sk.accept()
#接受连接并返回(conn,address),其中conn是新的套接字对象,可以用来接收和发送数据。address是连接客户端的地址。
#接收TCP 客户的连接(阻塞式)等待连接的到来
sk.connect(address)
#连接到address处的套接字。一般,address的格式为元组(hostname,port),如果连接出错,返回socket.error错误。
sk.connect_ex(address)
#同上,只不过会有返回值,连接成功时返回 0 ,连接失败时候返回编码,例如:10061
sk.close()
#关闭套接字
sk.recv(bufsize[,flag])
#接受套接字的数据。数据以字符串形式返回,bufsize指定最多可以接收的数量。flag提供有关消息的其他信息,通常可以忽略。
sk.recvfrom(bufsize[.flag])
#与recv()类似,但返回值是(data,address)。其中data是包含接收数据的字符串,address是发送数据的套接字地址。
sk.send(string[,flag])
#将string中的数据发送到连接的套接字。返回值是要发送的字节数量,该数量可能小于string的字节大小。即:可能未将指定内容全部发送。
sk.sendall(string[,flag])
#将string中的数据发送到连接的套接字,但在返回之前会尝试发送所有数据。成功返回None,失败则抛出异常。
#内部通过递归调用send,将所有内容发送出去。
sk.sendto(string[,flag],address)
#将数据发送到套接字,address是形式为(ipaddr,port)的元组,指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。
sk.settimeout(timeout)
#设置套接字操作的超时期,timeout是一个浮点数,单位是秒。值为None表示没有超时期。一般,超时期应该在刚创建套接字时设置,因为它们可能用于连接的操作(如 client 连接最多等待5s )
sk.getpeername()
#返回连接套接字的远程地址。返回值通常是元组(ipaddr,port)。
sk.getsockname()
#返回套接字自己的地址。通常是一个元组(ipaddr,port)
sk.fileno()
#套接字的文件描述符
多线程/多进程/异步IO的更多相关文章
- 从Nginx的Web请求处理机制中剖析多进程、多线程、异步IO
Nginx服务器web请求处理机制 从设计架构来说,Nginx服务器是与众不同的.不同之处一方面体现在它的模块化设计,另一方面,也是最重要的一方面,体现在它对客户端请求的处理机制上. Web服务器和客 ...
- python中同步、多线程、异步IO、多线程对IO密集型的影响
目录 1.常见并发类型 2.同步版本 3.多线程 4.异步IO 5.多进程 6.总结 1.常见并发类型 I/ O密集型: 蓝色框表示程序执行工作的时间,红色框表示等待I/O操作完成的时间.此图没有按比 ...
- Python学习——多线程,异步IO,生成器,协程
Python的语法是简洁的,也是难理解的. 比如yield关键字: def fun(): for i in range(5): print('test') x = yield i print('goo ...
- python之爬虫_并发(串行、多线程、多进程、异步IO)
并发 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢 import requests def fetch_async(url): res ...
- 爬虫之多线程 多进程 自定义异步IO框架
什么是进程? 进程是程序运行的实例,是系统进行资源分配和调度的一个独立单位,它包括独立的地址空间,资源以及1个或多个线程. 什么是线程? 线程可以看成是轻量级的进程,是CPU调度和分派的基本单位. 进 ...
- 多线程,多进程和异步IO
1.多线程网络IO请求: #!/usr/bin/python #coding:utf-8 from concurrent.futures import ThreadPoolExecutor impor ...
- Python自动化 【第十篇】:Python进阶-多进程/协程/事件驱动与Select\Poll\Epoll异步IO
本节内容: 多进程 协程 事件驱动与Select\Poll\Epoll异步IO 1. 多进程 启动多个进程 进程中启进程 父进程与子进程 进程间通信 不同进程间内存是不共享的,要想实现两个进程间 ...
- Python有了asyncio和aiohttp在爬虫这类型IO任务中多线程/多进程还有存在的必要吗?
最近正在学习Python中的异步编程,看了一些博客后做了一些小测验:对比asyncio+aiohttp的爬虫和asyncio+aiohttp+concurrent.futures(线程池/进程池)在效 ...
- Python-09-线程、进程、协程、异步IO
0. 什么是线程(thread)? 线程,有时被称为轻量级进程(Lightweight Process,LWP),是程序执行流的最小单元.一个标准的线程由线程ID,当前指令指针(PC),寄存器集合和堆 ...
随机推荐
- 彻底搞懂spark的shuffle过程(shuffle write)
什么时候需要 shuffle writer 假如我们有个 spark job 依赖关系如下 我们抽象出来其中的rdd和依赖关系: E <-------n------, ...
- FineUIMvc的分部视图连接器 --VS-- FineUIPro的用户控件连接器
[FineUIPro]用户控件 在FineUIPro中,我们可以将公用的部分定义为一个用户控件,然后添加到页面中. 一个简单的示例:http://pro.fineui.com/#/usercontro ...
- [原创]Java应用性能远程监控系统(C/S架构)
Java应用性能远程监控系统(使用C/S架构) 适用于监控所有Java应用,具有堆内存监控.方法区监控.GC监控.类加载监控.类编译监控与线程监控,提供堆快照下载,线程快照下载.体验网址:http:/ ...
- 使用axios 的post请求下载文件,
axios({ method: 'post', data: param, responseType:'blob', url: _urls + '/Downloaddata' }).then(data= ...
- Jquery mobile中用Jquery的append()追加的内容没有Jquery mobile的样式
Jquery Mobile 动态添加块之后, 样式不是JM内定的样式,解决方案如下: $('#content').append(html).enhanceWithin();//Jquery Mobil ...
- 如何用Eclipse创建一个JavaSwing的项目
创建之前必须先给开发工具安装WindowBuilder插件(安装方法可自行百度) 方式一: 创建项目 new--other--WindowBuilder--SWT Designer----SWT/JF ...
- 微信内分享第三方H5链接无法使用内置浏览器打开的解决方案
很多朋友在微信内想分享转发H5链接的时候都会很容易碰到H5链接在微信内无法打开或在微信内无法打开app下载页的情况.通常这种情况微信会给个提示 “已停止访问该网址” ,那么导致这个情况的因素有哪些呢, ...
- (七)jdk8学习心得之join方法
七.join方法 1. 作用:将list或者数组按照连接符进行连接,返回一个字符串. 2. 使用方法 1) String.join(“连接符”,数组对象或者list对象) 2) 首先转换成stream ...
- Linux学习之路4——文件IO打开、创建、读写操作
1.使用man 2 open.man 2 creat.man 2 write.man 2 read命令获取头文件 语法: int open(const char *pathname, int flag ...
- Kafka如何保证消息的可靠性传输
1.消费端弄丢了数据 唯一可能导致消费者弄丢数据的情况,就是说,你消费到了这个消息,然后消费者那边自动提交了 offset,让 Kafka 以为你已经消费好了这个消息,但其实你才刚准备处理这个消息,你 ...