SOCK_STREAM :TCP
SOCK_Dgram :UDP

family=
AF_INET: 服务器之间的通信
AF_INET6: 服务器之间的通信
AF_UNIX: Unix不同进程间的通信

永远遵循一发一收的原则
Day6
server 下的方法

bind() 连结IP地址和端口
listen() 每次最多几个等候
accept() 接受client里面的数据

client 下的方法

connect()

共同的方法

recv(1024)
send(string) 发送数据
sendall()

---------线程与进程---------
线程模块

import threading

t1 = threading.Thread(target=foo, args=(2,)) # 创建一个新的线程
t1.setDaemon() # 守护线程, 主程序结束,子线程直接结束
t1.start() # 执行该线程
t1.join() # 线程没执行完就停在这里 阻塞线程用
threading.current_thread()
threading.active_count()

锁:

https://www.cnblogs.com/yuanchenqi/p/5733873.html

r = threading.Lock()

r.require() 加锁
r.release() 解锁
只有执行完里面的内容才会切换线程

r = threading.Rlock() 可以重用的递归锁

event
event.isSet():返回event的状态值;
event.wait():如果 event.isSet()==False将阻塞线程;
event.set(): 设置event的状态值为True,所有阻塞池的线程激活进入就绪状态, 等待操作系统调度;
event.clear():恢复event的状态值为False。

# 多线程服务器
import socketserver

Class MyServer(socketserver):

def handle(self):
pass

if __name__ == '__main__':
server = socketserver.ThreadingTCPServer(('127.0.0.1', 8000), MyServer)
server.serve_forever()

# 多进程
from multiprocessing import Process

p = Process(target=foo, args=(1,))
p.start()
p.join() # 直接调用

#类调用
Class MyProcess(Process):
def __init__(self, name)
super(MyProcess, self).__init__()
self.name = name

def run(self):
pass

if __name__ == '__main__':

for i in range(5):
p = MyProcess('sss%s' % i)
p_list.append(p)
p.start()
for p in p_list:
p.join()

构造方法:
Process([group [, target [, name [, args [, kwargs]]]]])

  group: 线程组,目前还没有实现,库引用中提示必须是None;

  target: 要执行的方法;
  name: 进程名;
  args/kwargs: 要传入方法的参数。

方法
is_alive():返回进程是否在运行。
  join([timeout]):阻塞当前上下文环境的进程程,直到调用此方法的进程终止或到达指定的timeout(可选参数)。
  start():进程准备就绪,等待CPU调度
  run():start()调用run方法,如果实例进程时未制定传入target
  terminate():不管任务是否完成,立即停止工作进程
属性:
  authkey
  daemon:和线程的setDeamon功能一样
  exitcode(进程在运行时为None、如果为–N,表示被信号N结束)
  name:进程名字。
  pid:进程号。

Manager 共享线程下面的所有数据 Queue 队列
from multiprocessing import Process, Manager, Queue, Pipe

with Manager() as manager:
d = manager.dic() #这样之后d 就可以在所有进程中通用
q = Queue() # 建立一个可以在进程中修改的队列
parent_conn, child_conn = Pipe() # 进程之间可以通过这两个来收发消息

---------线程池----------------
https://www.cnblogs.com/wupeiqi/articles/6229292.html
https://www.cnblogs.com/wupeiqi/articles/4839959.html

from concurrent.futures import ThreadPoolExecutor
def async_url():
pass
pool = ThreadPoolExecutor(len(url_list))
pool.submit(async_url, url)

pool.shutdown(wait=True)

进程就是 ProcessPollExecutor

-----------------协程-----------------
yield 协程
遇到用的时候调用
gevent

def f():
pass
monkey.patch_all()
gevent.joinall([
gevent.spawn(f, 'https://www.cnblogs.com/alex3714/articles/5248247.html'),
gevent.spawn(f, 'https://www.yahoo.com/'),
gevent.spawn(f, 'https://github.com/'),
])

线程: 计算机工作的最小单元
进程: 默认主线程,可以有多个线程共存, 共享资源
协程: 使用进程中的一个线程去做多个任务, 微线程
多线程: IO密集型
多进程: 计算密集型
GIL: 全局解释器锁 同一时间被CPU调用的只有一个线程 Cpython特有

-------------异步IO---------------
1.
asyncio 不支持http
asyncio + aiohttp 可以支持http
asyncio + requests

2.
gevent+requests
grequests

3.
Twisted

4.
Tornado

http://www.cnblogs.com/linhaifeng/articles/7454717.html

mongodb
https://www.cnblogs.com/moning/p/8329406.html

###########未解决
-------Timer---------

def hello():
print("hello, world")

t = Timer(30.0, hello)
t.start()

sk.bind(address)
  将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下,以元组(host,port)的形式表示地址。
sk.listen(backlog)
  #开始监听传入连接。backlog指定在拒绝连接之前,可以挂起的最大连接数量。
#backlog等于5,表示内核已经接到了连接请求,但服务器还没有调用accept进行处理的连接个数最大为5
#这个值不能无限大,因为要在内核中维护连接队列
sk.setblocking(bool)
  #是否阻塞(默认True),如果设置False,那么accept和recv时一旦无数据,则报错。
sk.accept()
  #接受连接并返回(conn,address),其中conn是新的套接字对象,可以用来接收和发送数据。address是连接客户端的地址。
  #接收TCP 客户的连接(阻塞式)等待连接的到来
sk.connect(address)
  #连接到address处的套接字。一般,address的格式为元组(hostname,port),如果连接出错,返回socket.error错误。
sk.connect_ex(address)
  #同上,只不过会有返回值,连接成功时返回 0 ,连接失败时候返回编码,例如:10061
sk.close()
  #关闭套接字
sk.recv(bufsize[,flag])
  #接受套接字的数据。数据以字符串形式返回,bufsize指定最多可以接收的数量。flag提供有关消息的其他信息,通常可以忽略。
sk.recvfrom(bufsize[.flag])
  #与recv()类似,但返回值是(data,address)。其中data是包含接收数据的字符串,address是发送数据的套接字地址。
sk.send(string[,flag])
  #将string中的数据发送到连接的套接字。返回值是要发送的字节数量,该数量可能小于string的字节大小。即:可能未将指定内容全部发送。
sk.sendall(string[,flag])
  #将string中的数据发送到连接的套接字,但在返回之前会尝试发送所有数据。成功返回None,失败则抛出异常。
#内部通过递归调用send,将所有内容发送出去。
sk.sendto(string[,flag],address)
  #将数据发送到套接字,address是形式为(ipaddr,port)的元组,指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。
sk.settimeout(timeout)
  #设置套接字操作的超时期,timeout是一个浮点数,单位是秒。值为None表示没有超时期。一般,超时期应该在刚创建套接字时设置,因为它们可能用于连接的操作(如 client 连接最多等待5s )
sk.getpeername()
  #返回连接套接字的远程地址。返回值通常是元组(ipaddr,port)。
sk.getsockname()
  #返回套接字自己的地址。通常是一个元组(ipaddr,port)
sk.fileno()
  #套接字的文件描述符

多线程/多进程/异步IO的更多相关文章

  1. 从Nginx的Web请求处理机制中剖析多进程、多线程、异步IO

    Nginx服务器web请求处理机制 从设计架构来说,Nginx服务器是与众不同的.不同之处一方面体现在它的模块化设计,另一方面,也是最重要的一方面,体现在它对客户端请求的处理机制上. Web服务器和客 ...

  2. python中同步、多线程、异步IO、多线程对IO密集型的影响

    目录 1.常见并发类型 2.同步版本 3.多线程 4.异步IO 5.多进程 6.总结 1.常见并发类型 I/ O密集型: 蓝色框表示程序执行工作的时间,红色框表示等待I/O操作完成的时间.此图没有按比 ...

  3. Python学习——多线程,异步IO,生成器,协程

    Python的语法是简洁的,也是难理解的. 比如yield关键字: def fun(): for i in range(5): print('test') x = yield i print('goo ...

  4. python之爬虫_并发(串行、多线程、多进程、异步IO)

    并发 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢 import requests def fetch_async(url): res ...

  5. 爬虫之多线程 多进程 自定义异步IO框架

    什么是进程? 进程是程序运行的实例,是系统进行资源分配和调度的一个独立单位,它包括独立的地址空间,资源以及1个或多个线程. 什么是线程? 线程可以看成是轻量级的进程,是CPU调度和分派的基本单位. 进 ...

  6. 多线程,多进程和异步IO

    1.多线程网络IO请求: #!/usr/bin/python #coding:utf-8 from concurrent.futures import ThreadPoolExecutor impor ...

  7. Python自动化 【第十篇】:Python进阶-多进程/协程/事件驱动与Select\Poll\Epoll异步IO

    本节内容: 多进程 协程 事件驱动与Select\Poll\Epoll异步IO   1.  多进程 启动多个进程 进程中启进程 父进程与子进程 进程间通信 不同进程间内存是不共享的,要想实现两个进程间 ...

  8. Python有了asyncio和aiohttp在爬虫这类型IO任务中多线程/多进程还有存在的必要吗?

    最近正在学习Python中的异步编程,看了一些博客后做了一些小测验:对比asyncio+aiohttp的爬虫和asyncio+aiohttp+concurrent.futures(线程池/进程池)在效 ...

  9. Python-09-线程、进程、协程、异步IO

    0. 什么是线程(thread)? 线程,有时被称为轻量级进程(Lightweight Process,LWP),是程序执行流的最小单元.一个标准的线程由线程ID,当前指令指针(PC),寄存器集合和堆 ...

随机推荐

  1. 【css】一行或者多行文字垂直水平居中

    1.方法一:使用css3弹性盒子(兼容IE10及以上浏览器,firefox,chrome,safari 5.1.7不支持) <!DOCTYPE html> <html> < ...

  2. Linux 系统假死的解决方案

    Linux 系统有时因为软件不兼容或未知 bug,导致系统假死.比如我的 Ubuntu 14.04 最近使用 vscode 时偶尔会导致系统假死,即鼠标可以移动,但点击无反应. 此时可试试如下解决方案 ...

  3. Django使用models建表的一些另类功能

    当我们对某个表需要在创建时,给他绑定一个随机的id,那么我们怎么做呢? 当创建一个用户时执行的为save方法,所以通过下面的 super(UserInfo, self).save(*args, **k ...

  4. centos 7 修改网卡名字

    1.编辑网卡信息 cd /etc/sysconfig/network-scripts/ #进入网卡目录mv ifcfg-en067761 ifcfg-eth0 #重命名网卡 cat ifcfg-eth ...

  5. vue中watch检测到不到对象属性的变化的解决方法

    watch: { option: { handler(newVal) { console.log(newVal); }, deep: true, immediate: true } }, 需要深层wa ...

  6. Node.js Error: Cannot find module express的解决办法

    1.全局安装express框架,cmd打开命令行,输入如下命令: npm install -g express express 4.x版本中将命令工具分出来,安装一个命令工具,执行命令: npm in ...

  7. CentOS7切换源

    1.备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2.下载新的CentOS-Base ...

  8. es与solr对比

    solr相关资料 自带Jetty服务器,也可以在tomcat发布solr,默认端口8983: 利用SolrJ操作solr API: Document文档和JavaBean相互转换,用到@Field(& ...

  9. cas-5.3.x接入REST登录认证,移动端登录解决方案

    一.部署cas-server及cas-sample-java-webapp 1.克隆cas-overlay-template项目并切换到5.3分支 git clone git@github.com:a ...

  10. Django异步任务之Celery

    Celery celery 是一个用于实现异步任务的库, 在很多项目中都使用它, 它和 django 融合使用很完美. 使用 celery 可以在实现 http request请求返回 view 前做 ...