day10--异步IO\数据库\队列\缓存
上节回顾:
线程 vs 进程
https://www.cnblogs.com/alex3714/articles/5230609.html
https://www.cnblogs.com/alex3714/articles/5248247.html
threading.get_ident()获取线程号
线程:操作系统调度的最小单位;进程是一簇线程的集合,本身不能操作,进程至少包含一个线程;
线程同时修改同一份数据时必须加锁,mutex互斥锁。
递归锁。
join()是结束上一个线程,让下一个进程能够执行。等待上一个线程执行完毕。
守护线程(slave):服务于非守护线程(master),
queue(队列):1、解耦,使程序直接首先松耦合;2、提高处理效率;
queue.Queue() FIFO=first in first out
queue.LifoQueue() LIFO=last in first out
PriorityQueue(maxsize=0) 优先级队列。
python中的多线程是伪多线程,其实是CPU的上下文切换,本质是单线程。
io 操作不占用CPU,比如从网上读取;
计算占用CPU,如1+1占用CPU;
Python的多线程,不适合CPU密集操作型的任务,适合io密集型的任务。
Python的进程也是使用操作系统的原生进程。进程之间是相互独立的。进程之间的数据是独立的,不能共享,进程也能解决操作系统多核的使用。
进程在python模块是multiprocessing,下面来生成一个进程实例:
import multiprocessing
import time def f(name):
time.sleep()
print('hello', name) if __name__ == '__main__':
p = multiprocessing.Process(target=f, args=('bob',)) #生成一个线程实例
p.start()
p.join()
上面代码生成了一个进程,可以看出,进程与线程的语法几乎一样。
启用多个进程:
import multiprocessing
import time def f(name):
time.sleep()
print('hello', name) if __name__ == '__main__':
for i in range():
p = multiprocessing.Process(target=f, args=('bob',)) #生成一个线程实例
p.start()
# p.join()
运行结果如下:
hello bob
hello bob
hello bob
hello bob
hello bob
hello bob
hello bob
hello bob
hello bob
hello bob
每一个进程都是由父进程启动的。
from multiprocessing import Process
import os def info(title):
print(title)
print('module name:', __name__)
print('parent process:', os.getppid()) #父进程的ID,每一个进程都是由父进程启动的
print('process id:', os.getpid()) #子进程ID
print("\n\n") def f(name):
info('\033[31;1mcalled from child process function f\033[0m')
print('hello', name) if __name__ == '__main__':
info('\033[32;1mmain process line\033[0m')
p = Process(target=f, args=('bob',))
p.start()
p.join()
从上面代码可以看出,任何一个进程都是有父进程启动的。Linux里面有一个超级父进程。
进程间通讯
不同进程间内存是不共享的,要想实现两个进程间的数据交换,可以用以下方法:
Queues
使用方法跟threading里的queue差不多
两个进程之间的内存是独立的。q=queue.Queue()是线程queue,from multiprocessing import Queue是进程Queue。
from multiprocessing import Process, Queue
import os def func():
print("线程名字:",__name__)
print("父线程:",os.getppid())
print("当前进程:",os.getpid()) def f(q):
q.put([, None, 'hello']) if __name__ == '__main__':
q = Queue() #进程queue
func()
p = Process(target=f, args=(q,)) #子进程的,是不能访问父进程的内存的
p.start()
print(q.get()) # prints "[42, None, 'hello']"
p.join()
运行结果如下:
线程名字: __main__
父线程: 2561
当前进程: 32596
[42, None, 'hello']
进程Queue是两个Queue,不是共享Queue,是通过pickle进行转换,克隆一份,让进程看起来实现了相互通信。
协程
协程,又称微线程,纤程。英文名Coroutine。一句话说明什么是线程:协程是一种用户态的轻量级线程。协成是用户自己控制的。
协程拥有自己的寄存器上下文和栈。协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈。因此:
协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置。
协程的好处:
1.无需线程上下文切换的开销;
2.无需原子操作锁定及同步的开销;
"原子操作(atomic operation)是不需要synchronized",所谓原子操作是指不会被线程调度机制打断的操作;这种操作一旦开始,就一直运行到结束,中间不会有任何 context switch (切换到另一个线程)。原子操作可以是一个步骤,也可以是多个操作步骤,但是其顺序是不可以被打乱,或者切割掉只执行部分。视作整体是原子性的核心。
3.方便切换控制流,简化编程模型;
4.高并发+高扩展性+低成本:一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理。
协成是在单线程里面实现的,所以不需要加锁操作,因为程序是串行的。协成本质是单线程。
缺点:
1.无法利用多核资源:协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上.当然我们日常所编写的绝大部分应用都没有这个必要,除非是cpu密集型应用。
2.进行阻塞(Blocking)操作(如IO时)会阻塞掉整个程序
遇到io操作(耗时)时即切换。
看楼上的例子,我问你这算不算做是协程呢?你说,我他妈哪知道呀,你前面说了一堆废话,但是并没告诉我协程的标准形态呀,我腚眼一想,觉得你说也对,那好,我们先给协程一个标准定义,即符合什么条件就能称之为协程:
- 必须在只有一个单线程里实现并发
- 修改共享数据不需加锁
- 用户程序里自己保存多个控制流的上下文栈
- 一个协程遇到IO操作自动切换到其它协程
基于上面这4点定义,我们刚才用yield实现的程并不能算是合格的线程,因为它有一点功能没实现,哪一点呢?
Gevent
Gevent 是一个第三方库,可以轻松通过gevent实现并发同步或异步编程,在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部,但它们被协作式地调度。
day10--异步IO\数据库\队列\缓存的更多相关文章
- Python之路,Day10 - 异步IO\数据库\队列\缓存
Python之路,Day9 - 异步IO\数据库\队列\缓存 本节内容 Gevent协程 Select\Poll\Epoll异步IO与事件驱动 Python连接Mysql数据库操作 RabbitM ...
- Python之路第一课Day10--随堂笔记(异步IO\数据库\队列\缓存)
本节内容 Gevent协程 Select\Poll\Epoll异步IO与事件驱动 Python连接Mysql数据库操作 RabbitMQ队列 Redis\Memcached缓存 Paramiko SS ...
- Python 第七篇:异步IO\数据库\队列\缓存
Gevent协程 Select\Poll\Epoll异步IO与事件驱动 Python连接Mysql数据库操作 RabbitMQ队列 Redis\Memcached缓存 Paramiko SSH Tws ...
- 异步IO\数据库\队列\缓存\RabbitMQ队列
本节内容 Gevent协程 Select\Poll\Epoll异步IO与事件驱动 Python连接Mysql数据库操作 RabbitMQ队列 Redis\Memcached缓存 Paramiko SS ...
- Day9 - 异步IO\数据库\队列\缓存
本节内容 Gevent协程 Select\Poll\Epoll异步IO与事件驱动 Python连接Mysql数据库操作 RabbitMQ队列 Redis\Memcached缓存 Paramiko SS ...
- Python - 异步IO\数据库\队列\缓存
协程 协程,又称微线程,纤程.英文名Coroutine.一句话说明什么是线程:协程是一种用户态的轻量级线程,协程一定是在单线程运行的. 协程拥有自己的寄存器上下文和栈.协程调度切换时,将寄存器上下文和 ...
- 异步IO/数据库/队列/缓存
同步与异步的性能区别 mport gevent def task(pid): """ Some non-deterministic task ""& ...
- Python之路第一课Day11--随堂笔记(异步IO\数据库\队列\缓存之二)
一.RabbitMQ队列 1.安装: a.官网: 安装 http://www.rabbitmq.com/install-standalone-mac.html b.安装python rabbitMQ ...
- Python之路,Day9 - 异步IO\数据库\队列\缓存
https://www.cnblogs.com/alex3714/articles/5248247.html http://www.cnblogs.com/wupeiqi/articles/51327 ...
随机推荐
- asp.net获取当前页面的url地址
设当前页完整地址是:http://www.jb51.net/aaa/bbb.aspx?id=5&name=kelli "http://"是协议名 "www.jb5 ...
- JVM体系结构和工作方式
JVM能够跨计算机体系结构来执行Java字节码,主要是由于JVM屏蔽了与各个计算机平台相关的软件或者是硬件之间的差异,使得与平台相关的耦合统一由JVM提供者来实现. 何为JVM ...
- layoutSubviews中判断横竖屏
在ContentView中重写layoutSubviews方法,然后根据stausbar的方向判断当前视图的横竖屏.具体代码: -(void)layoutSubviews{ [super layout ...
- 快速搭建Spring Boot项目
Spring boot是Spring推出的一个轻量化web框架,主要解决了Spring对于小型项目饱受诟病的配置和开发速度问题. Spring Boot 包含的特性如下: 创建可以独立运行的 Spri ...
- bzoj千题计划155:bzoj3543: [ONTAK2010]Garden
http://www.lydsy.com/JudgeOnline/problem.php?id=3543 枚举每一个点,作为左下角 然后枚举 相同的x坐标,y坐标 少的那个 作为另一个角 二分判断另外 ...
- bzoj千题计划117:bzoj1026: [SCOI2009]windy数
http://www.lydsy.com/JudgeOnline/problem.php?id=1026 数位DP 如果前一位填的是0, 0是前导0,下一位可以随便填 0不是前导0,下一位不能填1 为 ...
- hive架构原理简析-mapreduce部分
整个处理流程包括主要包括,语法解析(抽象语法树,AST,采用antlr),语义分析(sematic Analyzer生成查询块),逻辑计划生成(OP tree),逻辑计划优化,物理计划生成(Task ...
- soj1011. Lenny's Lucky Lotto
1011. Lenny's Lucky Lotto Constraints Time Limit: 1 secs, Memory Limit: 32 MB Description Lenny like ...
- 简单的多对一传输ns2仿真
实验名称:简单的多对一传输仿真 实验目的:1.研究怎么实现多对一传输. 实验步骤: 1.写c++代码并注册报文头. 先说一下多对一传输的方式.最开始,接收端发送控制报文给所有的发送端,告诉他们要发送多 ...
- Spark1.3.1 On Yarn的集群搭建
下面给出的是spark集群搭建的环境: 操作系统:最小安装的CentOS 7(下载地址) Yarn对应的hadoop版本号:Hadoop的Cloudera公司发行版Hadoop2.6.0-CDH5.4 ...