day-3 python多线程编程知识点汇总
python语言以容易入门,适合应用开发,编程简洁,第三方库多等等诸多优点,并吸引广大编程爱好者。但是也存在一个被熟知的性能瓶颈:python解释器引入GIL锁以后,多CPU场景下,也不再是并行方式运行,甚至比串行性能更差。注定这门语言在某些方面是有天花板的,对于一些并行要求高的系统,python可能不再成为首选,甚至是完全不考虑。但是事情也并不是绝对悲观的,我们已经看到有一大批人正在致力优化这个特性,新版本较老版本也有了一定改进,一些核心模块我们也可以选用其它模块开发等等措施。
1、python多线程编程
threading是python实现多线程编程的常用库,有两种方式可以实现多线程:1、调用库接口传入功能函数和参数执行;2、自定义线程类继承threading.Thread,然后重写__init__和run方法。
1、调用库接口传入功能函数和参数执行
import threading
import queue
import time '''
实现功能:定义一个FIFO的queue,10个元素,3个线程同时来获取
''' # 初始化FIFO队列
q = queue.Queue()
for i in range(10):
q.put(i)
print("%s : Init queue,size:%d"%(time.ctime(),q.qsize())) # 线程功能函数,获取队列数据
def run(q,threadid):
is_empty = False
while not is_empty:
if not q.empty():
data = q.get()
print("Thread %d get:%d"%(threadid,data))
time.sleep(1)
else:
is_empty = True # 定义线程列表
thread_handler_lists = []
# 初始化线程
for i in range(3):
thread = threading.Thread(target=run,args = (q,i))
thread.start()
thread_handler_lists.append(thread)
# 等待线程执行完毕
for thread_handler in thread_handler_lists:
thread_handler.join() print("%s : End of progress"%(time.ctime()))
2、自定义线程类继承threading.Thread,然后重写__init__和run方法
和其它语言一样,为了保证多线程间数据一致性,threading库自带锁功能,涉及3个接口:
thread_lock = threading.Lock() 创建一个锁对象
thread_lock.acquire() 获取锁
thread_lock.release() 释放锁
注意:由于python模块queue已经实现多线程安全,实际编码中,不再需要进行锁的操作,此处只是进行编程演示。
import threading
import queue
import time '''
实现功能:定义一个FIFO的queue,10个元素,3个线程同时来获取
queue线程安全的队列,因此不需要加
thread_lock.acquire()
thread_lock.release() ''' # 自定义一个线程类,继承threading.Thread,重写__init__和run方法即可
class MyThread(threading.Thread):
def __init__(self,threadid,name,q):
threading.Thread.__init__(self)
self.threadid = threadid
self.name = name
self.q =q
print("%s : Init %s success."%(time.ctime(),self.name)) def run(self):
is_empty = False
while not is_empty:
thread_lock.acquire()
if not q.empty():
data = self.q.get()
print("Thread %d get:%d"%(self.threadid,data))
time.sleep(1)
thread_lock.release()
else:
is_empty = True
thread_lock.release() # 定义一个锁
thread_lock = threading.Lock()
# 定义一个FIFO队列
q = queue.Queue()
# 定义线程列表
thread_name_list = ["Thread-1","Thread-2","Thread-3"]
thread_handler_lists = [] # 初始化队列
thread_lock.acquire()
for i in range(10):
q.put(i)
thread_lock.release()
print("%s : Init queue,size:%d"%(time.ctime(),q.qsize())) # 初始化线程
thread_id = 1
for thread_name in thread_name_list:
thread = MyThread(thread_id,thread_name,q)
thread.start()
thread_handler_lists.append(thread)
thread_id += 1 # 等待线程执行完毕
for thread_handler in thread_handler_lists:
thread_handler.join() print("%s : End of progress"%(time.ctime()))
另外多线程还涉及事件和信号量,很简单,就不再贴代码了
用threading.Event 实现线程间通信,使用threading.Event可以使一个线程等待其他线程的通知,我们把这个Event传递到线程对象中,
涉及接口:set()、isSet()、Event()、clear()
如果在主机执行IO密集型任务的时候再执行这种类型的程序时,计算机就有很大可能会宕机。
这时候就可以为这段程序添加一个计数器功能,来限制一个时间点内的线程数量。
涉及接口:threading.Semaphore(5)、acquire()、release()
2、python多线程机制分析
讨论前,我们先梳理几个概念:
并行和并发
并发的关键是你有处理多个任务的能力,不一定要同时。而并行的关键是你有同时处理多个任务的能力。我认为它们最关键的点就是:是否是『同时』,或者说并行是并发的子集。
GIL
GIL:全局解释锁,python解释器级别的锁,为了保证程序本身运行正常,例如python的自动垃圾回收机制,在我们程序运行的同时,也在进行垃圾清理工作。
下图试图模拟A进程中3个线程的执行情况:
1、 t1、t2、t3线程处于就绪状态,同时向python解释器获取GIL锁
2、 假设t1获取到GIL锁,被python分配给任意CPU执行,处于运行状态
3、 Python基于某种调度方式(例如pcode),会让t1释放GIL锁,重新处于就绪状态
4、 重复1步骤,假设这时t2获取到GIL锁,运行过程同上,被python分配给任意CPU执行,处于运行状态,Python基于某种调度方式(例如pcode),会让t2释放GIL锁,重新处于就绪状态
5、 最后可以推得t1、t2、t3按如下1、2、3、4方式串行运行
因此,尽管t1、t2、t3为三个线程,理论上可以并行运行,但实际上python解释器引入GIL锁以后,多CPU场景下,也不再是并行方式运行,甚至比串行性能更差,下面我们做个测试:
我们写两个计算函数,测试单线程和多线程的时间开销,代码如下:
import threading
import time # 定义两个计算量大的函数
def sum():
sum = 0
for i in range(100000000):
sum += i def mul():
sum = 0
for i in range(10000000):
sum *= i # 单线程时间测试
starttime = time.time()
sum()
mul()
endtime = time.time()
period = endtime - starttime
print("The single thread cost:%d"%(period)) # 多线程时间测试
starttime = time.time()
l = []
t1 = threading.Thread(target = sum)
t2 = threading.Thread(target = sum)
l.append(t1)
l.append(t2)
for i in l:
i.start()
for i in l:
i.join()
endtime = time.time()
period = endtime - starttime
print("The mutiple thread cost:%d"%(period)) print("End of program.")
测试发现,多线程的时间开销居然比单线程还要大:
这个结果有点让人不可接受,那有没有办法优化?答案是有的,比如把多线程变成多进程,但是考虑到进程开销问题,实际编程中,不能开过多进程,下面是多进程测试代码:
'''
程序欲实现功能:定义1个CPU占用高函数,测试Python多进程执行效率
''' import multiprocessing
import time
def mul():
sum = 0
for i in range(1000000000):
sum *= i if __name__ == "__main__":
start_time = time.time() # 执行两个函数
mul()
mul() end_time = time.time()
print("single proccess cost : %d" % (end_time - start_time)) start_time = time.time() #定义两个进程
l = []
p1 = multiprocessing.Process(target = mul)
p1.start()
l.append(p1)
p2 = multiprocessing.Process(target = mul)
p2.start()
l.append(p2) #等待进程执行完毕
for p_list in l:
p_list.join() end_time = time.time()
print("Mutiple proccess cost : %d"%(end_time - start_time))
实际测试结果:
测试结果显示:单进程串行执行需要163秒,而双进程执行只需要107秒,显然执行效率更高。
另外进程+协程也可以提高一定性能,这里暂时不再深入分析。
有兴趣可以继续阅读下链接博客:http://cenalulu.github.io/python/gil-in-python/
day-3 python多线程编程知识点汇总的更多相关文章
- day-4 python多进程编程知识点汇总
1. python多进程简介 由于Python设计的限制(我说的是咱们常用的CPython).最多只能用满1个CPU核心.Python提供了非常好用的多进程包multiprocessing,他提供了一 ...
- python多线程编程
Python多线程编程中常用方法: 1.join()方法:如果一个线程或者在函数执行的过程中调用另一个线程,并且希望待其完成操作后才能执行,那么在调用线程的时就可以使用被调线程的join方法join( ...
- 关于python多线程编程中join()和setDaemon()的一点儿探究
关于python多线程编程中join()和setDaemon()的用法,这两天我看网上的资料看得头晕脑涨也没看懂,干脆就做一个实验来看看吧. 首先是编写实验的基础代码,创建一个名为MyThread的 ...
- python 多线程编程
这篇文章写的很棒http://blog.csdn.net/bravezhe/article/details/8585437 使用threading模块实现多线程编程一[综述] Python这门解释性语 ...
- python多线程编程—同步原语入门(锁Lock、信号量(Bounded)Semaphore)
摘录python核心编程 一般的,多线程代码中,总有一些特定的函数或者代码块不希望(或不应该)被多个线程同时执行(比如两个线程运行的顺序发生变化,就可能造成代码的执行轨迹或者行为不相同,或者产生不一致 ...
- 线程和Python—Python多线程编程
线程和Python 本节主要记录如何在 Python 中使用线程,其中包括全局解释器锁对线程的限制和对应的学习脚本. 全局解释器锁 Python 代码的执行是由 Python 虚拟机(又叫解释器主循环 ...
- python并发编程知识点总结
1.到底什么是线程?什么是进程? Python自己没有这玩意,Python中调用的操作系统的线程和进程. 2.Python多线程情况下: 计算密集型操作:效率低,Python内置的一个全局解释器锁,锁 ...
- python多线程编程(3): 使用互斥锁同步线程
问题的提出 上一节的例子中,每个线程互相独立,相互之间没有任何关系.现在假设这样一个例子:有一个全局的计数num,每个线程获取这个全局的计数,根据num进行一些处理,然后将num加1.很容易写出这样的 ...
- python多线程编程-queue模块和生产者-消费者问题
摘录python核心编程 本例中演示生产者-消费者模型:商品或服务的生产者生产商品,然后将其放到类似队列的数据结构中.生产商品中的时间是不确定的,同样消费者消费商品的时间也是不确定的. 使用queue ...
随机推荐
- 【Luogu3478】【POI2008】STA-Station(动态规划)
[Luogu3478][POI2008]STA-Station(动态规划) 题面 题目描述 给出一个\(N(2<=N<=10^6)\)个点的树,找出一个点来,以这个点为根的树时,所有点的深 ...
- 【BZOJ2748】音量调节(动态规划)
[BZOJ2748]音量调节(动态规划) 题面 Description 一个吉他手准备参加一场演出.他不喜欢在演出时始终使用同一个音量,所以他决定每一首歌之前他都要改变一次音量.在演出开始之前,他已经 ...
- zjoi网络
map加LCT水一下就过了 # include <stdio.h> # include <stdlib.h> # include <iostream> # incl ...
- redis的常用公共方法
实用redis已经有一段时间了,今天刚好有空记录一下所用到的方法,欢迎指正 首先我封装了一些字段信息 #region 字段 /// <summary> /// Redis服务器地址 /// ...
- java支付宝开发-01-沙箱环境接入
一.沙箱环境说明 (1)蚂蚁沙箱环境(Beta)是协助开发者进行接口功能开发及主要功能联调的辅助环境.沙箱环境模拟了开放平台部分产品的主要功能和主要逻辑(当前沙箱支持产品请参考“沙箱支持产品列表”). ...
- 使用Ant打包Web前台程序
概述 本文通过一个简单的Web项目作为例子描述如何用ANT完成Web前台程序的打包工作.包含文件拷贝.编译.打包三部分:完成这三部就可以得到一个War了,放到Tomcat下就可以运行了. ANT的安装 ...
- android使用JSON数据和服务器进行交互
//点击按钮发送反馈信息给服务端,成功则进入优惠券界面 Button upload = (Button) findViewById(R.id.upload); final String finalLa ...
- ZFS建池建卷和格式化
建池 zpool create pool_name path -f (例如path=/dev/sdb) zfs set primarycache=metadata pool_name (关闭数据缓存 ...
- 题目1023:EXCEL排序
//都是泪啊,搞了半天,竟然是成绩的数据类型搞成了string,输出测试用例的次数竟然搞成了排序的类别...细节决定成败!!! 题目描述: Excel可以对一组纪录按任意指定列排序.现请你编写程序实现 ...
- webpack学习(七)打包压缩图片
使用插件webpack-spritesmith生成雪碧图 1.安装webpack-spritesmith:npm install --save-dev webpack-spritesmith 2.配置 ...