锁、threading.local、线程池
一、锁
Lock(1次放1个)
什么时候用到锁:
线程安全,多线程操作时,内部会让所有线程排队处理。如:list、dict、queue
线程不安全,
import threading
import time
v = []
lock = threading.Lock() #实例化了一个对象******
def func(arg):
lock.acquire() #加锁
v.append(arg)
time.sleep(0.5)
m = v[-1]
print(arg,m)
lock.release() #加锁就要有解锁对应
for i in range(1,11):
t = threading.Thread(target=func,args=(i,))
t.start()
RLock(1次放1个)
与Lock用法一致,但是RLock可以锁多次(必须有响应的解锁次数),Lock只能锁一次
import threading
import time
v = []
lock = threading.RLock()
def func(arg):
lock.acquire() #锁了两次
lock.acquire()
v.append(arg)
time.sleep(0.1)
m = v[-1]
print(arg,m)
lock.release() #解锁两次
lock.release() for i in range(1,11):
t = threading.Thread(target=func,args=(i,))
t.start()
BoundedSemaphore(1次方固定个数个)
import time
import threading
lock = threading.BoundedSemaphore(3) #参数是多少就一次放过去多少个线程
def func(arg):
lock.acquire()
print(arg)
time.sleep(1)
lock.release()
for i in range(1,11):
t = threading.Thread(target=func,args=(i,))
t.start()
Condition(1次放N个)
import time
import threading
lock = threading.Condition()
def func(arg):
print("start")
lock.acquire()
lock.wait() #****
print(arg)
time.sleep(1)
lock.release()
for i in range(1,11):
t = threading.Thread(target=func,args=(i,))
t.start()
while 1:
num = int(input(">>>>>")) #输入多少本次就会放多少个线程
lock.acquire() #****
lock.notify(num)
lock.release() #****
#也可以通过函数逻辑判断的返回值
def xx():
print("来执行函数了")
input(">>>>")
return True
def func(arg):
print("线程来了")
lock.wait_for(xx)
print(arg)
time.sleep(1)
for i in range(1,11):
t = threading.Thread(target=func,args=(i,))
t.start()
Event(1次放所有)
import threading
lock = threading.Event()
def func(arg):
print("线程来了")
lock.wait()#加锁
print(arg)
for i in range(1,11):
t = threading.Thread(target=func,args=(i,))
t.start()
input(">>>>")
lock.set() #解锁,如果后面不加锁上面的wait就失效了
input(">>>>")
lock.clear() #再次上锁
for i in range(1,11):
t = threading.Thread(target=func,args=(i,))
t.start()
input(">>>>")
lock.set()
总结:
线程安全,列表和字典线程安全
为什么要加锁:
非线程安全
控制一段代码
二、threading.local
作用:
内部自动为每个线程维护一个空间(字典),用于当前存取属于自己的值。保证线程之间的数据隔离
{
线程id:{......}
线程id:{......}
线程id:{......}
}
import time
import threading
v = threading.local()
def func(arg):
# 内部会为当前线程创建一个空间用于存储:phone=自己的值
v.phone = arg
time.sleep(1)
print(v.phone,arg) # 去当前线程自己空间取值
for i in range(1,11):
t = threading.Thread(target=func,args=(i,))
t.start()
import time
import threading DATA_DICT = {} def func(arg):
ident = threading.get_ident()
DATA_DICT[ident] = arg
time.sleep(1)
print(DATA_DICT[ident],arg) for i in range(10):
t =threading.Thread(target=func,args=(i,))
t.start()
threading.local原理
import time
import threading
INFO = {}
class Local(object):
def __getattr__(self, item):
ident = threading.get_ident()
return INFO[ident][item]
def __setattr__(self, key, value):
ident = threading.get_ident()
if ident in INFO:
INFO[ident][key] = value
else:
INFO[ident] = {key:value}
obj = Local()
def func(arg):
obj.phone = arg #对象.xx="xxx" 调用了__setattr__方法
time.sleep(1)
print(obj.phone,arg) #对象.xx 调用了__getattr__方法
for i in range(1,11):
t = threading.Thread(target=func,args=(i,))
t.start()
threading.local原理升级版
三、线程池
from concurrent.futures import ThreadPoolExecutor
import time
def func(a1,a2):
time.sleep(1)
print(a1,a2)
#创建了一个线程池(最多5个线程)
pool = ThreadPoolExecutor(5)
for i in range(1,21):
#去线程池中申请一个线程
pool.submit(func,i,"a")
四、生产者消费者模型
三部件:
生产者
队列,先进先出
栈,后进先出
消费者
生产者消费者模型解决了什么问题:不用一直等待的问题
import time
import threading
import queue
q = queue.Queue()#线程安全
def producer(id):
while 1:
time.sleep(2)
q.put("包子")
print("厨师%s生产了一个包子"%id)
for i in range(1,3):
t = threading.Thread(target=producer,args=(i,))
t.start()
def consumer(id):
while 1:
time.sleep(1)
q.get("包子")
print("顾客%s吃了一个包子"%id)
for i in range(1,4):
t = threading.Thread(target=consumer,args=(i,))
t.start()
示例
锁、threading.local、线程池的更多相关文章
- CIL锁,GIL与线程池的区别,进程池和线程池,同步与异步
一.GIL锁 什么是GIL? 全局解释器锁,是加在解释器上的互斥锁 GC是python自带的内存管理机制,GC的工作原理:python中的内存管理使用的是应用计数,每个数会被加上一个整型的计数器,表示 ...
- 并发编程中死锁、递归锁、进程/线程池、协程TCP服务器并发等知识点
1.死锁 定义; 类似两个人分别被囚禁在两间房子里,A手上拿着的是B囚禁房间的钥匙,而B拿着A的钥匙,两个人都没法出去,没法给对方开锁,进而造成死锁现象.具体例子代码如下: # -*-coding:u ...
- Java多线程(三)锁对象和线程池
1:锁(Lock) 1.1 java提供了一个锁的接口,这个锁同样可以达到同步代码块的功能,API文档上说使用锁比使用synchronized更加灵活. 1.2 如何使用这个“ ...
- GIL锁和进程/线程池
GIL锁 1.GIL锁 全局解释器锁,就是一个把互斥锁,将并发变成串行,同一时刻只能有一个线程使用共享资源,牺牲效率,保证数据安全,也让程序员避免自己一个个加锁,减轻开发负担 带来的问题 感觉单核处理 ...
- python中多进程multiprocessing、多线程threading、线程池threadpool
浅显点理解:进程就是一个程序,里面的线程就是用来干活的,,,进程大,线程小 一.多线程threading 简单的单线程和多线程运行:一个参数时,后面要加逗号 步骤:for循环,相当于多个线程——t=t ...
- [Python]threading local 线程局部变量小測试
概念 有个概念叫做线程局部变量.一般我们对多线程中的全局变量都会加锁处理,这样的变量是共享变量,每一个线程都能够读写变量,为了保持同步我们会做枷锁处理.可是有些变量初始化以后.我们仅仅想让他们在每一个 ...
- C#多线程和线程池 【转】
1.概念 1.0 线程的和进程的关系以及优缺点 windows系统是一个多线程的操作系统.一个程序至少有一个进程,一个进程至少有一个线程.进程是线程的容器,一个C#客户端程序开始于一个单独的线程,C ...
- C#多线程和线程池
1.概念 1.0 线程的和进程的关系以及优缺点 windows系统是一个多线程的操作系统.一个程序至少有一个进程,一个进程至少有一个线程.进程是线程的容器,一个C#客户端程序开始于一个单独的线程,C ...
- C#多线程和线程池[转]
1.概念 1.0 线程的和进程的关系以及优缺点 windows系统是一个多线程的操作系统.一个程序至少有一个进程,一个进程至少有一个线程.进程是线程的容器,一个C#客户端程序开始于一个单独的线程,C ...
- GIL 线程池 进程池 同步 异步
1.GIL(理论 重点)2.线程池 进程池3.同步 异步 GIL 是一个全局解释器锁,是一个互斥锁 为了防止竞争解释器资源而产生的 为何需要gil:因为一个python.exe进程中只有一份解释器,如 ...
随机推荐
- 接口请求报错 504 Gateway Time-out
最近程序接口请求报了一个错误,如图 很明显的请求超时,以前也没出现过这个问题,突然就报了这个错,很懵. 百度之后网上说是nginx的问题,然后突然想起来,因为业务需要我在nginx里配了接口的转发. ...
- C罗是你人生中最好的健身教练和精神导师
C罗又进球了,两场小组赛包揽全队4粒进球,一己之力帮助葡萄牙取得1胜1平,掌握出线主动权.此前三届世界杯金靴分别只有6球.5球.5球进账,C罗如果能延续火爆状态,金靴唾手可得. 之前三届世界杯,C罗7 ...
- mysql 转换NULL数据方法
mysql 转换NULL数据方法<pre>SELECT info1,info2, IFNULL(info3,0) as info3 FROM `info1`;</pre>< ...
- spring 整合guava
一.ApplicationContext.xml中的配置 <!--开启缓存注解--> <cache:annotation-driven /> <bean id=" ...
- python学习-58 configparse模块
configparse模块 1.生成文件 import configparser # 配置解析模块 config = configparser.ConfigParser() # config = { ...
- Python习题001
作业1 * 用条件语句写一个BMI(体重除以身高的平方)指数* 低于18.5:过轻* 18.5 - 25 正常* 25 - 28 过重* 28 - 32 肥胖* 高于32 严重肥胖 weight = ...
- [二叉树算法]关于判断是否为BST的算法
//判断是否为BST 搜索树==二叉排序树 1.递归知最大最小值.2.先中序判是否单调 bool IsValidBST(BTNode *p,int low,int high){ if(p==NULL) ...
- react组件懒加载
组件懒加载方式-:react新增的lazy const Alert = lazy(() => import('./components/alert')); export default func ...
- babel编译ts
这里用的是babel7 npx babel src --out-dir lib --extensions ".ts"
- 使用Jenkins编译打包SpringCloud微服务中的个别目录
意义说明: 使用Jenkins从Gogs拉取SpringCloud微服务,拉取的是整个仓库的内容,分好多个模块文件夹,但是使用maven编译打包的话只编译打包指定的模块文件夹 Gogs Webhook ...