锁、threading.local、线程池
一、锁
Lock(1次放1个)
什么时候用到锁:
线程安全,多线程操作时,内部会让所有线程排队处理。如:list、dict、queue
线程不安全,
- import threading
- import time
- v = []
- lock = threading.Lock() #实例化了一个对象******
- def func(arg):
- lock.acquire() #加锁
- v.append(arg)
- time.sleep(0.5)
- m = v[-1]
- print(arg,m)
- lock.release() #加锁就要有解锁对应
- for i in range(1,11):
- t = threading.Thread(target=func,args=(i,))
- t.start()
RLock(1次放1个)
与Lock用法一致,但是RLock可以锁多次(必须有响应的解锁次数),Lock只能锁一次
- import threading
- import time
- v = []
- lock = threading.RLock()
- def func(arg):
- lock.acquire() #锁了两次
- lock.acquire()
- v.append(arg)
- time.sleep(0.1)
- m = v[-1]
- print(arg,m)
- lock.release() #解锁两次
- lock.release()
- for i in range(1,11):
- t = threading.Thread(target=func,args=(i,))
- t.start()
BoundedSemaphore(1次方固定个数个)
- import time
- import threading
- lock = threading.BoundedSemaphore(3) #参数是多少就一次放过去多少个线程
- def func(arg):
- lock.acquire()
- print(arg)
- time.sleep(1)
- lock.release()
- for i in range(1,11):
- t = threading.Thread(target=func,args=(i,))
- t.start()
Condition(1次放N个)
- import time
- import threading
- lock = threading.Condition()
- def func(arg):
- print("start")
- lock.acquire()
- lock.wait() #****
- print(arg)
- time.sleep(1)
- lock.release()
- for i in range(1,11):
- t = threading.Thread(target=func,args=(i,))
- t.start()
- while 1:
- num = int(input(">>>>>")) #输入多少本次就会放多少个线程
- lock.acquire() #****
- lock.notify(num)
- lock.release() #****
- #也可以通过函数逻辑判断的返回值
- def xx():
- print("来执行函数了")
- input(">>>>")
- return True
- def func(arg):
- print("线程来了")
- lock.wait_for(xx)
- print(arg)
- time.sleep(1)
- for i in range(1,11):
- t = threading.Thread(target=func,args=(i,))
- t.start()
Event(1次放所有)
- import threading
- lock = threading.Event()
- def func(arg):
- print("线程来了")
- lock.wait()#加锁
- print(arg)
- for i in range(1,11):
- t = threading.Thread(target=func,args=(i,))
- t.start()
- input(">>>>")
- lock.set() #解锁,如果后面不加锁上面的wait就失效了
- input(">>>>")
- lock.clear() #再次上锁
- for i in range(1,11):
- t = threading.Thread(target=func,args=(i,))
- t.start()
- input(">>>>")
- lock.set()
总结:
线程安全,列表和字典线程安全
为什么要加锁:
非线程安全
控制一段代码
二、threading.local
作用:
内部自动为每个线程维护一个空间(字典),用于当前存取属于自己的值。保证线程之间的数据隔离
{
线程id:{......}
线程id:{......}
线程id:{......}
}
- import time
- import threading
- v = threading.local()
- def func(arg):
- # 内部会为当前线程创建一个空间用于存储:phone=自己的值
- v.phone = arg
- time.sleep(1)
- print(v.phone,arg) # 去当前线程自己空间取值
- for i in range(1,11):
- t = threading.Thread(target=func,args=(i,))
- t.start()
- import time
- import threading
- DATA_DICT = {}
- def func(arg):
- ident = threading.get_ident()
- DATA_DICT[ident] = arg
- time.sleep(1)
- print(DATA_DICT[ident],arg)
- for i in range(10):
- t =threading.Thread(target=func,args=(i,))
- t.start()
threading.local原理
- import time
- import threading
- INFO = {}
- class Local(object):
- def __getattr__(self, item):
- ident = threading.get_ident()
- return INFO[ident][item]
- def __setattr__(self, key, value):
- ident = threading.get_ident()
- if ident in INFO:
- INFO[ident][key] = value
- else:
- INFO[ident] = {key:value}
- obj = Local()
- def func(arg):
- obj.phone = arg #对象.xx="xxx" 调用了__setattr__方法
- time.sleep(1)
- print(obj.phone,arg) #对象.xx 调用了__getattr__方法
- for i in range(1,11):
- t = threading.Thread(target=func,args=(i,))
- t.start()
threading.local原理升级版
三、线程池
- from concurrent.futures import ThreadPoolExecutor
- import time
- def func(a1,a2):
- time.sleep(1)
- print(a1,a2)
- #创建了一个线程池(最多5个线程)
- pool = ThreadPoolExecutor(5)
- for i in range(1,21):
- #去线程池中申请一个线程
- pool.submit(func,i,"a")
四、生产者消费者模型
三部件:
生产者
队列,先进先出
栈,后进先出
消费者
生产者消费者模型解决了什么问题:不用一直等待的问题
- import time
- import threading
- import queue
- q = queue.Queue()#线程安全
- def producer(id):
- while 1:
- time.sleep(2)
- q.put("包子")
- print("厨师%s生产了一个包子"%id)
- for i in range(1,3):
- t = threading.Thread(target=producer,args=(i,))
- t.start()
- def consumer(id):
- while 1:
- time.sleep(1)
- q.get("包子")
- print("顾客%s吃了一个包子"%id)
- for i in range(1,4):
- t = threading.Thread(target=consumer,args=(i,))
- t.start()
示例
锁、threading.local、线程池的更多相关文章
- CIL锁,GIL与线程池的区别,进程池和线程池,同步与异步
一.GIL锁 什么是GIL? 全局解释器锁,是加在解释器上的互斥锁 GC是python自带的内存管理机制,GC的工作原理:python中的内存管理使用的是应用计数,每个数会被加上一个整型的计数器,表示 ...
- 并发编程中死锁、递归锁、进程/线程池、协程TCP服务器并发等知识点
1.死锁 定义; 类似两个人分别被囚禁在两间房子里,A手上拿着的是B囚禁房间的钥匙,而B拿着A的钥匙,两个人都没法出去,没法给对方开锁,进而造成死锁现象.具体例子代码如下: # -*-coding:u ...
- Java多线程(三)锁对象和线程池
1:锁(Lock) 1.1 java提供了一个锁的接口,这个锁同样可以达到同步代码块的功能,API文档上说使用锁比使用synchronized更加灵活. 1.2 如何使用这个“ ...
- GIL锁和进程/线程池
GIL锁 1.GIL锁 全局解释器锁,就是一个把互斥锁,将并发变成串行,同一时刻只能有一个线程使用共享资源,牺牲效率,保证数据安全,也让程序员避免自己一个个加锁,减轻开发负担 带来的问题 感觉单核处理 ...
- python中多进程multiprocessing、多线程threading、线程池threadpool
浅显点理解:进程就是一个程序,里面的线程就是用来干活的,,,进程大,线程小 一.多线程threading 简单的单线程和多线程运行:一个参数时,后面要加逗号 步骤:for循环,相当于多个线程——t=t ...
- [Python]threading local 线程局部变量小測试
概念 有个概念叫做线程局部变量.一般我们对多线程中的全局变量都会加锁处理,这样的变量是共享变量,每一个线程都能够读写变量,为了保持同步我们会做枷锁处理.可是有些变量初始化以后.我们仅仅想让他们在每一个 ...
- C#多线程和线程池 【转】
1.概念 1.0 线程的和进程的关系以及优缺点 windows系统是一个多线程的操作系统.一个程序至少有一个进程,一个进程至少有一个线程.进程是线程的容器,一个C#客户端程序开始于一个单独的线程,C ...
- C#多线程和线程池
1.概念 1.0 线程的和进程的关系以及优缺点 windows系统是一个多线程的操作系统.一个程序至少有一个进程,一个进程至少有一个线程.进程是线程的容器,一个C#客户端程序开始于一个单独的线程,C ...
- C#多线程和线程池[转]
1.概念 1.0 线程的和进程的关系以及优缺点 windows系统是一个多线程的操作系统.一个程序至少有一个进程,一个进程至少有一个线程.进程是线程的容器,一个C#客户端程序开始于一个单独的线程,C ...
- GIL 线程池 进程池 同步 异步
1.GIL(理论 重点)2.线程池 进程池3.同步 异步 GIL 是一个全局解释器锁,是一个互斥锁 为了防止竞争解释器资源而产生的 为何需要gil:因为一个python.exe进程中只有一份解释器,如 ...
随机推荐
- Docker 基础操作指南
Docker 基础操作指南 拉取基础镜像: docker pull centos:latest 根据基础的Centos镜像运行一个名为base-centos的容器 docker run --name ...
- Beta冲刺(4/4)
队名:秃头小队 组长博客 作业博客 组长徐俊杰 过去两天完成的任务:学习了很多东西 Github签入记录 接下来的计划:继续学习 还剩下哪些任务:细节处理 燃尽图 遇到的困难:自己太菜了 收获和疑问: ...
- Spring Boot 入门(九):集成Quartz定时任务
本片文章续<Spring Boot 入门(八):集成RabbitMQ消息队列>,关于Quartz定时任务请参考<Quartz的基本使用之入门(2.3.0版本)> spring ...
- oracle如何保证数据一致性和避免脏读
oracle通过undo保证一致性读和不发生脏读 1.不发生脏读2.一致性读3. 事务槽(ITL)小解 1.不发生脏读 例如:用户A对表更新了,没有提交,用户B对进行查询,没有提交的更新不能出现在 ...
- PAT(B) 1078 字符串压缩与解压(Java)
题目链接:1078 字符串压缩与解压 (20 point(s)) 题目描述 文本压缩有很多种方法,这里我们只考虑最简单的一种:把由相同字符组成的一个连续的片段用这个字符和片段中含有这个字符的个数来表示 ...
- SAS学习笔记50 SAS数据集索引
在没有索引的情况下,SAS是一条接一条的扫描观测:有索引时,直接跳到该索引对应的观测所在位置.总结一句话就是:节省时间,节省内存,提高效率 当然并不是任何情况下使用索引都能提高工作效率,因为建立索引本 ...
- [Luogu5320][BJOI2019]堪破神机(DP+斯特林数)
https://www.cnblogs.com/cjyyb/p/10747543.html 特征方程+斯特林反演化简式子,要注意在模998244353意义下5没有二次剩余,所以每个数都要用$a+b\s ...
- apply,call和bind的使用及区别
1.用途 1)apply,call和bind都是 用来改变this的指向 2)apply和call会让当前函数立即执行,而bind会返回一个函数,后续需要的时候再调用执行 2.this指向问题 thi ...
- 启动 kibana 失败
错误信息: Sending Logstash logs to /usr/local/logstash-6.4.3/logs which is now configured via log4j2.pro ...
- 天梯赛 L2-024. 部落
题解:并查集,这里要用路径压缩来优化 代码:// 这里范围理错了, 浪费20分钟debug #include <set> #include <iostream> #includ ...