python基础学习20----线程

什么是线程

　　线程，有时被称为轻量进程(Lightweight Process，LWP），是程序执行流的最小单元。一个标准的线程由线程ID，当前指令指针(PC），寄存器集合和堆栈组成。另外，线程是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不拥有系统资源，只拥有一点儿在运行中必不可少的资源，但它可与同属一个进程的其它线程共享进程所拥有的全部资源。一个线程可以创建和撤消另一个线程，同一进程中的多个线程之间可以并发执行。由于线程之间的相互制约，致使线程在运行中呈现出间断性。线程也有就绪、阻塞和运行三种基本状态。就绪状态是指线程具备运行的所有条件，逻辑上可以运行，在等待处理机；运行状态是指线程占有处理机正在运行；阻塞状态是指线程在等待一个事件（如某个信号量），逻辑上不可执行。每一个程序都至少有一个线程，若程序只有一个线程，那就是程序本身。
线程是程序中一个单一的顺序控制流程。进程内有一个相对独立的、可调度的执行单元，是系统独立调度和分派CPU的基本单位指令运行时的程序的调度单位。在单个程序中同时运行多个线程完成不同的工作，称为多线程。

什么是进程

　　进程（Process）是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统结构的基础。在早期面向进程设计的计算机结构中，进程是程序的基本执行实体；在当代面向线程设计的计算机结构中，进程是线程的容器。程序是指令、数据及其组织形式的描述，进程是程序的实体。

线程与进程的关系

线程和进程的关系：线程是属于进程的，线程运行在进程空间内，同一进程所产生的的线程共享同一用户内存空间，当进程退出时该进程所产生的线程都会被强制退出并清除。所以，线程不能独立地执行，它必须依附在一个运行的应用程序上（即进程上），而一个进程至少需要一个线程作为它的指令执行，进程管理着资源（比如CPU、内存、文件等等）。而将线程分配到某个CPU上执行。

python中的线程，threading模块

1.建立线程

import threading

def func(msg):
    print(msg)
    print("这是一个线程")

t=threading.Thread(target=func,args=("hello world",))
t.start()

通过继承类的方式创建线程

class Mythread(threading.Thread):
    def __init__(self,name,age):
        threading.Thread.__init__(self)
        self.name=name
        self.age=age

    def run(self):
        #这里是将threading.Thread中的run方法进行了重载
       print("%s is %d"%(self.name,self.age))

t=Mythread("sfencs",19)
t.start()

2.线程的并发

单个线程的创建基本没有意义，只是与主线程并发，现在我们看一下多个线程的并发

import threading
import time
class Mythread(threading.Thread):
    def __init__(self,name,age,second):
        threading.Thread.__init__(self)
        self.name=name
        self.second=second
        self.age=age

    def run(self):
        print(self.name)
        time.sleep(self.second)
        print(self.age)

t1=Mythread("sfencs",19,2)
t2=Mythread("Tom",25,5)
t1.start()
t2.start()

这里先同时打印sfencs和Tom，过了两秒打印19，又过3秒打印25.这说明这两个线程是并发的，如果是串行的那么会使用7秒完成

我们可以使用time模块计算时间

import threading
import time
class Mythread(threading.Thread):
    def __init__(self,name,age,second):
        threading.Thread.__init__(self)
        self.name=name
        self.second=second
        self.age=age

    def run(self):
        print(self.name)
        time.sleep(self.second)
        print(self.age)
time_begin=time.time()

t1=Mythread("sfencs",19,2)
t2=Mythread("Tom",25,5)
t1.start()
t2.start()
time_end=time.time()
print(time_end-time_begin)

'''

sfencs
Tom
0.0010306835174560547
19
25

'''

这里出现一个问题，输出的时间是0.0010306835174560547，而且在年龄之前输出的

原因是计算时间的代码属于主线程，它与两个自己创建的线程并发，所以它提前完成了计算，为了解决这个办法，我们使用join()方法

3.join()

一个线程使用join()方法后，必须等该线程结束后才执行join()之后的代码

time_begin=time.time()

t1=Mythread("sfencs",19,2)
t2=Mythread("Tom",25,5)
t1.start()
t2.start()
t1.join()
t2.join()
time_end=time.time()
print(time_end-time_begin)
'''
sfencs
Tom
19
25
5.001618146896362
'''

这样就显然的看出程序并发节约了约2秒钟

除此之外join()方法还有一个参数为阻塞的时间，默认为一直阻塞

4.IO密集型任务和计算密集型任务

IO密集型任务就如上述的例子一样，有阻塞的状态，如sleep()或者等待相关信息，信号时会停用cpu的任务。IO密集型的任务在python中使用多线程能够很好的节约时间完成并发。

计算密集型任务没有等待状态,从上到下执行,没有任何等待

一个线程

import threading
import time
class Mythread(threading.Thread):
    def __init__(self,):
        threading.Thread.__init__(self)

    def run(self):
        i=0
        while i<100000000:
            i+=1

time_begin=time.time()
t1=Mythread()
t1.start()
t1.join()
time_end=time.time()
print(time_end-time_begin)#6.194466590881348

两个线程

import threading
import time
class Mythread(threading.Thread):
    def __init__(self,):
        threading.Thread.__init__(self)

    def run(self):
        i=0
        while i<100000000:
            i+=1

time_begin=time.time()
t1=Mythread()
t2=Mythread()
t1.start()
t2.start()
t1.join()
t2.join()
time_end=time.time()
print(time_end-time_begin)#11.998910427093506

可见计算密集型任务在python中并发并不能很好的节约时间，和串行差不多（在python以前版本中时间还会比串行多）

可是又有一个问题，我们的电脑不是有多核cpu吗，为什么不能同时两个cpu每个运行一个线程，那样时间就只有串行的一半啊?原因就是接下来讲的GIL

5.GIL

　　首先需要明确的一点是GIL并不是Python的特性，它是在实现Python解析器(CPython)时所引入的一个概念。就好比C++是一套语言（语法）标准，但是可以用不同的编译器来编译成可执行代码。有名的编译器例如GCC，INTEL C++，Visual C++等。Python也一样，同样一段代码可以通过CPython，PyPy，Psyco等不同的Python执行环境来执行。像其中的JPython就没有GIL。然而因为CPython是大部分环境下默认的Python执行环境。所以在很多人的概念里CPython就是Python，也就想当然的把GIL归结为Python语言的缺陷。所以这里要先明确一点：GIL并不是Python的特性，Python完全可以不依赖于GIL。

那么CPython实现中的GIL又是什么呢？GIL全称Global Interpreter Lock为了避免误导，我们还是来看一下官方给出的解释：

In CPython, the global interpreter lock, or GIL, is a mutex that prevents multiple native threads from executing Python bytecodes at once. This lock is necessary mainly because CPython’s memory management is not thread-safe. (However, since the GIL exists, other features have grown to depend on the guarantees that it enforces.)

GIL就像是一个防止多线程并发的全局锁，GIL的存在导致多线程无法很好的立即多核CPU的并发处理能力。python的多线程在多核CPU上，只对于IO密集型计算产生正面效果；而当有至少有一个CPU密集型线程存在，那么多线程效率会由于GIL而大幅下降。为了避免GIL的影响，可以使用多进程。

这里具体参考https://www.cnblogs.com/SuKiWX/p/8804974.html

6.守护线程setDaemon

当主线程完成时不需要某个子线程完全运行完就要退出程序，那么就可以将这个子线程设置为守护线程，setDaemon(True).

import threading
import time
class Mythread(threading.Thread):
    def __init__(self,name,age,second):
        threading.Thread.__init__(self)
        self.name=name
        self.second=second
        self.age=age

    def run(self):
        print(self.name)
        time.sleep(self.second)
        print(self.age)
time_begin=time.time()

t1=Mythread("sfencs",19,2)
t2=Mythread("Tom",25,5)
t1.setDaemon(True)
t2.setDaemon(True)
t1.start()
t2.start()
time_end=time.time()
print(time_end-time_begin)
'''
sfencs
Tom
0.003045797348022461
'''

不会显示年龄的输出，因为主线程已经结束。

7.Lock锁

多线程中对同一资源进行处理，有可能会导致数据不安全

import time
import threading

def addNum():
    global num

    #lock.acquire()
    temp=num
    time.sleep(0.001)
    num =temp-1
    #lock.release()

num = 100
thread_list = []
lock=threading.Lock()

for i in range(100):
    t = threading.Thread(target=addNum)
    t.start()
    thread_list.append(t)

for t in thread_list:
    t.join()

print('final num:', num )#final num: 92

这里运行结果并不是0，原因是多个线程在time.sleep()的时候同时拿到了num，所以num是同一个数，解决方法就是加锁

8.死锁与递归锁

import threading
import time
mutexA=threading.Lock()
mutexB=threading.Lock()

class MyThread(threading.Thread):
    def run(self):
        self.func1()
        self.func2()
    def func1(self):
        mutexA.acquire()
        print('%s 拿到A锁' %self.name)
        mutexB.acquire()
        print('%s 拿到B锁' %self.name)
        mutexB.release()
        mutexA.release()

    def func2(self):
        mutexB.acquire()
        print('%s 拿到B锁' %self.name)
        time.sleep(2)
        mutexA.acquire()
        print('%s 拿到A锁' %self.name)
        mutexA.release()
        mutexB.release()

if __name__ == '__main__':
    for i in range(5):
        t=MyThread()
        t.start()
'''

Thread-1 拿到A锁
Thread-1 拿到B锁
Thread-1 拿到B锁
Thread-2 拿到A锁

'''

这里开了5个线程，可是却阻塞住了，原因是在Thread1拿到B锁，Thread2拿到A锁时，func2中在等待获得A锁，func1中在等待获得B锁，两者都在等待对方释放锁，造成了死锁，使得线程互相阻塞解决方法是使用递归锁Rlock

import threading
import time
lock=threading.RLock()

class MyThread(threading.Thread):
    def run(self):
        self.func1()
        self.func2()
    def func1(self):
        lock.acquire()
        print('%s 拿到A锁' %self.name)
        lock.acquire()
        print('%s 拿到B锁' %self.name)
        lock.release()
        lock.release()

    def func2(self):
        lock.acquire()
        print('%s 拿到B锁' %self.name)
        time.sleep(2)
        lock.acquire()
        print('%s 拿到A锁' %self.name)
        lock.release()
        lock.release()

if __name__ == '__main__':
    for i in range(5):
        t=MyThread()
        t.start()
'''
Thread-1 拿到A锁
Thread-1 拿到B锁
Thread-1 拿到B锁
Thread-1 拿到A锁
Thread-2 拿到A锁
Thread-2 拿到B锁
Thread-2 拿到B锁
Thread-2 拿到A锁
Thread-4 拿到A锁
Thread-4 拿到B锁
Thread-4 拿到B锁
Thread-4 拿到A锁
Thread-3 拿到A锁
Thread-3 拿到B锁
Thread-3 拿到B锁
Thread-3 拿到A锁
Thread-5 拿到A锁
Thread-5 拿到B锁
Thread-5 拿到B锁
Thread-5 拿到A锁
'''

在Python中为了支持在同一线程中多次请求同一资源，python提供了可重入锁RLock。

这个RLock内部维护着一个Lock和一个counter变量，counter记录了acquire的次数，从而使得资源可以被多次require。直到一个线程所有的acquire都被release，其他的线程才能获得资源

9.信号量

信号量就相当于一个计数器，控制相同线程最大允许同时并发运行的数量

import threading
import time
s=threading.Semaphore(3)
class Mythread(threading.Thread):
    def __init__(self,name,age,second):
        threading.Thread.__init__(self)
        self.name=name
        self.second=second
        self.age=age

    def run(self):
        s.acquire()
        print(self.name)
        time.sleep(self.second)
        print(self.age)
        s.release()
t=[]
for i in range(6):
    t.append(Mythread("sfencs",19,2))
time_begin=time.time()
for i in range(6):
    t[i].start()
for i in range(6):
    t[i].join()
time_end=time.time()
print(time_end-time_begin)
'''
sfencs
sfencs
sfencs
19
sfencs
19
sfencs
19
sfencs
19
1919

4.003796339035034
'''

如果没有信号量来限制，那么程序完成的时间应该为2秒左右

10.条件变量同步

wait等待notify的通知，当接到通知后，会重新从if accquire()执行

import threading
import time
c=threading.Condition()
count=0
class producer(threading.Thread):
    def __init__(self):
        threading.Thread.__init__(self)

    def run(self):
        global count
        while True:
            if c.acquire():
                if count>5:
                    c.wait()
                else:
                    count+=1

                    print(self.name+":生产了一件商品")
                    c.notify()
                c.release()
                time.sleep(0.5)

class consumer(threading.Thread):
    def __init__(self):
        threading.Thread.__init__(self)

    def run(self):
        global count
        while True:
            if c.acquire():
                if count<5:
                    print(self.name+":我再等一会儿")
                    c.wait()
                else:
                    count-=1

                    print(self.name+":使用了一件商品")
                    c.notify()
                c.release()
                time.sleep(0.5)

for i in range(2):
    producer().start()
for i in range(5):
    consumer().start()

11.event

事件(event)用于线程间同步和通信。比如线程A要完成某一任务(event)线程B才能执行后面的代码

set()  开始一个事件

wait()  如果未设置set状态会一直等待，否则过

clear() 清除set状态

isSet() 是否设置set状态

import threading
import time

class interviewer(threading.Thread):
    def __init__(self):

        threading.Thread.__init__(self)

    def run(self):
        print("我能问你一个问题吗？")
        event1.set()
        event2.wait()
        print("我的问题刚才已经问完了")
        event2.clear()
        event1.set()

class interviewee1(threading.Thread):
    def __init__(self):

        threading.Thread.__init__(self)

    def run(self):
        event1.wait()
        print("你问吧")
        event1.clear()
        event2.set()
        event1.wait()
        print("行吧。。。")
        event1.clear()

event1=threading.Event()
event2=threading.Event()

t1 = interviewee1()
t2 = interviewer()
t1.start()
t2.start()
'''

我能问你一个问题吗？
你问吧
我的问题刚才已经问完了
行吧。。。

'''

12.队列queue

说道多线程就不得不提到队列，python中的队列用到了Queue模块,该模块提供了同步的,安全的对序列,包括FIFO（先入先出)队列Queue，LIFO（后入先出）队列LifoQueue，和优先级队列PriorityQueue.这些队列都实现了锁原语，能够在多线程中直接使用。可以使用队列来实现线程间的通信

Queue.qsize() 返回队列的大小

Queue.empty() 如果队列为空，返回True,反之False

Queue.full 与 maxsize 大小对应

Queue.get([block[, timeout]])获取队列，timeout等待时间

Queue.get_nowait() 相当Queue.get(False)

Queue.put(item) 写入队列，timeout等待时间

Queue.put_nowait(item) 相当Queue.put(item, False)

Queue.task_done() 在完成一项工作之后，Queue.task_done()函数向任务已经完成的队列发送一个信号

Queue.join() 实际上意味着等到队列为空，再执行别的操作

这个程序将之前的一个用队列改写的

import threading
import queue
import time
c=threading.Condition()
count=queue.Queue()
class producer(threading.Thread):
    def __init__(self):
        threading.Thread.__init__(self)

    def run(self):
        global count
        while True:
            if c.acquire():
                if count.full():
                    c.wait()
                else:
                    count.put(1)

                    print(self.name+":生产了一件商品")
                    c.notify()
                c.release()
                time.sleep(0.5)

class consumer(threading.Thread):
    def __init__(self):
        threading.Thread.__init__(self)

    def run(self):
        global count
        while True:
            if c.acquire():
                if not count.full():
                    print(self.name+":我再等一会儿")
                    c.wait()
                else:
                    count.get()

                    print(self.name+":使用了一件商品")
                    c.notify()
                c.release()
                time.sleep(0.5)

for i in range(2):
    producer().start()
for i in range(5):
    consumer().start()