据廖雪峰老师的学习文档介绍,高级语言通常都内置多线程的支持,Python也不例外,并且,Python的线程是真正的Posix Thread,而不是模拟出来的线程。

Python的标准库提供了两个模块:_threadthreading_thread是低级模块,threading是高级模块,对_thread进行了封装。绝大多数情况下,我们只需要使用threading这个高级模块。

启动一个线程就是把一个函数传入并创建Thread实例,然后调用start()开始执行。

下面学习笔记从有四个板块知识点:

  • _thread模块来做简单尝试
  • 线程同步:锁
  • threading来class实例化创建多线程
  • threading的线程优先级队列
  1. Python中使用线程有两种方式:函数或者用类来包装线程对象。

_thread的创建多线程示例

  1. 这就是函数式来包装线程对象:调用 _thread 模块中的start_new_thread()函数来产生新线程。语法如下:
    _thread.start_new_thread ( function, args[, kwargs] )
  • function:线程函数
  • args:传递线程函数的参数 传参数必须是tuple类型(元组)
  • kwagrs:可选参数
  1. import _thread
  2. import time
  3.  
  4. #为线程定义一个函数
  5. def print_time(threadName,delay):
  6. count= 0
  7. while count < 3:
  8. time.sleep(delay)
  9. count += 1
  10. print("%s:%s" % (threadName,time.ctime(time.time())))
  11. try:
  12. #创建两个线程
  13. _thread.start_new_thread(print_time,("thread-1",1))
  14. _thread.start_new_thread(print_time,("thread-2",2))
  15. except:
  16. print("ERROR!!")
  17.  
  18. #主程序,因为线程需要挂载到主线程运行,因此没有这一步的话不执行多线程
  19.  
  20. while 1:
  21. pass
  22.  
  23. #输出结果:线程1延时取1,线程2延时取2
  24. thread-1:Tue Aug 7 19:52:17 2018
  25. thread-2:Tue Aug 7 19:52:18 2018
  26. thread-1:Tue Aug 7 19:52:19 2018
  27. thread-1:Tue Aug 7 19:52:20 2018
  28. thread-2:Tue Aug 7 19:52:21 2018
  29. thread-2:Tue Aug 7 19:52:23 2018
  30.  
  31. '''
  32. 由于任何进程默认就会启动一个线程,我们把该线程称为主线程,主线程又可以启动新的线程,Python的threading模块有个current_thread()函数,它永远返回当前线程的实例。
  33. 主线程实例的名字叫MainThread,子线程的名字在创建时指定,我们用LoopThread命名子线程。
  34. 名字仅仅在打印时用来显示,完全没有其他意义,如果不起名字Python就自动给线程命名为Thread-1,Thread-2
  35. '''

线程同步:锁

锁的概念在多线程里应该算是灵魂级重要的东西了吧,多线程和多进程最大的不同在于,多进程中,同一个变量,各自有一份拷贝存在于每个进程中,互不影响,而多线程中,所有变量都由所有线程共享,所以,任何一个变量都可以被任何一个线程修改,因此,线程之间共享数据最大的危险在于多个线程同时改一个变量,把内容给改乱了。

为了解决这些问题,我们需要用到锁:

使用 Thread 对象的 Lock 和 Rlock 可以实现简单的线程同步,这两个对象都有 acquire 方法和 release 方法,对于那些需要每次只允许一个线程操作的数据,可以将其操作放到 acquire 和 release 方法之间。

  • 初始化锁:lock=threading.Lock()
  • 加锁:lock.acqure()
  • 解锁:lock.release()
  1. import threading
  2. import time
  3.  
  4. x = 0
  5.  
  6. #初始化锁
  7. lock = threading.Lock()
  8.  
  9. def change_it(n):
  10. global x
  11. ##加锁
  12. lock.acquire()
  13.  
  14. x = x + n
  15. x = x - n
  16.  
  17. ##解锁,不加这条会导致死锁
  18. lock.release()
  19.  
  20. def run_thread(n):
  21. for i in range(1000000):
  22. change_it(n)
  23.  
  24. t1 = threading.Thread(target = run_thread,args=(5,))
  25. t2 = threading.Thread(target = run_thread,args=(8,))
  26.  
  27. start = time.time()
  28. t1.start()
  29. t2.start()
  30. t1.join()
  31. t2.join()
  32. end = time.time() - start
  33.  
  34. print(x)
  35. print(end)
  36.  
  37. #如果不加三条锁的方法会输出:
  38. 2
  39. 0.9724380970001221
  40. #是因为两个线程在巨多次的循环中发生了错乱

  41. #加锁之后正确输出,虽然时间会长一点但是工作正常
  42. 0
  43. 2.080798864364624

上面记录完函数包装多线程后,下面就是用类来包装多线程了~

使用threading模块来class实例化创建多线程

threading 模块除了包含 _thread 模块中的所有方法外,还提供的其他方法:

  • threading.currentThread(): 返回当前的线程变量。
  • threading.enumerate(): 返回一个包含正在运行的线程的list。正在运行指线程启动后、结束前,不包括启动前和终止后的线程。
  • threading.activeCount(): 返回正在运行的线程数量,与len(threading.enumerate())有相同的结果。

除了使用方法外,线程模块同样提供了Thread类来处理线程,Thread类提供了以下方法:

  • run(): 用以表示线程活动的方法。
  • start():启动线程活动。
  • join([time]): 等待至线程中止。这阻塞调用线程直至线程的join() 方法被调用中止-正常退出或者抛出未处理的异常-或者是可选的超时发生。
  • isAlive(): 返回线程是否活动的。
  • getName(): 返回线程名。
  • setName(): 设置线程名。

创建的方式就是:从 threading.Thread 继承创建一个新的子类,并实例化后调用 start() 方法启动新线程,即它调用了线程的 run() 方法:

  1. import threading
  2. import time
  3.  
  4. exitflag = 0
  5.  
  6. #定义一个线程类
  7. class myThread(threading.Thread):
  8. def __init__(self,threadID,name,counter):
  9. threading.Thread.__init__(self)
  10. self.threadID = threadID
  11. self.name = name
  12. self.counter = counter
  13.  
  14. def run(self):
  15. print("开始线程:" + self.name)
  16. print_time(self.name,self.counter,5)
  17. print("结束线程:" + self.name)
  18.  
  19. #定义方法
  20. def print_time(threadName,delay,counter):
  21. while counter:
  22. if exitflag:
  23. threadName.exit()
  24. time.sleep(delay)
  25. print("%s:%s" % (threadName,time.ctime(time.time())))
  26. counter -= 1
  27.  
  28. #创建一个线程
  29. thread1 = myThread(1,"thread1",1)
  30. thread2 = myThread(1,"thread2",2)
  31.  
  32. #启动线程
  33. thread1.start()
  34. thread2.start()
  35. thread1.join()
  36. thread2.join()
  37. print("已经全部线程结束了")
  38.  
  39. #输出
  40. 开始线程:thread1
  41. 开始线程:thread2
  42. thread1:Tue Aug 7 20:04:14 2018
  43. thread2:Tue Aug 7 20:04:15 2018
  44. thread1:Tue Aug 7 20:04:15 2018
  45. thread1:Tue Aug 7 20:04:16 2018
  46. thread2:Tue Aug 7 20:04:17 2018
  47. thread1:Tue Aug 7 20:04:17 2018
  48. thread1:Tue Aug 7 20:04:18 2018
  49. 结束线程:thread1
  50. thread2:Tue Aug 7 20:04:19 2018
  51. thread2:Tue Aug 7 20:04:21 2018
  52. thread2:Tue Aug 7 20:04:23 2018
  53. 结束线程:thread2
  54. 已经全部线程结束了

threading的线程优先级队列(Queue)

Python 的 Queue 模块中提供了同步的、线程安全的队列类,包括FIFO(先入先出)队列Queue,LIFO(后入先出)队列LifoQueue,和优先级队列 PriorityQueue。

这些队列都实现了锁原语,能够在多线程中直接使用,可以使用队列来实现线程间的同步。

Queue 模块中的常用方法:

  • Queue.qsize() 返回队列的大小
  • Queue.empty() 如果队列为空,返回True,反之False
  • Queue.full() 如果队列满了,返回True,反之False
  • Queue.full 与 maxsize 大小对应
  • Queue.get([block[, timeout]])获取队列,timeout等待时间
  • Queue.get_nowait() 相当Queue.get(False)
  • Queue.put(item) 写入队列,timeout等待时间
  • Queue.put_nowait(item) 相当Queue.put(item, False)
  • Queue.task_done() 在完成一项工作之后,Queue.task_done()函数向任务已经完成的队列发送一个信号
  • Queue.join() 实际上意味着等到队列为空,再执行别的操作
  1. import threading
  2. import time
  3. import queue
  4. exitflag=0
  5. queueLock=threading.Lock()
  6. workQueue=queue.Queue(10)
  7. class myThread(threading.Thread):
  8. def __init__(self,threadID,name,c):
  9. threading.Thread.__init__(self)
  10. self.threadID=threadID
  11. self.name=name
  12. self.c=c
  13. def run(self):
  14. print("开始线程:"+self.name)
  15. process_data(self.name,self.c)
  16. print("退出线程:"+self.name)
  17.  
  18. def process_data(threadName,c):
  19. while not exitflag:
  20. queueLock.acquire()
  21. if not workQueue.empty():
  22. data=c.get()
  23. queueLock.release()
  24. print("%s processing %s"%(threadName,data))
  25. else:
  26. queueLock.release()
  27. time.sleep(1)
  28. threadID=1
  29. threads=[]
  30. threadlist=["thread-1","thread-2","thread-3"]
  31. namelist=["one","two","three","four","five"]
  32. #创建线程
  33. for tName in threadlist:
  34. thread=myThread(threadID,tName,workQueue)
  35. thread.start()
  36. threads.append(thread)
  37. threadID+=1
  38.  
  39. #填充我们的队列
  40. queueLock.acquire()
  41. for word in namelist:
  42. workQueue.put(word)
  43. queueLock.release()
  44.  
  45. #等待队列清空
  46. while not workQueue.empty():
  47. pass
  48.  
  49. exitflag=1
  50.  
  51. #等待所有线程完成
  52. for t in threads:
  53. t.join()
  54. print("退出主线程")
  55.  
  56. #输出
  57. 开始线程:thread-1
  58. 开始线程:thread-2
  59. 开始线程:thread-3
  60. thread-3 processing one
  61. thread-2 processing threethread-1 processing two
  62.  
  63. thread-3 processing four
  64. thread-2 processing five
  65. 退出线程:thread-3
  66. 退出线程:thread-2
  67. 退出线程:thread-1
  68. 退出主线程

学习笔记来源:菜鸟教程

Python:多线程的更多相关文章

  1. python多线程学习记录

    1.多线程的创建 import threading t = t.theading.Thread(target, args--) t.SetDeamon(True)//设置为守护进程 t.start() ...

  2. python多线程编程

    Python多线程编程中常用方法: 1.join()方法:如果一个线程或者在函数执行的过程中调用另一个线程,并且希望待其完成操作后才能执行,那么在调用线程的时就可以使用被调线程的join方法join( ...

  3. Python 多线程教程:并发与并行

    转载于: https://my.oschina.net/leejun2005/blog/398826 在批评Python的讨论中,常常说起Python多线程是多么的难用.还有人对 global int ...

  4. python多线程

    python多线程有两种用法,一种是在函数中使用,一种是放在类中使用 1.在函数中使用 定义空的线程列表 threads=[] 创建线程 t=threading.Thread(target=函数名,a ...

  5. python 多线程就这么简单(转)

    多线程和多进程是什么自行google补脑 对于python 多线程的理解,我花了很长时间,搜索的大部份文章都不够通俗易懂.所以,这里力图用简单的例子,让你对多线程有个初步的认识. 单线程 在好些年前的 ...

  6. python 多线程就这么简单(续)

    之前讲了多线程的一篇博客,感觉讲的意犹未尽,其实,多线程非常有意思.因为我们在使用电脑的过程中无时无刻都在多进程和多线程.我们可以接着之前的例子继续讲.请先看我的上一篇博客. python 多线程就这 ...

  7. python多线程监控指定目录

    import win32file import tempfile import threading import win32con import os dirs=["C:\\WINDOWS\ ...

  8. python多线程ssh爆破

    python多线程ssh爆破 Python 0x01.About 爆弱口令时候写的一个python小脚本,主要功能是实现使用字典多线程爆破ssh,支持ip表导入,字典数据导入. 主要使用到的是pyth ...

  9. 【python,threading】python多线程

    使用多线程的方式 1.  函数式:使用threading模块threading.Thread(e.g target name parameters) import time,threading def ...

  10. <转>Python 多线程的单cpu与cpu上的多线程的区别

    你对Python 多线程有所了解的话.那么你对python 多线程在单cpu意义上的多线程与多cpu上的多线程有着本质的区别,如果你对Python 多线程的相关知识想有更多的了解,你就可以浏览我们的文 ...

随机推荐

  1. C#-MVC开发微信应用(5)--自动应答系统-自动回复机器人

    前几篇已经介绍菜单和有回复信息操作,下面我们就结合snf微信端管理页面,看一下什么才是自动应答系统. 定制的服务 对于微信服务号来说,最主要的功能是提供更好的服务.用户更方便的操作,以及更快的反馈响应 ...

  2. JS 日期转换,格式化等常用的函数定义

    //判断字符串是否日期格式 function isDate(val) { return new Date(val) != "Invalid Date"; } //日期格式化 fun ...

  3. Linux下ip地址查询

    [时间:2016-12] [状态:Open] [关键词:linux,ip地址,ifconfig,ip addr] 0 引用 说起来比较搞笑,我在windows下知道可以使用ipconfig命令查询本机 ...

  4. 【iCore4 双核心板_ARM】例程七:WWDG看门狗实验——复位ARM

    实验原理: STM32内部包含窗口看门狗,通过看门狗可以监控程序运行,程序运行错误时,未在 规定时间喂狗(提前或超时),自动复位ARM,本实验通过按键按下,停止喂狗,从而产 生复位. 核心代码: in ...

  5. Halcon例程detect_indent_fft学习

    ************************************************************************************************ *** ...

  6. 在windows下执行./configure,make,makeinstall源码安装程序spice-gtk

    使用MSYS软件,在我的上一篇博客中有软件下载地址.本文使用MSYS进行源码编译spice-gtk-0.33. 首先打开MSYS软件,进入你源码所在目录,例如:cd  /c/Users/Admi... ...

  7. Oracle DBA神器之Toad

    很早就听说Toad功能很强大,一直没有使用过,因为PLSQL Developer就很好用.前几天看见同事优化Oracle就是用的Toad,有一些很强大的管理功能,于是再一次对Toad产生兴趣,收集了一 ...

  8. [原创] Xinput_1.3.DLL / MSVCR100.DLL文件缺失解决办法

    缺少如上文件,最简单粗暴的办法就是360卫士,找人工服务搜索方案,一键修复,屡试不爽!

  9. 【转帖】oracle数据类型和对应的java类型

    原文地址:http://otndnld.oracle.co.jp/document/products/oracle10g/102/doc_cd/java.102/B19275-03/datacc.ht ...

  10. 简单的SSM框架搭建教程

    简单的ssm框架的搭建和配置文件 ssm框架里边的配置: 1.src路径下直接存放数据库和log4j的properties文件 2.src路径下建个config包,分别放置ssm的xml文件 3.修改 ...