#使用了线程库 import threading from queue import Queue from bs4 import BeautifulSoup import json import requests class ThreadCrawl(threading.Thread): def __init__(self,threadNmae,pageQueue,dataQueue): #threading.Thread.__init__(self) #多个父类的话下面这个方便 super(Th…

提到多线程,很多人就会望而却步,本文将由浅入深地带你攻克python多线程编程,并防止你跳入深坑, 首先看一段简单的代码: from time import ctime,sleep def play_video(video): for i in range(2): print "i am playing video: %s at %s"%(video,ctime()) sleep(4) def play_music(music): for i in range(2): print &q…

在python中进行多线程编程之前必须了解的问题: 1. 什么是线程? 答:线程是程序中一个单一的顺序控制流程.进程内一个相对独立的.可调度的执行单元,是系统独立调度和分派CPU的基本单位指运行中的程序的调度单位. 2. 什么是多线程? 答:在单个程序中同时运行多个线程完成不同的工作,称为多线程. 3. 多线程编程的目的? 答:多线程是为了同步完成多项任务,不是为了提高运行效率,而是为了提高资源使用效率来提高系统的效率.线程是在同一时间需要完成多项任务的时候实现的. 4. 如何再python中执…

1. python对多线程的支持 1)虚拟机层面 Python虚拟机使用GIL(Global Interpreter Lock,全局解释器锁)来互斥线程对共享资源的访问,暂时无法利用多处理器的优势.使用 Python 时,建议使用进程,或者混合创建进程和线程. 2)语言层面 在语言层面,Python对多线程提供了很好的支持,Python中多线程相关的模块包括:thread,threading,Queue.可以方便地支持创建线程.互斥锁.信号量.同步等特性. thread:多线程的底层支持模块,一…

对于操作系统来说,一个任务就是一个进程(Process),比如打开一个浏览器就是启动一个浏览器进程,打开一个记事本就启动了一个记事本进程,打开两个记事本就启动了两个记事本进程,打开一个Word就启动了一个Word进程. 有些进程还不止同时干一件事,比如Word,它可以同时进行打字.拼写检查.打印等事情.在一个进程内部,要同时干多件事,就需要同时运行多个“子任务”,我们把进程内的这些“子任务”称为线程(Thread).   进程.线程.协程的区别 多进程模式最大的优点就是稳定性高,因为一个子进程崩…

1.IO编程 IO(input/output).凡是用到数据交换的地方,都会涉及io编程,例如磁盘,网络的数据传输.在IO编程中,stream(流)是一种重要的概念,分为输入流(input stream)和输出流(output stream).可以把流季节为一个水管,数据相当于水管中的水,但是只能单向流动,所以数据传输过程中需要假设两个水管,一个负责输入,一个负责输出,这样读写就可以实现同步. 2.GIL:global interpreter lock全局解释器锁 在Python中,GIL导致同…

上一篇博客中我介绍了如何将爬虫改造为多进程爬虫,但是这种方法对爬虫效率的提升不是非常明显,而且占用电脑cpu较高,不是非常适用于爬虫.这篇博客中,我将介绍在爬虫中广泛运用的多线程+协程的解决方案,亲测可提高效率至少十倍以上. 本文既然提到了线程和协程,我觉得有必要在此对进程.线程.协程做一个简单的对比,了解这三个程之间的区别. 以下摘自这篇文章:http://www.cnblogs.com/guokaixin/p/6041237.html 1.进程 进程是具有一定独立功能的程序关于某个数据集合上…

目标网站:静听网 网站url:http://www.audio699.com/ 目标文件:所有在线听的音频文件 附:我有个喜好就是听有声书,然而很多软件都是付费才能听,免费在线网站虽然能听,但是禁ip很严重,就拿静听网来说,你听一个在线音频,不能一个没听完就点击下一集,甚至不能快进太快,否则直接禁你5分钟才能再听,真的是太太讨厌了... 于是我就想用爬虫给它爬下来存储本地就nice了. 我把我的大概分析步骤分享出来. 步骤1: 我查看静听网网页url有一个规律,基网址是http://www.au…

1.thread模块 2.threading模块 3.Queue模块与多线程互斥 简介: thread和threading模块允许创建和管理线程,thread模块提供了基本的线程和锁的支持,而threading提供了更高级别,功能更强的线程管理功能,Queue模块 允许创建一个可以用于多个线程之间共享数据的队列数据结构 1.thread模块 Thread模块常用函数: 实例1: # encoding:utf-8 ''' Created on 2014-6-23 @author: Administ…

一.程序.进程和线程的理解  程序:就相当于一个应用(app),例如电脑上打开的一个程序. 进程:程序运行资源(内存资源)分配的最小单位,一个程序可以有多个进程. 线程:cpu最小的调度单位,必须依赖进程而存在.线程没有独立资源,所有线程共享该进程的全部资源.线程的划分尺度比进程更小. 关系: 一个程序至少有一个进程,一个进程至少有一个线程. 资源:进程拥有独立资源,线程依赖于进程,没有独立资源,所有该进程的线程共享所在进程的所有资源. 划分尺度:线程的划分尺度小于进程(资源比进程少),使得多线…