python采用 多进程/多线程/协程 写爬虫以及性能对比，牛逼的分分钟就将一个网站爬下来!
首先我们来了解下python中的进程，线程以及协程！
从计算机硬件角度：
计算机的核心是CPU，承担了所有的计算任务。
一个CPU，在一个时间切片里只能运行一个程序。
从操作系统的角度：
进程和线程，都是一种CPU的执行单元。
进程：表示一个程序的上下文执行活动（打开、执行、保存...）
线程：进程执行程序时候的最小调度单位（执行a，执行b...)
一个程序至少有一个进程，一个进程至少有一个线程。
并行 和 并发：
并行：多个CPU核心，不同的程序就分配给不同的CPU来运行。可以让多个程序同时执行。
cpu1 -------------
cpu2 -------------
cpu3 -------------
cpu4 -------------
并发：单个CPU核心，在一个时间切片里一次只能运行一个程序，如果需要运行多个程序，则串行执行。
cpu1 ---- ----
cpu1 ---- ----
多进程/多线程：
表示可以同时执行多个任务，进程和线程的调度是由操作系统自动完成。
进程：每个进程都有自己独立的内存空间，不同进程之间的内存空间不共享。
进程之间的通信有操作系统传递，导致通讯效率低，切换开销大。
线程：一个进程可以有多个线程，所有线程共享进程的内存空间，通讯效率高，切换开销小。
共享意味着竞争，导致数据不安全，为了保护内存空间的数据安全，引入"互斥锁"。
一个线程在访问内存空间的时候，其他线程不允许访问，必须等待之前的线程访问结束，才能使用这个内存空间。
互斥锁：一种安全有序的让多个线程访问内存空间的机制。
Python的多线程：
GIL 全局解释器锁：线程的执行权限，在Python的进程里只有一个GIL。
一个线程需要执行任务，必须获取GIL。
好处：直接杜绝了多个线程访问内存空间的安全问题。
坏处：Python的多线程不是真正多线程，不能充分利用多核CPU的资源。
但是，在I/O阻塞的时候，解释器会释放GIL。
所以：
多进程：密集CPU任务，需要充分使用多核CPU资源（服务器，大量的并行计算）的时候，用多进程。 multiprocessing
缺陷：多个进程之间通信成本高，切换开销大。
多线程：密集I/O任务（网络I/O，磁盘I/O，数据库I/O）使用多线程合适。
threading.Thread、multiprocessing.dummy
缺陷：同一个时间切片只能运行一个线程，不能做到高并行，但是可以做到高并发。
协程：又称微线程，在单线程上执行多个任务，用函数切换，开销极小。不通过操作系统调度，没有进程、线程的切换开销。genvent，monkey.patchall
多线程请求返回是无序的，那个线程有数据返回就处理那个线程，而协程返回的数据是有序的。
缺陷：单线程执行，处理密集CPU和本地磁盘IO的时候，性能较低。处理网络I/O性能还是比较高.
下面以这个网站为例，采用三种方式爬取。爬取前250名的电影。。
https://movie.douban.com/top250?start=0
通过分析网页发现第2页的url start=25，第3页的url start=50,第3页的start=75。因此可以得出这个网站每一页的数局是通过递增start这个参数获取的。
一般不看第一页的数据，第一页的没有参考价值。
这次我们主要爬取，电影名字跟评分。只是使用不同方式去对比下不同点，所以数据方面就不过多提取或者保存。只是简单的将其爬取下打印出来看看。
第一：采用多进程 , multiprocessing 模块。 当然这个耗时更网络好坏有关。在全部要请求都正常的情况下耗时15s多。
#!/usr/bin/env python2
# -*- coding=utf-8 -*- from multiprocessing import Process, Queue import time
from lxml import etree
import requests class DouBanSpider(Process):
def __init__(self, url, q):
# 重写写父类的__init__方法
super(DouBanSpider, self).__init__()
self.url = url
self.q = q
self.headers = {
'Host': 'movie.douban.com',
'Referer': 'https://movie.douban.com/top250?start=225&filter=',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36',
} def run(self):
self.parse_page() def send_request(self,url):
'''
用来发送请求的方法
:return: 返回网页源码
'''
# 请求出错时，重复请求３次,
i = 0
while i <= 3:
try:
print u"[INFO]请求url:"+url
return requests.get(url=url,headers=self.headers).content
except Exception as e:
print u'[INFO] %s%s'% (e,url)
i += 1 def parse_page(self):
'''
解析网站源码，并采用ｘｐａｔｈ提取 电影名称和平分放到队列中
:return:
'''
response = self.send_request(self.url)
html = etree.HTML(response)
# 获取到一页的电影数据
node_list = html.xpath("//div[@class='info']")
for move in node_list:
# 电影名称
title = move.xpath('.//a/span/text()')[0]
# 评分
score = move.xpath('.//div[@class="bd"]//span[@class="rating_num"]/text()')[0] # 将每一部电影的名称跟评分加入到队列
self.q.put(score + "\t" + title) def main():
# 创建一个队列用来保存进程获取到的数据
q = Queue()
base_url = 'https://movie.douban.com/top250?start='
# 构造所有ｕｒｌ
url_list = [base_url+str(num) for num in range(0,225+1,25)] # 保存进程
Process_list = []
# 创建并启动进程
for url in url_list:
p = DouBanSpider(url,q)
p.start()
Process_list.append(p) # 让主进程等待子进程执行完成
for i in Process_list:
i.join() while not q.empty():
print q.get() if __name__=="__main__": start = time.time()
main()
print '[info]耗时：%s'%(time.time()-start)
Process多进程实现
#!/usr/bin/env python2
# -*- coding=utf-8 -*- from multiprocessing import Process, Queue import time
from lxml import etree
import requests class DouBanSpider(Process):
def __init__(self, url, q):
# 重写写父类的__init__方法
super(DouBanSpider, self).__init__()
self.url = url
self.q = q
self.headers = {
'Host': 'movie.douban.com',
'Referer': 'https://movie.douban.com/top250?start=225&filter=',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36',
} def run(self):
self.parse_page() def send_request(self,url):
'''
用来发送请求的方法
:return: 返回网页源码
'''
# 请求出错时，重复请求３次,
i = 0
while i <= 3:
try:
print u"[INFO]请求url:"+url
return requests.get(url=url,headers=self.headers).content
except Exception as e:
print u'[INFO] %s%s'% (e,url)
i += 1 def parse_page(self):
'''
解析网站源码，并采用ｘｐａｔｈ提取 电影名称和平分放到队列中
:return:
'''
response = self.send_request(self.url)
html = etree.HTML(response)
# 获取到一页的电影数据
node_list = html.xpath("//div[@class='info']")
for move in node_list:
# 电影名称
title = move.xpath('.//a/span/text()')[0]
# 评分
score = move.xpath('.//div[@class="bd"]//span[@class="rating_num"]/text()')[0] # 将每一部电影的名称跟评分加入到队列
self.q.put(score + "\t" + title) def main():
# 创建一个队列用来保存进程获取到的数据
q = Queue()
base_url = 'https://movie.douban.com/top250?start='
# 构造所有ｕｒｌ
url_list = [base_url+str(num) for num in range(0,225+1,25)] # 保存进程
Process_list = []
# 创建并启动进程
for url in url_list:
p = DouBanSpider(url,q)
p.start()
Process_list.append(p) # 让主进程等待子进程执行完成
for i in Process_list:
i.join() while not q.empty():
print q.get() if __name__=="__main__": start = time.time()
main()
print '[info]耗时：%s'%(time.time()-start)
采用多线程时，耗时10.4s
#!/usr/bin/env python2
# -*- coding=utf-8 -*- from threading import Thread
from Queue import Queue
import time
from lxml import etree
import requests class DouBanSpider(Thread):
def __init__(self, url, q):
# 重写写父类的__init__方法
super(DouBanSpider, self).__init__()
self.url = url
self.q = q
self.headers = {
'Cookie': 'll="118282"; bid=ctyiEarSLfw; ps=y; __yadk_uid=0Sr85yZ9d4bEeLKhv4w3695OFOPoedzC; dbcl2="155150959:OEu4dds1G1o"; as="https://sec.douban.com/b?r=https%3A%2F%2Fbook.douban.com%2F"; ck=fTrQ; _pk_id.100001.4cf6=c86baf05e448fb8d.1506160776.3.1507290432.1507283501.; _pk_ses.100001.4cf6=*; __utma=30149280.1633528206.1506160772.1507283346.1507290433.3; __utmb=30149280.0.10.1507290433; __utmc=30149280; __utmz=30149280.1506160772.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utma=223695111.1475767059.1506160772.1507283346.1507290433.3; __utmb=223695111.0.10.1507290433; __utmc=223695111; __utmz=223695111.1506160772.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); push_noty_num=0; push_doumail_num=0',
'Host': 'movie.douban.com',
'Referer': 'https://movie.douban.com/top250?start=225&filter=',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36',
} def run(self):
self.parse_page() def send_request(self,url):
'''
用来发送请求的方法
:return: 返回网页源码
'''
# 请求出错时，重复请求３次,
i = 0
while i <= 3:
try:
print u"[INFO]请求url:"+url
html = requests.get(url=url,headers=self.headers).content
except Exception as e:
print u'[INFO] %s%s'% (e,url)
i += 1
else:
return html def parse_page(self):
'''
解析网站源码，并采用ｘｐａｔｈ提取 电影名称和平分放到队列中
:return:
'''
response = self.send_request(self.url)
html = etree.HTML(response)
# 获取到一页的电影数据
node_list = html.xpath("//div[@class='info']")
for move in node_list:
# 电影名称
title = move.xpath('.//a/span/text()')[0]
# 评分
score = move.xpath('.//div[@class="bd"]//span[@class="rating_num"]/text()')[0] # 将每一部电影的名称跟评分加入到队列
self.q.put(score + "\t" + title) def main():
# 创建一个队列用来保存进程获取到的数据
q = Queue()
base_url = 'https://movie.douban.com/top250?start='
# 构造所有ｕｒｌ
url_list = [base_url+str(num) for num in range(0,225+1,25)] # 保存线程
Thread_list = []
# 创建并启动线程
for url in url_list:
p = DouBanSpider(url,q)
p.start()
Thread_list.append(p) # 让主线程等待子线程执行完成
for i in Thread_list:
i.join() while not q.empty():
print q.get() if __name__=="__main__": start = time.time()
main()
print '[info]耗时：%s'%(time.time()-start)
thread
#!/usr/bin/env python2
# -*- coding=utf-8 -*- from threading import Thread
from Queue import Queue
import time
from lxml import etree
import requests class DouBanSpider(Thread):
def __init__(self, url, q):
# 重写写父类的__init__方法
super(DouBanSpider, self).__init__()
self.url = url
self.q = q
self.headers = {
'Cookie': 'll="118282"; bid=ctyiEarSLfw; ps=y; __yadk_uid=0Sr85yZ9d4bEeLKhv4w3695OFOPoedzC; dbcl2="155150959:OEu4dds1G1o"; as="https://sec.douban.com/b?r=https%3A%2F%2Fbook.douban.com%2F"; ck=fTrQ; _pk_id.100001.4cf6=c86baf05e448fb8d.1506160776.3.1507290432.1507283501.; _pk_ses.100001.4cf6=*; __utma=30149280.1633528206.1506160772.1507283346.1507290433.3; __utmb=30149280.0.10.1507290433; __utmc=30149280; __utmz=30149280.1506160772.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utma=223695111.1475767059.1506160772.1507283346.1507290433.3; __utmb=223695111.0.10.1507290433; __utmc=223695111; __utmz=223695111.1506160772.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); push_noty_num=0; push_doumail_num=0',
'Host': 'movie.douban.com',
'Referer': 'https://movie.douban.com/top250?start=225&filter=',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36',
} def run(self):
self.parse_page() def send_request(self,url):
'''
用来发送请求的方法
:return: 返回网页源码
'''
# 请求出错时，重复请求３次,
i = 0
while i <= 3:
try:
print u"[INFO]请求url:"+url
html = requests.get(url=url,headers=self.headers).content
except Exception as e:
print u'[INFO] %s%s'% (e,url)
i += 1
else:
return html def parse_page(self):
'''
解析网站源码，并采用ｘｐａｔｈ提取 电影名称和平分放到队列中
:return:
'''
response = self.send_request(self.url)
html = etree.HTML(response)
# 获取到一页的电影数据
node_list = html.xpath("//div[@class='info']")
for move in node_list:
# 电影名称
title = move.xpath('.//a/span/text()')[0]
# 评分
score = move.xpath('.//div[@class="bd"]//span[@class="rating_num"]/text()')[0] # 将每一部电影的名称跟评分加入到队列
self.q.put(score + "\t" + title) def main():
# 创建一个队列用来保存进程获取到的数据
q = Queue()
base_url = 'https://movie.douban.com/top250?start='
# 构造所有ｕｒｌ
url_list = [base_url+str(num) for num in range(0,225+1,25)] # 保存线程
Thread_list = []
# 创建并启动线程
for url in url_list:
p = DouBanSpider(url,q)
p.start()
Thread_list.append(p) # 让主线程等待子线程执行完成
for i in Thread_list:
i.join() while not q.empty():
print q.get() if __name__=="__main__": start = time.time()
main()
print '[info]耗时：%s'%(time.time()-start)
采用协程爬取，耗时15S，
#!/usr/bin/env python2
# -*- coding=utf-8 -*- from Queue import Queue
import time
from lxml import etree
import requests
import gevent # 打上猴子补丁
from gevent import monkey
monkey.patch_all() class DouBanSpider(object):
def __init__(self):
# 创建一个队列用来保存进程获取到的数据
self.q = Queue()
self.headers = {
'Cookie': 'll="118282"; bid=ctyiEarSLfw; ps=y; __yadk_uid=0Sr85yZ9d4bEeLKhv4w3695OFOPoedzC; dbcl2="155150959:OEu4dds1G1o"; as="https://sec.douban.com/b?r=https%3A%2F%2Fbook.douban.com%2F"; ck=fTrQ; _pk_id.100001.4cf6=c86baf05e448fb8d.1506160776.3.1507290432.1507283501.; _pk_ses.100001.4cf6=*; __utma=30149280.1633528206.1506160772.1507283346.1507290433.3; __utmb=30149280.0.10.1507290433; __utmc=30149280; __utmz=30149280.1506160772.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utma=223695111.1475767059.1506160772.1507283346.1507290433.3; __utmb=223695111.0.10.1507290433; __utmc=223695111; __utmz=223695111.1506160772.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); push_noty_num=0; push_doumail_num=0',
'Host': 'movie.douban.com',
'Referer': 'https://movie.douban.com/top250?start=225&filter=',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36',
} def run(self,url):
self.parse_page(url) def send_request(self,url):
'''
用来发送请求的方法
:return: 返回网页源码
'''
# 请求出错时，重复请求３次,
i = 0
while i <= 3:
try:
print u"[INFO]请求url:"+url
html = requests.get(url=url,headers=self.headers).content
except Exception as e:
print u'[INFO] %s%s'% (e,url)
i += 1
else:
return html def parse_page(self,url):
'''
解析网站源码，并采用ｘｐａｔｈ提取 电影名称和平分放到队列中
:return:
'''
response = self.send_request(url)
html = etree.HTML(response)
# 获取到一页的电影数据
node_list = html.xpath("//div[@class='info']")
for move in node_list:
# 电影名称
title = move.xpath('.//a/span/text()')[0]
# 评分
score = move.xpath('.//div[@class="bd"]//span[@class="rating_num"]/text()')[0] # 将每一部电影的名称跟评分加入到队列
self.q.put(score + "\t" + title) def main(self): base_url = 'https://movie.douban.com/top250?start='
# 构造所有ｕｒｌ
url_list = [base_url+str(num) for num in range(0,225+1,25)]
# 创建协程并执行
job_list = [gevent.spawn(self.run,url) for url in url_list]
# 让线程等待所有任务完成，再继续执行。
gevent.joinall(job_list) while not self.q.empty():
print self.q.get() if __name__=="__main__":
start = time.time()
douban = DouBanSpider()
douban.main()
print '[info]耗时：%s'%(time.time()-start)
gevent
用了多进程，多线程，协程，实现的代码都一样，没有测试出明显的那个好！都不分上下，可能跟网络，或者服务器配置有关。
但理论上来说线程，协程在I/O密集的操作性能是要高于进程的。
也可能是我的方法有问题，还望大神们指教！
如果你支持我，就扫扫我的红包，你领我几毛，我领几毛，也算是对我的支持。
python采用 多进程/多线程/协程 写爬虫以及性能对比，牛逼的分分钟就将一个网站爬下来!的更多相关文章
- python 多进程/多线程/协程 同步异步
这篇主要是对概念的理解: 1.异步和多线程区别:二者不是一个同等关系,异步是最终目的,多线程只是我们实现异步的一种手段.异步是当一个调用请求发送给被调用者,而调用者不用等待其结果的返回而可以做其它的事 ...
- Python 多进程 多线程 协程 I/O多路复用
引言 在学习Python多进程.多线程之前,先脑补一下如下场景: 说有这么一道题:小红烧水需要10分钟,拖地需要5分钟,洗菜需要5分钟,如果一样一样去干,就是简单的加法,全部做完,需要20分钟:但是, ...
- python学习道路(day11note)(协程,同步与异步的性能区别,url爬网页,select,RabbitMq)
1.协程 #协程 又称微线程 是一种用户的轻量级线程 程序级别代码控制 就不用加机器 #不同函数 = 不同任务 A函数切到B函数没有进行cpu级别的切换,而是程序级别的切换就是协程 yelied #单 ...
- Python异步IO之协程(一):从yield from到async的使用
引言:协程(coroutine)是Python中一直较为难理解的知识,但其在多任务协作中体现的效率又极为的突出.众所周知,Python中执行多任务还可以通过多进程或一个进程中的多线程来执行,但两者之中 ...
- Python多线程、多进程和协程的实例讲解
线程.进程和协程是什么 线程.进程和协程的详细概念解释和原理剖析不是本文的重点,本文重点讲述在Python中怎样实际使用这三种东西 参考: 进程.线程.协程之概念理解 进程(Process)是计算机中 ...
- python爬虫——多线程+协程（threading+gevent）
上一篇博客中我介绍了如何将爬虫改造为多进程爬虫,但是这种方法对爬虫效率的提升不是非常明显,而且占用电脑cpu较高,不是非常适用于爬虫.这篇博客中,我将介绍在爬虫中广泛运用的多线程+协程的解决方案,亲测 ...
- 多线程、多进程、协程、IO多路复用请求百度
最近学习了多线程.多进程.协程以及IO多路复用,那么对于爬取数据来说,这几个方式哪个最快呢,今天就来稍微测试一下 普通方式请求百度5次 import socket import time import ...
- web服务-2、四种方法实现并发服务器-多线程，多进程，协程，（单进程-单线程-非堵塞）
知识点:1.使用多线程,多进程,协程完成web并发服务器 2.单进程-单线程-非堵塞也可以实现并发服务器 1.多进程和协程的代码在下面注释掉的部分,我把三种写在一起了 import socket im ...
- python爬虫---单线程+多任务的异步协程,selenium爬虫模块的使用
python爬虫---单线程+多任务的异步协程,selenium爬虫模块的使用 一丶单线程+多任务的异步协程 特殊函数 # 如果一个函数的定义被async修饰后,则该函数就是一个特殊的函数 async ...
随机推荐
- 关于时间对象Date()
今天使用XCUI开发过程中发现另一个诡异的问题,就是年月日初始化之后默认时分秒的问题. 问题发生在重构交互日志页面的时候,原来的老页面是这样的: 进入了交互日志页面之后,默认会初始化时间为今天的凌晨到 ...
- 深入理解 JavaScript 中的 replace 方法(转)
replace方法是属于String对象的,可用于替换字符串. 简单介绍: StringObject.replace(searchValue,replaceValue) StringObject:字符 ...
- sql 比较不同行不同字段值
需求:在一个表table中有两三列,分别是"货物名称"."进货时间"."出货时间"."存放天数",货物名称和两种&quo ...
- setTimeout,setInterval你不知道的…
javascript线程解释(setTimeout,setInterval你不知道的事) 标签: javascript引擎任务浏览器functionxmlhttprequest 2011-11-21 ...
- 转：swagger 入门
前言 swagger ui是一个API在线文档生成和测试的利器,目前发现最好用的. 为什么好用?Demo 传送门 支持API自动生成同步的在线文档 这些文档可用于项目内部API审核 方便测试人员了解A ...
- MyEclipse安装步骤和破解
Myeclipse的安装步骤 MyEclipse简介: MyEclipse,是在eclipse 基础上加上自己的插件开发而成的功能强大的企业级集成开发环境,主要用于Java.Java EE以及移动应用 ...
- 201521123057 《Java程序设计》 第8周学习总结
1. 本周学习总结 1.1 以你喜欢的方式(思维导图或其他)归纳总结集合与泛型相关内容 2. 书面作业 1.List中指定元素的删除(题目4-1) 1.1 实验总结 答:remove中注意应该使用eq ...
- 201521123014 《Java程序设计》第7周学习总结
1. 本周学习总结 2. 书面作业 Q1 ArrayList代码分析 1.1 解释ArrayList的contains源代码 先看看contains的源代码: public boolean conta ...
- ASCII中关于大小写字母间隔为32的思考
一直没有搞清楚为什么在ASCII中要把大小写字母的间隔设置为32,今天才发现这样设置的精妙之处:方便了程序对大小写字母进行转换.请看: ================= 十进制 32 ...
- 201521123026《JAVA程序设计》第13周学习总结
1. 本周学习总结 以你喜欢的方式(思维导图.OneNote或其他)归纳总结多网络相关内容. 2. 书面作业 1. 网络基础 1.1 比较ping www.baidu.com与ping cec.jmu ...