Pyspider学习

简介

国人编写的强大的网络爬虫系统并自带强大的WebUI,采用Python语言编写吗，分布式架构。支持多种数据库后端 
pyspider中文网站：http://www.pyspider.cn/ 
源码网址：https://github.com/binux/pyspider 
官方文档: http://docs.pyspider.org/

安装:

Phantomjs安装 ：

    phantomjs下载地址：http://phantomjs.org/download.html
    下载编译好的压缩包解压缩即可

• 1
• 2
• 3

Pyspider安装：

pip install Pyspider 
安装显示界面： 

启动 Pysider

pyspider all 
同时可以通过制定 -c jsonfile 来指定启动配置参数：

{
  "taskdb": "mysql+taskdb://username:password@host:port/taskdb",
  "projectdb": "mysql+projectdb://username:password@host:port/projectdb",
  "resultdb": "mysql+resultdb://username:password@host:port/resultdb",
  "message_queue": "amqp://username:password@host:port/%2F",
  "webui": {
    "username": "some_name",
    "password": "some_passwd",
    "need-auth": true
  }
}

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11

可能会出现的错误：25555端口被占用 

原因： 
lsof -i:port查询占用端口的pid 
原来phantomjs 在后台已经启动 
kill 相应进程再启动 pyspider 错误消失

[@bjzw_19_109 pyspider_pro]# lsof -i:25555
COMMAND      PID USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME
phantomjs 120202 root   17u  IPv4 810232449      0t0  TCP *:25555 (LISTEN)
[@bjzw_19_109 pyspider_pro]# kill -9 120202
[@bjzw_19_109 pyspider_pro]# lsof -i:25555
[@bjzw_19_109 pyspider_pro]# pyspider
phantomjs fetcher running on port 25555

• 1
• 2
• 3
• 4
• 5
• 6
• 7

在浏览器访问 http://localhost:5000/

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2017-03-15 16:22:50
# Project: 120_ask
from pyspider.libs.base_handler import *
class Handler(BaseHandler):
    crawl_config = {
    }
    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('http://tag.120ask.com/jibing/pinyin/a', callback=self.index_page)
    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response)：
        for each in response.doc('div.s_m1.m980 a').items():
            self.crawl(each.attr.href, callback=self.list_page)

    def list_page(self, response):
        for each in response.doc('div.s_m2.m980 a').items():
            self.crawl(each.attr.href, callback=self.detail_page)

    def detail_page(self, response):
        return {
            "url": response.url,
            "disease_name" : response.doc("div.LogoNav.m980.clears p a:nth-child(2)").text(),
            "guake" : [x.text() for x in response.doc("div.p_rbox3 div.p_sibox3b span").items()]
        }

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28

 
def on_start(self):是方法的入口代码，当在控制台点击run按钮时会调用这个方法 
@every(minutes=24*60) 这个设置是告诉scheduler（调度器）on_start方法每天执行一次。 
@config(age=10 * 24 * 60 * 60) 这个设置告诉scheduler（调度器）这个request（请求）过期时间是10天，10天内再遇到这个请求直接忽略。这个参数也可以在self.crawl(url, age=10*24*60*60) 和 crawl_config中设置。

上面的例子访问的是静态的地址：

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2017-03-15 19:10:51
# Project: test_AJAX
from pyspider.libs.base_handler import *
class Handler(BaseHandler):
    crawl_config = {
    }
    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0', callback=self.json_parser, validate_cert=False)
    @config(priority=2)
    def json_parser(self, response):
        return [{
        "title":x['title'],
        "rate": x['rate'],
        "url" : x['url']
        }for x in response.json['subjects']]

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18

访问ajax类型的：这是需要使用到phantomJS

PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能，使用webkit来编译解释执行JavaScript代码。任何你可以在基于webkit浏览器做的事情，它都能做到。它不仅是个隐形的浏览器，提供了诸如CSS选择器、支持Web标准、DOM操作、JSON、HTML5、Canvas、SVG等，同时也提供了处理文件I/O的操作，从而使你可以向操作系统读写文件等。PhantomJS的用处可谓非常广泛，诸如前端无界面自动化测试（需要结合Jasmin）、网络监测、网页截屏等。

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2017-03-24 19:31:36
# Project: PhantomJS
from pyspider.libs.base_handler import *
class Handler(BaseHandler):
    crawl_config = {
    }
    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('http://movie.douban.com/explore',fetch_type='js', callback=self.phantomjs_parser, validate_cert=False)

    def phantomjs_parser(self, response):
        return [{
            "title": "".join(
                s for s in x('p').contents() if isinstance(s, basestring)
            ).strip(),
            "rate": x('p strong').text(),
            "url": x.attr.href,
        } for x in response.doc('a.item').items()]

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20

架构： 

组件和组件之间通过消息队列链接，每一个组件都包含了一个消息队列，运行在组件各自的线程或者进程中 
组件：

Scheduler

任务优先级 
周期定时任务 
流量控制 
机遇时间周期的重抓取调度 
fetcher

method, header, cookie, proxy, etag, last_modified, timeout 等等抓取调度控制 
可以通过适配类似 phantomjs 的webkit引擎支持渲染 
Phantomjs Fetcher： 
phantomjs 的工作过程类似于一个代理，通过javascript抓取和处理抓取过来的页面，并返回正常的HTML

processor 
内置的pyquery，以jQuery解析页面【也可用使用自己喜欢的解析工具】 
在脚本中完全控制调度抓取的各项参数 
可以向后链传递信息 
异常捕获 
Pyspider的工作流

1：每一个python脚本都会有一个on_start函数，当你在WebUI中点击Run按钮时，一个新的任务就会被递交给调度器，等待执行 
2：Scheduler会分发这个task到相应的Fetcher中 
3：fetcher会抓取初始化的url并生成一个request和response对象，并传递给Processor 
4：Processor调用on_start函数并且传递一下新的url去爬取，但完成一个url的抓取工作时，processor会发送一个消息给Scheduler，告诉调度器这个任务完成。并且会发送一个新的task到scheduler中，同时会把爬取的结果发送到一个result_queue中 
5：Scheduler接收到新的task,会判断这个任务是一个新的任务还是需要重新抓取的任务，新的任务会把他们加入到任务队列中，如果是重新需要抓取的任务，则需要看一下时间周期，满足要求的才会放到任务队列中去，并且按顺序分发 
6：上面的过程会一直持续，直到程序死掉或者我们手动停止。 
关于任务：

每一个task是通过taskid来区别与其他的任务的(默认taskid【md5(url)】),可以通过重写 
def get_taskid(self, task) 方法 
task有四种状态： active、failed、success、bad-not used 
当且仅当task的状态处于active时才能被scheduled调用 
失效任务重试： 
当任务失败是，任务会默认重试3次 
第一次重试是在任务失败的之后的30分钟，1小时，6小时，更多的重试将会被推迟到12小时或者24小时之后

class MyHandler(BaseHandler):
    retry_delay = {
        0: 30,
        1: 1*60*60,
        2: 6*60*60,
        3: 12*60*60,
        '': 24*60*60
    }

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8

注意：当我们设置了age时，retry的时间不能长于age值

关于工程：

在webUI上会看到5种状态 如下图：

TODO:一个脚本刚刚被创建时的状态 
STOP:可以设置stop让项目停止运行 
CHECKING:当一个项目在运行是被编辑是会自动的设置成此状态并停止运行 
DEBUG/RUNNING :debug和running 
爬虫的抓取速度:

rate:每秒执行多少个请求 
burst:设置并发数,如 rate/burst = 0.1/3 这个意思是爬虫每10秒执行一个请求，但是前三个任务会同时执行，不会等10秒，第四个任务会等10秒再执行 
当我们把group设置为delete并把项目设置为stop状态 24小时 项目会自动删除 
self.crawl 接口的几个常用参数：

age:任务的重抓周期： 默认是-1(不在重抓) 
@config(age=10 * 24 * 60 * 60)#在10天之内遇到这个任务直接跳过 
def index_page(self, response): 
… 
priority:优先级 默认是0

def index_page(self):
    self.crawl('http://www.example.org/page2.html', callback=self.index_page)
    self.crawl('http://www.example.org/233.html', callback=self.detail_page, priority=1)

• 1
• 2
• 3

auto_recrawl:重抓 默认是False

def on_start(self):
    self.crawl('http://www.example.org/', callback=self.callback, age=5*60*60, auto_recrawl=True)

• 1
• 2

params:参数

def on_start(self):
    self.crawl('http://httpbin.org/get', callback=self.callback,params={'a': 123, 'b': 'c'})
    self.crawl('http://httpbin.org/get?a=123&b=c', callback=self.callback)

• 1
• 2
• 3

data

def on_start(self):
    self.crawl('http://httpbin.org/post', callback=self.callback, method='POST', data={'a': 123, 'b': 'c'})

• 1
• 2

files:上传文件

{field: {filename: 'content'}}

• 1

proxy: 
目前仅支持http代理

class Handler(BaseHandler):
    crawl_config = {
        'proxy': 'localhost:8080'
    }

• 1
• 2
• 3
• 4

fetch_type 
设置为js开通支持JavaScriptfetcher。默认是None 
user_agent、headers、cookies、connect_timeout 
Response对象

response.url final url
response.text  response 内动，unicode编码
response.content 字节表示
response.doc  Pyquery对象
response.json类型
response.status_code
response.orig_url：提交给self.crawl
response.headers
response.cookies
response.time 抓取所需的时间
response.encoding :response.content的编码方式

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11

Pyquery

http://www.w3school.com.cn/cssref/css_selectors.asp 
1.在pyquery中使用response.doc就可以直接实例化一个pyquery对象，就可以直接在里面使用pyquery方法了， 
2.html()和text() ——获取相应的HTML块或文本块，

例：html:"<head><title>hello</title></head>"
response.doc('head').html()#返回<title>hello</title>
response.doc('head').text()#返回hello

• 1
• 2
• 3

3.根据HTML标签来获取元素，

例：html:'<div><p>test 1</p><p>test 2</p></div>'
response.doc('p')#返回[<p>,<p>]
print response.doc('p')#返回<p>test 1</p><p>test 2</p>
print response.doc('p').html()#返回test 1

• 1
• 2
• 3
• 4

注意：当获取到的元素不只一个时，html()、text()方法只返回首个元素的相应内容块 
4.eq(index) ——根据给定的索引号得到指定元素

接上例，若想得到第二个p标签内的内容，则可以：
print response.doc('p').eq(1).html() #返回test 2
5.filter() ——根据类名、id名得到指定元素，
例：html:"<div><p id='1'>test 1</p><p class='2'>test 2</p></div>"
response.doc('p').filter('#1') #返回[<p#1>]
response.doc('p').filter('.2') #返回[<p.2>]

• 1
• 2
• 3
• 4
• 5
• 6

6.find() ——查找嵌套元素，

例：html:"<div><p id='1'>test 1</p><p class='2'>test 2</p></div>"
response.doc('div').find('p')#返回[<p#1>, <p.2>]
response.doc('div').find('p').eq(0)#返回[<p#1>]

• 1
• 2
• 3

7.直接根据类名、id名获取元素，

例：html:"<div><p id='1'>test 1</p><p class='2'>test 2</p></div>"
response.doc('#1').html()#返回test 1
response.doc('.2').html()#返回test 2

• 1
• 2
• 3

8.获取属性值，

例：html:"<p id='my_id'><a href='http://hello.com'>hello</a></p>"
response.doc('a').attr('href')#返回http://hello.com
response.doc('p').attr('id')#返回my_id

• 1
• 2
• 3

9.获取内容的一部分可以用分割字符串法：

例：html:"<p id='my_tel'>姓名 电话</p>"
response.doc('#my_tel').text().split(' ')[0]用来取“姓名” response.doc('#my_tel').text().split(' ')[0]用来取“电话”

• 1
• 2

最后再说一个模拟浏览器登陆的例子： 
爬取豆瓣读书购物车，必须登录

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2017-03-28 16:27:57
# Project: crawl_DouBan
from pyspider.libs.base_handler import *
class Handler(BaseHandler):
    crawl_config = {
    }
    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('https://read.douban.com/account/wishlist', fetch_type='js',callback=self.detail_page,validate_cert=False,method="POST",headers={'User-Agent':'Mozilla/5.0 (iPad; CPU OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1','Host':'read.douban.com',"Accept":"application/json, text/javascript, */*; q=0.01","Connection": "keep-alive","Origin":"https://read.douban.com","Referer":"https://read.douban.com/account/wishlist","X-CSRF-Token":"uY6-","X-Requested-With":"XMLHttpRequest"},cookies={"ll":"108288", "bid":"4wabuJcYPyo","gr_user_id":"8df64966-e4c4-4150-9180-088f5041759b","ct":"y","ps":"y", "_ga":"GA1.2.2060938267.1489561978","gr_cs1_dec6e52e-b09e-4a55-81b6-b70e66983b20":"user_id%3A1","ap":"1","viewed":"26925834_1046265","gr_cs1_29a6eb10-c9ee-42dc-82f9-c6bb8970bcec":"user_id%3A0","ue":"510264954@qq.com","dbcl2":"159629853:vBrocExx16U","ck":"uY6-","_vwo_uuid_v2":"5B069C1533F3E2DAF37D8FFF1F80BB3A|e5878a8eaffcd79cc9e8ea57048e3bf1", "__utma":"30149280.2060938267.1489561978.1490612245.1490687748.8","__utmb":"30149280.31.10.1490687748", "__utmc":"30149280","__utmz":"30149280.1490687748.8.5.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided)","__utmv":"30149280.15962","push_noty_num":"0", "push_doumail_num":"0","_pk_ref.100001.a7dd":"%5B%22%22%2C%22%22%2C1490689343%2C%22https%3A%2F%2Fbook.douban.com%2Fsubject%2F26959159%2F%3Ficn%3Dindex-editionrecommend%22%5D", "gr_session_id_22c937bbd8ebd703f2d8e9445f7dfd03":"7eff0ba3-0e18-490a-97eb-f4ad7f8d01ec","gr_cs1_7eff0ba3-0e18-490a-97ebf4ad7f8d01ec":"user_id%3A1","_ga":"GA1.3.2060938267.1489561978", "_pk_id.100001.a7dd":"ddb145f17d799a99.1490601416.2.1490690002.1490601424.", "_pk_ses.100001.a7dd":"*; _gat=1"})
    #"guake" : [x.text() for x in response.doc("div.p_rbox3 div.p_sibox3b span").items()]
    @config(priority=2)
    def detail_page(self, response):
        doc_body = response.doc('body')
        account = doc_body('li.more-active a.name.bn-more').text()
        book_info_dict = {}
        for item in doc_body('section.wishlist tbody tr').items():
            book_url = item('td.td-name a').attr.href
            book_name = item('td.td-name a').text()
            book_price = item('td.td-price span').text()
            book_author = item('td span.author').text()
            book_info_dict[book_name] = '  '.join([book_url,book_name,book_price,book_author])
        return {
            "url": response.url,
            "account":account,
            "book_list": book_info_dict
        }

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28