scrapy抓取小说

用scrapy建立一个project，名字为Spider

scrapy startproject Spider

因为之前一直用的是电脑自带的python版本，所以在安装scrapy时，有很多问题，也没有装成功，所以就重新给本机安装了一个python3.+，然后安装scrapy和其他的库。新建的Spider文件夹结构如图

其中Spider.py 是spider程序代码

items.py 文件中定义一些字段，这些字段用来临时存储你需要保存的数据。方便后面保存数据到其他地方，比如数据库 或者 本地文本之类的。

middlewares.py 是一个下载中间件

pipelines.py    中存储自己的数据，我们需要将这些爬取到数据存储到数据库当中

settings.py   是一些设置，比如mysql、mongodb、代理ip

entrypoint.py

然后我是根据教程抓取了dingdian小说网站的所有小说的信息，初始调试的时候，遇见类似下面提示的错误

DEBUG: Crawled (403) <GET http://zipru.to/robots.txt> (referer: None) ['partial']

然后在settings.py中添加了user-Agent，然后就没有出现下面的403了，这是因为这个文件中规定了本站点允许的爬虫机器爬取的范围（比如你不想让百度爬取你的页面，就可以通过robot来限制），因为默认scrapy遵守robot协议，所以会先请求这个文件查看自己的权限，而我们现在访问这个url得到

 DEBUG: Crawled (403) <GET http://zipru.to/robots.txt> (referer: None) ['partial']

然后在初始调试的时候设置了固定的一页进行数据抓取，然后就遇见了类似下图的错误

2016-01-13 15:01:39 [scrapy] DEBUG: Filtered duplicate request: - no more duplicates will be shown (see DUPEFILTER_DEBUG to show all duplicates)

然后百度得，在scrapy engine把request给scheduler后，scheduler会给request去重，所以对相同的url不能同时访问两次，所以在修改了抓取的页面的url后，就不会出现上述错误。

然后代码写的很随性，在抓取的时候顶点小说会封ip，因为我没有对数据抓取settings.py中设置dewnload_delay，所以会有封ip，想要用代理ip，但是在网上找的代理ip总是连接不上，所以就放弃了。

Spider.py

#-*-coding:utf-8-*-

import re
import scrapy
import time
from bs4 import BeautifulSoup
from scrapy.http import Request
from Spider.items import SpiderItem

class spider(scrapy.Spider):
    name = 'Spider'
    allowed_domains = ['x23us.com']
    bash_url = 'http://www.x23us.com/class/'
    bashurl = '.html'

    def start_requests(self):
        for i in range(1, 11):
            url = self.bash_url + str(i) + '_1' + self.bashurl
            print(url)
            yield Request(url, self.parse)

    def parse(self, response):
        soup = BeautifulSoup(response.text,'lxml')
        max_nums = soup.find_all('div',class_ = 'pagelink')[0]
        max_num = max_nums.find_all('a')[-1].get_text()
        print(max_num)
        bashurl = str(response.url)[:-7]
        for num in range(1, int(max_num) + 1):
            url = bashurl + '_' + str(num) + self.bashurl
            print(url)
            yield Request(url, self.get_name)

    def get_name(self, response):
        soup = BeautifulSoup(response.text,'lxml')
        tds = soup.find_all('tr', bgcolor='#FFFFFF')
        for td in tds:
            novelname = td.find_all('a')[1].get_text()
            novelurl = td.find_all('a')[1]['href']
            author = td.find_all('td')[-4].get_text()
            serialnumber = td.find_all('td')[-3].get_text()
            last_update = td.find_all('td')[-2].get_text()
            serialstatus = td.find_all('td')[-1].get_text()
            print("%s %s %s %s %s %s"%(novelname,author,novelurl,serialnumber,last_update,serialstatus))
            item = SpiderItem()
            item['name'] = novelname
            item['author'] = author
            item['novelurl'] = novelurl
            item['serialstatus'] = serialstatus
            item['serialnumber'] = serialnumber
            item['last_update'] = last_update
            yield  item

items.py

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class SpiderItem(scrapy.Item):
    # define the fields for your item here like:
    name = scrapy.Field() #小说名
    author = scrapy.Field()  #作者名
    novelurl = scrapy.Field()  #小说地址
    serialstatus = scrapy.Field() #状态
    serialnumber = scrapy.Field() #连载字数
    last_update = scrapy.Field() #文章上次更新时间

settings.py中添加的设置，因为在存储的时候，是将数据存储在本地的mongodb的test.novel中

BOT_NAME = 'Spider'

SPIDER_MODULES = ['Spider.spiders']
NEWSPIDER_MODULE = 'Spider.spiders'
ITEM_PIPELINES = {
   'Spider.pipelines.SpiderPipeline': 300,
}
MONGODB_SERVER = "localhost"
MONGODB_PORT = 27017
MONGODB_DB = "test"
MONGODB_COLLECTION = "novel"
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'

pipelines.py

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
import pymongo
from scrapy.conf import settings
from scrapy.exceptions import DropItem
from scrapy import log

class SpiderPipeline(object):
    def __init__(self):
        connection=pymongo.MongoClient(
            settings['MONGODB_SERVER'],
            settings['MONGODB_PORT']
        )
        db=connection[settings['MONGODB_DB']]
        self.collection=db[settings['MONGODB_COLLECTION']]

    def process_item(self, item, spider):
        valid = True
        for data in item:
            if not data:
                valid = False
                raise DropItem('Missing{0}!'.format(data))
        if valid:
            self.collection.insert(dict(item))
            log.msg('question added to mongodb database!',
                    level=log.DEBUG, spider=spider)
        return item

entrypoint.py

from scrapy.cmdline import execute
execute(['scrapy', 'crawl', 'Spider'])

mongodb中的存储结构如图

在抓取数据的过程中，如果download将request的下载失败，那么会将request给scrapy engine，然后让scrapy engine稍后重新请求。

有当scheduler中没有任何request了，整个过程才会停止。