使用scrapy爬取金庸小说目录和章节url

刚接触使用scrapy的时候，如果一开始就想实现特别复杂的配置，显然是不太现实的，用一些小的例子可以帮助自己理解各个模块。

今天的目标：爬取http://www.luoxia.com/shendiao/ 网站金庸小说神雕侠侣目录及各章节链接，并且保存到mongoDB数据库

分析：使用scrapy不做任何处理，实际上就可以得到原网页，但是我需要得到的目录名字和名录的url地址，所以需要对response进行解析（在spiders模块完成），

然后我需要保存到数据库，需要在itempipeline里面完成。（各模块功能可参见：上一篇文章）

开始编写代码前需要先生成项目爬虫

1、首先通过scrapy startproject shendiaoSpider命令，创建一个项目shendiaoSpider，但是这个时候项目只是一个空壳，还需要生成一个爬虫

2、通过cd shendiaoSpider命令进入目标文件夹，然后通过scrapy genspider shendiao www.luoxia.com/shendiao 生成一个爬虫，爬虫名叫shendiao

正式开始编写代码，我们需要编写的文件是shendiao.py（用来解析response生成我们需要的item），items.py（定义需要的item字段），pipelines.py（用来存储到数据库），settings.py（配置pipeline以及mongoDB的数据库名和表名）：

一、编写items.py，定义两个字段，一个title各章节的标题，一个url各章节的url

# -*- coding: utf-8 -*-
 
# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html
 
import scrapy
 
class ShendiaospiderItem(scrapy.Item):
    title = scrapy.Field()
    url = scrapy.Field()

二、编写shendiao.py，这里主要是做一个信息提取，把title字段和章节url字段提取出来

通过对目标网站分析，很容易看出来，所有的章节信息都包含在li标签里的a标签里，我们可以使用css选择器或者xpath进行信息提取，代码如下：

# -*- coding: utf-8 -*-
import scrapy
from shendiaoSpider.items import ShendiaospiderItem
 
class ShendiaoSpider(scrapy.Spider):
    name = 'shendiao'
    allowed_domains = ['www.luoxia.com/shendiao']
    start_urls = ['http://www.luoxia.com/shendiao/']
 
    def parse(self, response):
　　　　#对于class属性中有空格的，使用css时需要用.进行连接
        book_lists = response.css('.book-list.clearfix li')
        for book_list in book_lists:
            item = ShendiaospiderItem()
            item['title'] = book_list.css('a::text').extract_first()
            item['url'] = book_list.css('a::attr(href)').extract_first()
            yield item

上面就可以提取出目标字段，保存到item中，如果对于选择器不是很理解，可以看：选择器使用

这个时候在cmd命令行使用scrapy crawl shendiao运行已经可以显示出结果了

三、编写pipelines.py，代码如下：

# -*- coding: utf-8 -*-
 
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
 
import pymongo
 
#默认的pipeline，只是返回item信息
class ShendiaospiderPipeline(object):
    def process_item(self, item, spider):
        return item
 
#使用这个Pipeline将数据item保存到mongoDB
class MongoPipeline(object):
    def __init__(self, mongo_uri, mongo_db):  #初始化方式定义两个变量，一个是数据库地址，一个是具体数据库database名称
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db
 
    @classmethod
    def from_crawler(cls, crawler):  　　　　　　#定义个类方法，使用这个方法找到settings里面MONGO_URI和MONGO_DB设定的值
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DB')
        )
 
    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)  #创建一个到MongoDB位置的连接
        self.db = self.client[self.mongo_db]　　　　　　　　　　#连接到数据库
 
    def process_item(self, item, spider):
        name = item.__class__.__name__
        self.db[name].insert(dict(item))　　　　#把item信息以字典形式插入到数据库的表中
 
    def close_spider(self, spider):
        self.client.close()　　　　　　#关闭到数据库的连接

为了方便理解，上面的代码我写了大量的注释，实际写的代码如果这样搞，估计要被人吐死。

四、编写settings.py文件，代码修改部分如下，应该很容易理解：

ITEM_PIPELINES = {
    'shendiaoSpider.pipelines.ShendiaospiderPipeline': 300,
    'shendiaoSpider.pipelines.MongoPipeline': 400,
}
 
MONGO_URI = 'localhost'
MONGO_DB = 'shendiao'

这样再次运行这个爬虫，就可以把数据存入到mongoDB数据库了，最后打开可视化工具看一下。

可以看到这个数据库名字叫shendiao，它下面有个表名字ShendiaospiderItem，信息也被存了进去。

好了，关于使用scrapy下载数据并存入到mongoDB的方法就先到这。