爬虫系列2：scrapy项目入门案例分析

本文从一个基础案例入手，较为详细的分析了scrapy项目的建设过程（在官方文档的基础上做了调整）。主要内容如下：

0、准备工作

1、scrapy项目结构

2、编写spider

3、编写item.py

4、编写pipelines.py

5、设置Settings.py

6、运行spider

0、准备工作

安装scrapy，在cmd中输入命令（windows）即可完成：pipinstall scrapy

1、scrapy项目结构

建立scrapy项目，在cmd中输入命令（windows）：scrapystart project tutorial。项目的目录结构如下。

tutorial/

scrapy.cfg

tutorial/

__init__.py

items.py

pipelines.py

settings.py

spiders/

__init__.py

myspider.py

一般来说，要完成一个能用的scrapy爬虫，需要编写或者配置的文件包括myspider.py、settings.py、item.py和pipeline.py。其中myspider.py在spider目录下，是核心的爬虫文件；settings.py用来配置爬取时间间隔等参数；item.py用来定义数据提取的项目；pipeline.py和item.py配合使用，用来辅助完成爬取数据的格式化输出。

2、编写spider.py

spider文件可以自行命名，此处的爬虫文件名为dmoz_spider.py。该文件定义了爬虫名称、目标网址、执行函数等。以下是spider代码示例，它定义了爬虫名称name，允许运行域allowed_domain，起始爬取页面网址start_urls，parse(self, response)是spider必须实现的接口，负责提取页面中title、href和desc等属性，详细内容可参考以下代码注释。

# -*- coding:utf-8 -*-
import scrapy
from tutorial.itemsimport DmozItem
classDmozSpider(scrapy.Spider):
    name = 'dmoz' #爬虫名，供命令scrapycrawl domz使用
    allowed_domain = 'dmoz.org' #允许爬虫运行的域
    start_urls =['http://www.dmoz.org/Computers/Programming/Languages/Python/Books/',
    'http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/']#爬取url
    def parse(self, response): #页面解析函数，这里必须为parse()
        for sel in response.xpath('//ul/li'):
            item = DmozItem() #在items.py中定义的需解析项目
            item['title'] =sel.xpath('a/text()').extract() #使用xpath提取特定属性
            item['href'] =sel.xpath('a/@href').extract()
            item['desc'] =sel.xpath('text()').extract()
            yield item 

3、编写item.py

应该引起注意的是：item.py和dmoz_spider.py是相互关联的；Item.py中定义的title、link和desc，在dmoz_spider.py中将会用到。

# -*- coding:utf-8 -*-
# 定义爬取对象属性
import scrapy
classDmozItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()
pass

4、编写pipelines.py

pipelines是scrapy提供的数据导出手段之一，通过pipelines可以进行复杂的数据导出操作，包括将数据导出到json文件或者数据库。pipelines.py中必须实现process_item(self, item, spider)接口，用于处理需要保存的item数据，其中spider为所定义的爬虫dmoz。

pipelines.py代码见下文，其中技术要点有：

1）使用codecs.open()以给定的模式mode和编码encoding打开文件，文件不存在时则新建。

2）使用json.dumps()将dict转化为json格式的字符串，如果ensure_ascii设为False，则返回值将会是Unicode格式。

import json
import codecs
#写pipeline时需要注意编码问题的处理
class dmozPipeline(object):
    def __init__(self):
        self.file = codecs.open('dmoz.json', mode='wb',encoding='utf-8')
    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False)+'\n'# ensure_ascii=False很重要
        self.file.write(line)
        return item
    def close_spider(self,spider):
        self.file.close()

补充：另一种替代的数据导出方式是：在cmd中运行scrapycrawl dmoz –o abc.json，其中abc.json为导出文件。采用该方式无需配置pipeline，因为程序执行过程中不会用到。

5、设置Settings.py

通过settings告知spider将启用pipeline，其余用默认设置就好了。

ITEM_PIPELINES = {
    'tutorial.pipelines.dmozPipeline': 300,
}

6、运行spider项目

在cmd中运行scrapycrawl dmoz，可以将爬取的所有结果以json格式导出到名为dmoz.json的文件中，文件名可以在pipeline.py中修改。

至此，一个完整的scrapy爬虫项目就算完成了。