Scrapy结构

http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html

scrapy 使用Twisted 这个异步网络库来处理网络通信，使用python写的爬虫框架。

scrapy的构造

Scrapy引擎（Engine）:                           负责控制数据流在系统的所有组件中流动，并在相应的动作发生时出发事件。

Scheduler 调度器：                                 从引擎接收Request并将它们入队，以便之后引擎请求request是提供给引擎。

Donwnloader 下载器：                            负责获取页面数据并提供给引擎，而后提供给Spider,或额外跟进的URL的类。每个Spider负责处理一个（或一些）特定网站。

Item Pipeline 数据传递管道：                  负责处理被Spider提出出来的item。典型的处理有清理验证及持久化（例存储到数据库中）。

Downloader middlewares 下载器中间件: 是一个在引擎和下载器中间的特定钩子（specific hook ）,处理Downloader传递给引擎的Response。中间件通过插入自定义代码，扩展Scrapy的功能

Spider middlewares Spider中间件：        是一个在引擎和Spider中间的特定钩子，处理spider的输入（response）和输出（Item及request ）

Spider :                                                      包含初始的URL，解析相应的response，提取目标items和requests.

scrapy中的数据流程

1） 引擎打开一个网站，找到该网站的Spider并向该Spider请求第一个要爬取的URL。

2） 引擎从spider中获取初始要爬取的URL ，并传给调度器（sheduler）处理验证筛选URL的规则。

3） 引擎向调度器请求下一个要爬取的URL

4） 调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件（请求request 方向）转发给下载器

5） 下载器下载完页面，返回response，通过下载中间件（返回response方向）发送给引擎

6） 引擎从下载器中接收到Response并通过spider中间件（输入方向）发送给spider处理

7）spider处理response并返回提出的item及新的request给引擎

8）引擎 将spider返回的item和request分别发给item pipeline 和调度器sheduler 处理

9）重复第3步，直到调度器中没有更多的request，引擎关闭网站。

在命令行中移动到想创建项目的目录下，输入指令 scrapy startproject cnblogSpider 就可创建一个名为cnblogSpider的项目。创建后会出现如下目录文件

scrapy.cfg:项目部署文件

cnblogSpiders/:该项目的Python模块,之后可在此加入代码

cnblogSpiders/settings.py: 项目的配置文件

cnblogSpider/spiders/:放置spider代码的目录

创建spider类，将脚本放在cnblogSpider/spiders/目录下，命名为cnblogs_spider.py

该类需要继承scrapy.Spider，并定义三个属性 name(爬虫的名字，具有唯一性），start_urls(初始URL列表），parse(response)(解析传入的response，返回提取的目标数据）。

import  scrapy

from cnblogSpider.items import CnblogspiderItem

from scrapy.selector import Selector

class CnblogsSpider(scrapy.Spider):

name="cnblogs"

allowed_domains=["cnblogs.com"]

start_urls=["http://www.cnblogs.com/qiyeboy/default.html?page=1"]

def parse(self,response):

papers=response.xpath('//*[@id="mainContent"]/div/div[@class="day"]')

print('*'*15,len(papers),'-'*30)

mm=0

for paper in papers :

mm =mm + 1

print(mm)

url = paper.xpath(".//*[@class='postTitle']/a/@href").extract()[0]

title=paper.xpath(".//*[@class='postTitle']/a/text()").extract()[0]

time=paper.xpath(".//*[@class='dayTitle']/a/text()").extract()[0]

content=paper.xpath(".//*[@class='postCon']/div/text()").extract()[0]

item = CnblogspiderItem(url=url,title=title,time=time,content=content)

yield item

next_page=Selector(response).re(u'<a href="(\S*)">下一页</a>')

if next_page:

yield scrapy.Request(url=next_page[0],callback=self.parse)

选择器Selector ,scrapy自有的数据提取机制构建与lxml库之上，通过特定的xpath,css表达式选择html文件中的某个部分。

创建一个selector对象，a=Selector(response),就可以对其调用方法a.xpath(query),a.css(query),a.extract()(序列化该节点为Unicode字符串并返回list列表），a.re(regex)(regex可以是原始正则表达式或已被re.compile()编译的正则对象，返回Unicode字符串列表） 。 response可直接调用xpath(),css()方法。

在命令行中输入 scrapy

这时在命令行  进入到项目的根目录cnblogSpider/下  输入 scrapy crawl cnblogs ，就可以看到解析的数据了。

通过yield 返回item ，将parse方法打造成一个生成器。

next_page 使页面翻页，获取下一页的URL列表

定义Item   cnblogSpider/items.py

import scrapy

class CnblogspiderItem(scrapy.Item):

# define the fields for your item here like:

# name = scrapy.Field()

url=scrapy.Field()

time=scrapy.Field()

title=scrapy.Field()

content = scrapy.Field()

这个类需要继承scrapy.Item,CnblogspiderItem的类实例对象，对其里面的键值对，具有和字典一样的使用方式

创建一个CnblogspiderItem对象，a=CnblogspiderItem(title='python爬虫',content='爬虫开发')

print(a.items(),a.keys(),a['title'],a.get('content','ahsdkahdkabdkabnka'))

print(dict(a))

输出：

ItemsView({'content': '爬虫开发', 'title': 'python爬虫'}) dict_keys(['content', 'title']) python爬虫 爬虫开发

{'content': '爬虫开发', 'title': 'python爬虫'}

构建Item Pipeline  cnblogSpider/pipeline.py

实现数据的的持久化存储。一般具有下面几种功能：清理HTML数据，验证爬取数据的合法性（检查item是否包含某些字段），查重并去重，将爬取结果保存到文件或数据库中。

import json

from scrapy.exceptions import DropItem

class CnblogspiderPipeline(object):

def __init__(self):

self.file=open('papers.json','wb')

def process_item(self, item, spider):

if item['title']:

line=json.dumps(dict(item))+'\n'

self.file.write(line.encode())

return item

else:

raise DropItem('Missing title in %s' % item)

此段代码主要是检查了item中是否包含title字段，有就写入json文件，没有就抛出错误。

创建完Item Pipeline后还需在配置文件cnblogSpider/settings.py里将item pipeline的类添加到ITEM_PIPELINES变量中。

ITEM_PIPELINES={'cnblogSpider.pipelines.CnblogspiderPipeline':300,}

ITEM_PIPELINES变量中可配置多个Item Pipeline组件，分配给每个类的整型值确定了它们的运行顺序，item按数字从小到大的

顺序通过 Item Pipeline.通常数字的范围是0~1000.

从程序内启动spider：

在cnblogs_spider.py 中添加如下代码：

if __name__=='__main__':

process=CrawlerProcess({

'USER_AGENT':'Mozilla/4.0 (compatible;MSIE 7.0; Windows NT 5.1)'

})

process.crawl(CnblogsSpider)

process.start()

'''

if __name__=='__main__':

configure_logging({'LOG_FORMAT':'%(levelname)s:%(message)s'})

runner=CrawlerRunner()

d=runner.crawl(CnblogsSpider)

d.addBoth(lambda _:reactor.stop())

reactor.run()

'''

'''

class MySpider1(scrapy.Spider):

#your first spider definition

...

class MySpider2(scrapy.Spider):

#Your second spider definition

...

#在一个进程中启动多个爬虫

#第一种方法

process=CrawlerProcess()

process.crawl(MySpider1)

process.crawl(MySpider2)

process.start()

#第二种方法

configure_logging()

runner=CrawlerRunner()

runner.crawl(MySpider1)

runner.crawl(MySpider2)

d=runner.join()

d.addBoth(lambda _: reactor.stop())

reactor.run()

#第三种方法

configure_logging()

runner=CrawlerRunner()

@defer.inlineCallbacks

def crawl()：

yield runner.crawl(MySpider1)

yield runner.crawl(MySpider2)

reactor.stop()

crawl()

reactor.run()

'''