scrapy_redis使用介绍

scrapy_redis是一个基于redis的scrapy组件，通过它可以快速实现简单的分布式爬虫程序，该组件主要提供三大功能：

（1）dupefilter——URL去重规则（被调度器使用）

（2）scheduler——调度器

（3）pipeline——数据持久化

一、安装redis

去官网下载redis并安装到电脑上

二、安装scrapy_redis组件

打开终端输入：pip install scrapy-redis  即可 （os/linux）

组件默认被安装在相应的Python文件夹的site-packages里面。如/usr/local/lib/python3.7/site-packages/scrapy_redis

三、scrapy_redis功能详解

（一）URL去重

1、源码  /usr/local/lib/python3.7/site-packages/scrapy_redis/dupefilter.py

setting.py中的配置信息：

# redis配置
REDIS_HOST = "127.0.0.1"
REDIS_PORT = 6379
REDIS_PARAMS = {}
REDIS_ENCODING = "utf-8"
 
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
DUPEFILTER_KEY = "dupefilter:%(timestamp)s"

2、重写dupefilter

可以根据自己的需求自定制dupefilter

在spiders的同级目录新建文件dupefilter.py，写入代码：

"""
重写dupefilter
"""
from scrapy_redis.dupefilter import RFPDupeFilter
from scrapy_redis.connection import get_redis_from_settings
 
class MyDupeFilter(RFPDupeFilter):
    @classmethod
    def from_settings(cls, settings):
        server = get_redis_from_settings(settings)
        key = "my_scrapy_2_dupfilter"  # 重写key
        debug = settings.getbool('DUPEFILTER_DEBUG')
        return cls(server, key=key, debug=debug)

在settings.py中进行相关配置：

# redis配置
REDIS_HOST = "127.0.0.1"   # 主机
REDIS_PORT = 6379  # 端口号
REDIS_PARAMS = {}  # 连接参数
REDIS_ENCODING = "utf-8"  # 编码规则
#配置自己的dupefilter路径
DUPEFILTER_CLASS = "my_scrapy_2.dupefilter.MyDupeFilter"

（二）调度器

1、广度优先和深度优先

(1）栈——后进先出——广度优先——LifoQueue（列表）

(2) 队列——先进先出——深度优先——FifoQueue（列表）

(3) 优先级集合——PriorityQueue（有序集合）

2、在settings.py中：

# redis配置
REDIS_HOST = "127.0.0.1"
REDIS_PORT = 6379
REDIS_PARAMS = {}
REDIS_ENCODING = "utf-8"
 
# 去重规则
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
 
# 调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue'  # 默认使用优先级队列（默认），其他：PriorityQueue（有序集合），FifoQueue（列表）、LifoQueue（列表）
SCHEDULER_QUEUE_KEY = '%(spider)s:requests'  # 调度器中请求存放在redis中的key  chouti:requests
SCHEDULER_SERIALIZER = "scrapy_redis.picklecompat"  # 对保存到redis中的数据进行序列化，默认使用pickle
SCHEDULER_PERSIST = True  # 是否在关闭时候保留原来的调度器和去重记录，True=保留，False=清空
SCHEDULER_FLUSH_ON_START = True  # 是否在开始之前清空 调度器和去重记录，True=清空，False=不清空
# SCHEDULER_IDLE_BEFORE_CLOSE = 10  # 去调度器中获取数据时，如果为空，最多等待时间（最后没数据，未获取到）。
SCHEDULER_DUPEFILTER_KEY = '%(spider)s:dupefilter'  # 去重规则，在redis中保存时对应的key
SCHEDULER_DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'  # 去重规则对应处理的类
 
DEPTH_PRIORITY = -1  # 如果是使用优先级集合（PriorityQueue）就用做该配置参数  DEPTH_PRIORITY可以设为-1或者1 

（三）数据持久化

1、源码

以爬取抽屉新热榜的新闻标题与连接为例：

爬虫 chouti.py：

# -*- coding: utf-8 -*-
"""
爬取抽屉新热榜的新闻标题以及url 并保存
"""
import scrapy
from scrapy.http import Request
from ..items import MyScrapy3Item
 
class ChoutiSpider(scrapy.Spider):
    name = 'chouti'
    allowed_domains = ['chouti.com']
    start_urls = ['http://chouti.com/']
 
    def parse(self, response):
        # print(response, response.request.priority, response.meta.get('depth'))
        items = response.xpath("//div[@id='content-list']/div[@class='item']")
        for item in items:
            title = item.xpath(".//div[@class='part1']/a/text()").extract_first().strip()  # 标题
            href = item.xpath(".//div[@class='part1']/a/@href").extract_first().strip()  # 连接
            yield MyScrapy3Item(title=title, href=href)  # yield一个item对象
        # 翻页
        page_list = response.xpath('//*[@id="dig_lcpage"]//a/@href').extract()
        for url in page_list:
            url = "https://dig.chouti.com" + url
            yield Request(url=url, callback=self.parse)

items.py:

import scrapy
 
class MyScrapy3Item(scrapy.Item):
    title = scrapy.Field()
    href = scrapy.Field()

settings.py中做相关的配置：

ITEM_PIPELINES = {
    "scrapy_redis.pipelines.RedisPipeline": 300,  # 设置使用scrapy_redis的持久化类
}
 
# -----------其他配置----------------------

DEPTH_LIMIT = 2  # 爬取深度
 
# redis配置 (必须的）
REDIS_HOST = "127.0.0.1"
REDIS_PORT = 6379
REDIS_PARAMS = {}
REDIS_ENCODING = "utf-8"
 
# 去重规则
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
 
# 调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.FifoQueue'  # 默认使用优先级队列（默认），其他：PriorityQueue（有序集合），FifoQueue（列表）、LifoQueue（列表）
SCHEDULER_QUEUE_KEY = '%(spider)s:requests'  # 调度器中请求存放在redis中的key  chouti:requests
SCHEDULER_SERIALIZER = "scrapy_redis.picklecompat"  # 对保存到redis中的数据进行序列化，默认使用pickle
SCHEDULER_PERSIST = True  # 是否在关闭时候保留原来的调度器和去重记录，True=保留，False=清空
SCHEDULER_FLUSH_ON_START = True  # 是否在开始之前清空 调度器和去重记录，True=清空，False=不清空
# SCHEDULER_IDLE_BEFORE_CLOSE = 10  # 去调度器中获取数据时，如果为空，最多等待时间（最后没数据，未获取到）
SCHEDULER_DUPEFILTER_KEY = '%(spider)s:dupefilter'  # 去重规则，在redis中保存时对应的key
SCHEDULER_DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'  # 去重规则对应处理的类

在项目根目录新建文件start_chouti.py用于运行爬虫（也可以直接在终端输命令来运行）：

from scrapy.cmdline import execute
 
if __name__ == "__main__":
    execute(["scrapy", "crawl", "chouti", "--nolog"])

可以新建一个py文件用于查看保存在Redis中的数据：

# 3种方式查看数据
 
import redis
 
conn = redis.Redis(host="127.0.0.1", port=6379)
 
# conn.flushall()  # 清空Redis
 
print(conn.keys())  # 查看所有key  [b'chouti:dupefilter', b'chouti:items']

# 1、获取指定范围的数据
# res = conn.lrange('chouti:items', 0, 3)  # 获取持久化的数据 取3条
# print(res)
"""
结果：
[b'{"title": "\\u3010\\u56fe\\u96c6\\u30112018\\u5e74\\u5ea6\\u5929\\u6587\\u6444\\u5f71\\u5e08\\u5927\\u8d5b\\u83b7\\u5956\\u4f5c\\u54c1\\u516c\\u5e03",
"href": "https://mp.weixin.qq.com/s/eiWj7ky53xEDoMRFXC1EGg"}', 
 
b'{"title": "\\u3010\\u201c\\u4eba\\u76f4\\u5230\\u5165\\u571f\\u4e3a\\u5b89\\u90a3\\u4e00\\u5929\\uff0c\\u90fd\\u5728\\u8d70\\u53f0\\u9636\\u201d \\u3011\\u674e\\u548f\\u5728\\u63a5\\u53d7\\u91c7\\u8bbf\\u65f6\\u66fe\\u8fd9\\u6837\\u5f62\\u5bb9\\u81ea\\u5df1\\u7684\\u4eba\\u751f\\uff1a\\u201c\\u4eba\\u76f4\\u5230\\u5165\\u571f\\u4e3a\\u5b89\\u90a3\\u4e00\\u5929\\uff0c\\u90fd\\u5728\\u8d70\\u53f0\\u9636\\u3002\\u8ddf\\u767b\\u9ec4\\u5c71\\u4e00\\u6837\\uff0c\\u767b\\u7684\\u65f6\\u5019\\u4f60\\u4e0d\\u89c9\\u5f97\\u6709\\u4e91\\uff0c\\u5230\\u4e00\\u5b9a\\u9ad8\\u5ea6\\u7684\\u65f6\\u5019\\uff0c\\u65c1\\u8fb9\\u6709\\u4eba\\u63d0\\u9192\\u4f60\\u56de\\u5934\\u770b\\u4e00\\u4e0b\\uff0c\\u4e91\\u5c31\\u5728\\u773c\\u524d\\u3002\\u201d", "href": "https://mp.weixin.qq.com/s/erLgWmL1GhpyWqwOTIlRvQ"}', b'{"title": "\\u3010\\u6e38\\u620f\\u673a\\u5236
\\u6e17\\u900f\\u5e76\\u6e10\\u6e10\\u5851\\u9020\\u4e86\\u73b0\\u5b9e\\u4e16\\u754c\\uff0c\\u4f60\\u662f\\u5426\\u4e5f\\u4e00\\u6837\\u8ba4\\u4e3a\\u7406\\u6240\\u5f53\\u7136\\uff1f\\u3011\\u5728\\u667a\\u80fd\\u624b\\u673a\\u666e\\u53ca\\u4ee5\\u540e\\uff0c\\u79fb\\u52a8\\u6280\\u672f\\u80fd\\u591f\\u4e0e\\u73b0\\u5b9e\\u4e16\\u754c\\u53d1\\u751f\\u8d8a\\u6765\\u8d8a\\u591a\\u7684\\u4ea4\\u4e92\\uff0c\\u56e0\\u6b64\\u6e38\\u620f\\u5316\\u7684\\u5c1d\\u8bd5\\u5e76\\u6ca1\\u6709\\u51cf\\u5c11\\u53cd\\u800c\\u589e\\u591a\\u4e86\\u3002\\u6709\\u6bcf\\u5929\\u8bb0\\u5f55\\u4f60\\u7684\\u6b65\\u884c\\u8ddd\\u79bb\\uff0c\\u7136\\u540e\\u9881\\u53d1\\u5956\\u7ae0\\u7684\\u3002\\u6709\\u8bb0\\u5f55\\u4f60\\u7684\\u4e60\\u60ef\\uff0c\\u5e76\\u53ef\\u4ee5\\u5efa\\u8bbe\\u4e00\\u5ea7\\u57ce\\u5e02\\u7684\\u3002",
"href": "http://www.qdaily.com/articles/57753.html"}', 
 
b'{"title": "\\u3010\\u53c8\\u5931\\u4e00\\u57ce\\uff01\\u9ed8\\u514b\\u5c14\\u7684\\u201c\\u9ec4\\u91d1\\u914d\\u89d2\\u201d\\u5728\\u9ed1\\u68ee\\u5dde\\u906d\\u9047\\u60e8\\u8d25\\u3011\\u4eca\\u5e74\\u4e09\\u6708\\u8270\\u96be\\u5b8c\\u6210\\u7b2c\\u56db\\u6b21\\u7ec4\\u9601\\u7684\\u5fb7\\u56fd\\u603b\\u7406\\u9ed8\\u514b\\u5c14\\uff0c\\u572810\\u6708\\u5fb7\\u56fd\\u4e24\\u4e2a\\u5173\\u952e\\u5dde\\u2014\\u2014\\u5df4\\u4f10\\u5229\\u4e9a\\u5dde\\u548c\\u9ed1\\u68ee\\u5dde\\u7684\\u9009\\u4e3e\\u4e2d\\uff0c\\u63a5\\u8fde\\u906d\\u9047\\u5386\\u53f2\\u6027\\u60e8\\u8d25\\u3002\\u9ed8\\u514b\\u5c14\\u7684\\u201c\\u9ec4\\u91d1\\u914d\\u89d2\\u201d\\u2014\\u2014\\u793e\\u6c11\\u515a\\uff08SPD\\uff09\\u5728\\u4e24\\u6b21\\u9009\\u4e3e\\u4e2d\\u7684\\u5f97\\u7968\\u7387\\u5448\\u73b0\\u81ea\\u7531\\u843d\\u4f53\\u72b6\\u6001\\u3002",
"href": "https://wallstreetcn.com/articles/3428455"}']
 
"""

# 2、一条一条的将数据取走

# item = conn.lpop('chouti:items') 
# print(item)
 
"""
结果：
b'{"title": "\\u3010\\u56fe\\u96c6\\u30112018\\u5e74\\u5ea6\\u5929\\u6587\\u6444\\u5f71\\u5e08\\u5927\\u8d5b\\u83b7\\u5956\\u4f5c\\u54c1\\u516c\\u5e03",
"href": "https://mp.weixin.qq.com/s/eiWj7ky53xEDoMRFXC1EGg"}'
"""

# 3、做成一个生产者-消费者模型
while True:
    item = conn.blpop('chouti:items')  # 一条一条的将数据取走  如果没有了就阻塞住
    print(item)

通过使用scrapy_redis的持久化数据功能，可以将生产数据和获取数据作为两件互不影响的事情并发的运行。

2、如果还想要将数据存入其他地方，可以继承和重写scrapy_redis的pipelines

四、起始URL的定制

让爬虫像永动机一样一直处于备战状态，如果没有请求就处于等待状态，当有新的URL进来时就开始爬取数据。

在爬虫文件中：

"""
爬取抽屉新热榜的新闻标题以及url 并保存
让爬虫一直爬数据，如果没有就处于等待状态
"""
from scrapy_redis.spiders import RedisSpider
 
class ChoutiSpider(RedisSpider):  # 继承RedisSpider
    name = 'chouti'
    allowed_domains = ['chouti.com']
 
    def parse(self, response):
        print(response)

配置文件中：

# 起始url
REDIS_START_URLS_AS_SET = True  # True:在Redis里面按照集合去存，False:按照列表来存储
START_URLS_KEY = '%(name)s:start_urls'  # 在源码中默认的起始URL的key为 chouti:start_urls

再写一个py文件来设置url：

import redis
 
conn = redis.Redis(host="127.0.0.1", port=6379)
 
# conn.flushall()  # 清空Redis
 
print(conn.keys())  # 查看所有key  [b'chouti:start_url']
 
item = conn.sadd("chouti:start_url", "https://dig.chouti.com/r/pic/hot/1")  # 设置起始url
print(item)