爬虫框架之Scrapy（二）

递归解析

糗事百科递归解析

在前面的例子里只是爬取了糗事百科热门的第一个页面，但是当我们需要爬取更多的页面时，需要对每个页面的url依次发起请求，然后通过解析的方法进行作者和标题的解析。

我们可以构建一个url列表，放进去所有页面的url，但是这样是不推荐的。

我们也可以通过requests的方法来手动解析，然后来使用递归的思想来编写程序。

比如：

糗事百科首页的页码

# -*- coding: utf-8 -*-
import scrapy
from happy.items import HappyItem

class QiushiSpider(scrapy.Spider):
    name = 'qiushi'
    allowed_domains = ['www.qiushibaike.com']
    start_urls = ['http://www.qiushibaike.com/']
    # 爬取多个页面
    pageNum = 1
    url = 'https://www.qiushibaike.com/8hr/page/%d/'

    def parse(self, response):
        # xpath为response中的方法
        odiv = response.xpath('//div[@class="recommend-article"]//li')
        for li in odiv:
            # 连续的li里面混有广告，屏蔽掉广告
            try:
                title = li.xpath('.//div[@class="recmd-right"]/a/text()')[0].extract()
                author = li.xpath('.//span[@class="recmd-name"]/text()')[0].extract()
            except:
                continue
            # 提供item到管道文件
            item = HappyItem()
            item['title'] = title
            item['author'] = author
            yield item
        # 爬取所有页码数据
        if self.pageNum <= 13:
            self.pageNum += 1
            url = self.url%(self.pageNum)
            # 递归爬取数据 发起URL请后，将得到的数据进行使用parse解析，所以要使用回调函数callback
            yield scrapy.Request(url=url, callback=self.parse)

得到结果：

post请求发送

Scrapy不用手动对起始列表中的url发送请求，是因为爬虫文件中爬虫类继承了Spider父类中start_requests(self)方法，该方法就可以对初始列表中的url发起请求。

  def start_requests(self):
        for u in self.start_urls:
           yield scrapy.Request(url=u,callback=self.parse)

但是该方法默认实现的是get请求，如果需要发起post请求，则需要子类重写该方法

def start_requests(self):
        #请求的url
        post_url = 'http://fanyi.baidu.com/sug'
        # post请求参数
        formdata = {
            'kw': 'wolf',
        }
        # 发送post请求
        yield scrapy.FormRequest(url=post_url, formdata=formdata, callback=self.parse)

Scrapy的日志等级

在使用Scrapy crawl spidername 运行程序时，在终端里打印输出的就是Scrapy的日志。

一般的日志种类：

　　ERROR：错误

　　WARNING：警告

　　INFO：一般的信息

　　DEBUG：调试的信息

设置日志的指定输出：

在settings.py配置文件中加入:

　　LOG_LEVEL = 日志的指定种类

　　LOG_FILE = ‘log.txt’ 表示将日志写入指定文件

请求传参

有时候我们爬取的数据不在同一个页面，比如在这个页面的下级页面，这时候我们就需要用法请求传参。

例子：https://www.cnblogs.com/xiaozx/p/10744604.html 爬取网易新闻的国内版 srapy

提高scrapy爬取效率的技巧

1 增加并发:

默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。

2  降低日志级别：

在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使用率。可以设置log输出信息为INFO或者ERROR即可。在配置文件中编写：LOG_LEVEL = ‘INFO’.

3 禁止cookie

如果不是真的需要cookie，则在scrapy爬取数据时可以进制cookie从而减少CPU的使用率，提升爬取效率。在配置文件中编写：COOKIES_ENABLED = False.

4 禁止重试

对失败的HTTP进行重新请求（重试）会减慢爬取速度，因此可以禁止重试。在配置文件中编写：RETRY_ENABLED = False.

5 减少下载超时

如果对一个非常慢的链接进行爬取，减少下载超时可以能让卡住的链接快速被放弃，从而提升效率。在配置文件中进行编写：DOWNLOAD_TIMEOUT = 10 超时时间为10s.

示例

爬取校花网校花图片 www.521609.com

# -*- coding: utf-8 -*-
import scrapy
from xiaohua.items import XiaohuaItem

class XiahuaSpider(scrapy.Spider):

    name = 'xiaohua'
    allowed_domains = ['www.521609.com']
    start_urls = ['http://www.521609.com/daxuemeinv/']

    pageNum = 1
    url = 'http://www.521609.com/daxuemeinv/list8%d.html'

    def parse(self, response):
        li_list = response.xpath('//div[@class="index_img list_center"]/ul/li')
        for li in li_list:
            school = li.xpath('./a/img/@alt').extract_first()
            img_url = li.xpath('./a/img/@src').extract_first()

            item = XiaohuaItem()
            item['school'] = school
            item['img_url'] = 'http://www.521609.com' + img_url

            yield item

        if self.pageNum < 10:
            self.pageNum += 1
            url = format(self.url % self.pageNum)
            #print(url)
            yield scrapy.Request(url=url,callback=self.parse)

pipelines.py

import json
import os
import urllib.request
class XiaohuaPipeline(object):
    def __init__(self):
        self.fp = None

    def open_spider(self,spider):
        print('开始爬虫')
        self.fp = open('./xiaohua.txt','w')

    def download_img(self,item):
        url = item['img_url']
        fileName = item['school']+'.jpg'
        if not os.path.exists('./xiaohualib'):
            os.mkdir('./xiaohualib')
        filepath = os.path.join('./xiaohualib',fileName)
        urllib.request.urlretrieve(url,filepath)
        print(fileName+"下载成功")

    def process_item(self, item, spider):
        obj = dict(item)
        json_str = json.dumps(obj,ensure_ascii=False)
        self.fp.write(json_str+'\n')

        #下载图片
        self.download_img(item)
        return item

    def close_spider(self,spider):
        print('结束爬虫')
        self.fp.close()

重点是settings.py 设置有利于爬虫下载的方式

USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

# Configure maximum concurrent requests performed by Scrapy (default: 16)
CONCURRENT_REQUESTS = 100
COOKIES_ENABLED = False
LOG_LEVEL = 'ERROR'
RETRY_ENABLED = False
DOWNLOAD_TIMEOUT = 3
# Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
# The download delay setting will honor only one of:
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
#CONCURRENT_REQUESTS_PER_IP = 16
DOWNLOAD_DELAY = 3

UA池和代理池

下载中间件

下载中间件，是位于引擎和下载器之间的一组层组件。

作用：

1 引擎将请求传递给下载器的过程中，下载中间件可以对请求进行一些列的处理，比如设置user-agent，设置代理等。

2 在下载器完成将response传递给引擎中，下载中间件可以对响应进行一些列处理，比如进行gzip解压等。

我们使用下载中间件，一般会对请求随机的设置user-agent，设置随机的代理，目的在于应对网站的反爬策略。

ua池

尽可能多将scrapy工程的请求伪装成不同类型的浏览器身份。

流程：

1 在下载中间件中拦截请求

2 将拦截到的请求信息中的UA进行篡改

3 在配置文件中开启下载中间件

import random
from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware

# 单独给ua池一个下载中间件的一个类
class RandomUserAgent(UserAgentMiddleware):

    def process_request(self, request, spider):
        user_agent_list = [
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 "
            "(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
            "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 "
            "(KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 "
            "(KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 "
            "(KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 "
            "(KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 "
            "(KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 "
            "(KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 "
            "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 "
            "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
        ]
        # 随机挑选一个user-agent
        ua = random.choice(user_agent_list)
        # 将他写入到当前拦截到的request请求中
        request.headers.setdefault('User-Agent', ua)

settings.py

DOWNLOADER_MIDDLEWARES = {
   'happy2.middlewares.RandomUserAgentMiddleware': 400,
}

代理池

尽可能多将scrapy工程的请求设置成不同的ip访问。

流程:

1 在下载中间件中拦截请求

2 将拦截到的请求ip改成某一代理ip

3 在配置文件中开启下载中间件

# 还是单独写一个类
class ProxyMiddleware(object):

    def process_request(self, request, spider):
        # http型的可用ip
        PROXY_http = [
            '153.180.102.104:80',
            '195.208.131.189:56055',
        ]
        # 这是https请求类型的可用IP
        PROXY_https = [
        '120.83.49.90:9000',
        '95.189.112.214:35508',
        ]
        # 取出本次请求的路径
        h = request.url.split(':')[0]
        if h == 'http':
            ip = random.choice(PROXY_http)
            request.meta['proxy'] = 'http://' + ip
        elif h == 'https':
            ip = random.choice(PROXY_https)
            request.meta['proxy'] = 'https://' + ip

settings.py

DOWNLOADER_MIDDLEWARES = {
   'happy2.middlewares.ProxyMiddleware':400,
}