爬虫之scrapy简介

Scrapy框架与原始爬虫的区别

原始爬虫

效率低、同步、阻塞

Scrapy框架

效率高、异步、非阻塞

Scrapy的概念

• 　　爬虫框架
• 　　开发速度快
• 　　稳定性高
• 　　性能优越

scrapy的流程

1. 爬虫模块(Spiders)  -->  准备起始URL(Request)  -->   爬虫中间件  -->  引擎   -->   调度器(Scheduler)：请求去重, 缓存请求(队列)
2. 调度器  -->  请求(Request)   -->  引擎   -->  下载器中间件   -->  下载器：发送请求, 获取响应, 把响应封装为Response对象
3. 下载器 -Response   -->  下载器中间件   -->  引擎   -->  爬虫中间件   -->  爬虫模块：解析响应数据, 提取数据, 提取请求
4. 爬虫模块   -->  数据   -->  引擎   -->  管道(Pipeline)：保存数据
5. 爬虫模块   -->  请求   -->  爬虫中间件   -->  引擎   -->  调度器

scrapy各个组件作用

• 　　 引擎模块：调度各个模块, 以及模块间数据传递.
• 　　 调度器模块：请求去重, 缓存请求(队列)
• 　　 下载器： 发送请求, 获取响应数据
• 　　 爬虫模块：解析响应数据, 提取数据, 提取请求
• 　　 管道模块：处理数据, 比如:保存数据
• 　　 下载器中间件： 在引擎和下载器之间, 把请求交给下载器之前, 可以对请求进行处理, 比如设置代理, 设置随机请求头.
• 　　 爬虫中间件： 在引擎和爬虫之间, 可以请求和响应数据进行过滤.

ScrapyShell

　　使用格式：scrapy shell URL

作用

1. 可以用于测试response常见属性和方法
2. 可用于用于测试/调试XPATH

response中重要属性

• response.body：响应的二进制数据
• response.text: 响应的文本字符串数据
• response.url: 响应的URL
• response.request.headers: 响应对应的请求的请求头

settings.py中的设置信息

• ROBOTSTXT_OBEY 是否遵守robots协议，默认是遵守
• DOWNLOAD_DELAY 下载延迟，默认0.5~1.5的随机延迟
• COOKIES_ENABLED 是否开启cookie，即每次请求带上前一次的cookie，默认是开启的
• DEFAULT_REQUEST_HEADERS 设置默认请求头
• DOWNLOADER_MIDDLEWARES 下载中间件
• LOG_LEVEL 控制日志输出的级别
• 　　日志等级: DEBUG,INFO,WARNING,ERROR,CRITICAL
• LOG_FILE 设置log日志文件的保存路径, 如果设置该参数，终端将不再显示日志信息

回调函数之间数据的传递

yield scrapy.Requst(url,[callback,method,headers,body,cookies,meta,dont_filter])

• callback：表示当前的url的响应交给哪个函数去处理
• meta：实现数据在不同的解析函数中传递,设置代理IP
• 　　　meta={'xx':yy}：在callback函数中使用response.meta['xx']获取传递过来的yy的数据
• dont_filter:默认为False,会过滤请求的url地址,即请求过的url地址不会继续被请求,对需要重复请求的url地址可以把它设置为True
• method：指定POST或GET请求
• headers：接收一个字典，其中不包括cookies
• cookies：接收一个字典，专门放置cookies
• body：接收字符串格式:name=aa&age=bb

scrapy中间件

1. 　　先书写middlewares文件内部的process_request方法
2. 　　再在setting文件中打开配置信息

DOWNLOADER_MIDDLEWARES = {
   'middle.middlewares.MiddleDownloaderMiddleware': 543,
}

USER_AGENT_LIST = [
    '',
    '',
    '...',]

PROXY_LIST = [
    '14.106.27.137:8118',
    '27.193.49.150:8118',
    '12.86.54.194:8118',
    '115.218.132.203:8118',
    '182.96.203.11:49225',
    '114.249.112.65:9000',
    '43.248.122.251:8123',
]

Downloader Middlewares默认的方法

process_request(self, request, spider)

• 　　　　当每个request通过下载中间件时，该方法被调用。
• 　　　　返回None值：继续请求
• 　　　　返回Response对象：不再请求，把response返回给引擎
• 　　　　返回Request对象：把request对象交给引擎 -> 调度器进行后续的请求

process_response(self, request, response, spider)

• 　　　　当下载器完成http请求，传递响应给引擎的时候调用
• 　　　　返回Resposne：交给process_response来处理
• 　　　　返回Request对象：交给调取器继续请求

    def process_request(self, request, spider):
        # 处理请求的下载器中间件
        # Called for each request that goes through the downloader
        # 每当有一个request经过下载中间件的时候,那么此方法就会被调用
        # 随机获取一个user_agent
        # USER_AGENT_LIST/PROXY_LIST:setting中配置
        """
        随机User-Agent下载器中间件
            1.在settings.py中准备USER_AGENT_LIST列表
            2.实现 process_request`方法
            3.随机中USER_AGENT_LIST, 选出一个UserAgent设置给request
                request.headers['User-Agent']
        在settings.py中配置中间件
        """
        ua = random.choice(USER_AGENT_LIST)
        request.headers['User-Agent'] = ua
        """
        代理IP下载器中间件
            request.meta['proxy']
        """
        p = random.choice(PROXY_LIST)
        request.meta['proxy'] = p
        # return None 这个请求继续执行
        # return request 换了一个新的请求,把request对象交给引擎 -> 调度器进行后续的请求
        # return response 根本不会再发送请求,把response返回给引擎
        return None