终极大招——Scrapy框架
Scrapy框架
Scrapy 是一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛,可用于如数据挖掘、监测和自动化测试等领域,也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。
Scrapy 是基于twisted框架开发而来,所以要使用 Scrapy 首先得安装 twisted 。twisted 是一个流行的事件驱动的python网络框架。因此 Scrapy 使用了一种非阻塞(又名异步)的代码来实现并发。Scrapy 的官网地址为:https://docs.scrapy.org/en/latest/topics/architecture.html
根据官网,我们知道 Scrapy 整体架构大致由7部分组成:
- 引擎(EGINE):引擎负责控制系统所有组件之间的数据流,并在某些动作发生时触发事件。有关详细信息,之后会在数据流部分提到。
- 调度器(SCHEDULER):用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址。
- 爬虫(SPIDERS):SPIDERS是开发人员自定义的类,用来解析responses,并且提取items,或者发送新的请求。
- 下载器(DOWLOADER):用于下载网页内容, 并将网页内容返回给EGINE,下载器是建立在twisted这个高效的异步模型上的。
- 项目管道(ITEM PIPLINES):在items被提取后负责处理它们,主要包括清理、验证、持久化(比如存到数据库)等操作。
- 下载器中间件(Downloader Middlewares):位于Scrapy引擎和下载器之间,主要用来处理从EGINE传到DOWLOADER的请求request,已经从DOWNLOADER传到EGINE的响应response,你可用该中间件做以下几件事:
- 在将请求发送到下载器之前处理请求(即在Scrapy将请求发送到网站之前)。
- 在传递给蜘蛛之前改变接收到的响应;
- 发送新的请求,而不是将接收到的响应传递给蜘蛛;
- 向蜘蛛传递响应而不需要获取网页;
- 去除某些请求
- 爬虫中间件(Spider Middlewares):位于EGINE和SPIDERS之间,主要工作是处理SPIDERS的输入(即responses)和输出(即requests)。
- 引擎(Engine)获取最初的请求由爬虫(Spider)抓取。
- 引擎(Engine)在调度程序(Scheduler)中调度请求,并要求抓取下一个请求。
- 调度程序(Scheduler)将下一个请求返回给引擎(Engine)。
- 引擎(Engine)将请求通过下载器中间件( Downloader Middlewares )发送到下载器( Downloader)(详情请参阅process_request())。
- 一旦页面完成下载,下载器( Downloader)会生成一个响应(使用该页面)并通过下载器中间件( Downloader Middlewares )将其发送到引擎(Engine)。(详情请参阅process_response())。
- 引擎(Engine)从下载器( Downloader)接收到响应后通过爬虫中间件( Spider Middlewares )将其发送给爬虫(Spider)进行处理。(详情请参阅process_spider_input())。
- 爬虫(Spider)处理响应,并通过爬虫中间件( Spider Middlewares )将抓取的项目和新请求(后续)返回给引擎(Engine)。(详情请参阅process_spider_output())
- 引擎(Engine)将已处理的项目发送到项目管道(ITEM PIPLINES),然后将已处理的请求发送到调度程序(Scheduler),然后询问是否有下一个请求需要进行爬网。
- 若有请求则重复以上步骤,直到没有更多的调度请求。
Scrapy 安装
windows安装:
1、pip3 install wheel #安装后,便支持通过wheel文件安装软件,wheel文件官网:https://www.lfd.uci.edu/~gohlke/pythonlibs
3、pip3 install lxml
4、pip3 install pyopenssl
5、下载并安装pywin32:https://sourceforge.net/projects/pywin32/files/pywin32/
6、下载twisted的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
7、执行pip3 install 下载目录\Twisted-17.9.0-cp36-cp36m-win_amd64.whl
#以上步骤是因为scrapy是基于twisted实现的,所以要先安装twisted
8、pip3 install scrapy
linux安装:
pip3 install scrapy
命令行工具
安装完scrapy后我们最关心的就是如何创建一个新的项目,然后展开爬虫行动。这里就需要用到命令行工具,首先我们来说创建项目。
startproject #创建项目
命令行分为全局命令(Global commands)和项目命令(Project-only commands)。全局命令指在任何位置都可以调用,而项目命令只能在项目中使用。
#1 查看帮助
scrapy -h
scrapy <command> -h #2 有两种命令:其中Project-only必须切到项目文件夹下才能执行,而Global的命令则不需要
Global commands:
startproject #创建项目
genspider #创建爬虫程序
settings #如果是在项目目录下,则得到的是该项目的配置
runspider #运行一个独立的python文件,不必创建项目
shell #scrapy shell url地址 在交互式调试,如选择器规则正确与否
fetch #独立于程单纯地爬取一个页面,可以拿到请求头
view #下载完毕后直接弹出浏览器,以此可以分辨出哪些数据是ajax请求
version #scrapy version 查看scrapy的版本,scrapy version -v查看scrapy依赖库的版本
Project-only commands:
crawl #运行爬虫,必须创建项目才行,确保配置文件中ROBOTSTXT_OBEY = False
check #检测项目中有无语法错误
list #列出项目中所包含的爬虫名
edit #编辑器,一般不用
parse #scrapy parse url地址 --callback 回调函数 #以此可以验证我们的回调函数是否正确
bench #scrapy bentch压力测试
全局命令和项目命令
刚才我们用到的创建项目的命令是一条全局命令,通常我们会在指定位置创建项目,所以我们先cd 文件路径 切到指定位置后再执行“scrapy startproject 项目名”就能创建一个爬虫项目。
创建项目示例:
#cd 项目所在路径
scrapy startproject AMAZON#这里以爬取亚马逊举例
#这时候会有一出现AMAZON的文件夹和一个scrapy.cfg文件,scrapy.cfg里面写的是项目的部署信息,爬虫相关的配置信息在settings.py文件中 cd AMAZON#切到项目路径下
scrapy genspider amazon www.amazon.cn#创建一只叫amazon的蜘蛛,爬取的网页的域名为www.amazon.cn
#这时候在AMAZON文件夹下的spiders文件夹下就会多一个amazon.py文件 #amazon.py中:
# -*- coding: utf-8 -*-
import scrapy #继承了scrapy.Spider类的自定义类
class AmazonSpider(scrapy.Spider):
name = 'amazon'#爬虫名字,不可改
allowed_domains = ['www.amazon.cn']#域名
start_urls = ['http://www.amazon.cn/']#不设置url时默认爬这个网页 def parse(self, response):
#解析操作
pass """
爬虫是一项不违法但也容易违法的行为,有些公司会不想让你爬,所以有一个ROBOTSTXT_OBEY协议,规定了如该公司的网站不允许你爬的话会另外开一个
专门接口放入不重要的信息用于给你爬取。在settings,py中有一条ROBOTSTXT_OBEY的配置,默认为True就是遵循该协议,我们处理爬取的数据的行为
不违法的情况下可以将其设置为False,以爬取所有数据
"""
注意:Scrapy默认只能在CMD中执行爬虫程序,若想在Pycharm中运行需在settings.py文件同级的目录下新建entrypoint.py,里面写入
#在项目目录下新建:entrypoint.py
from scrapy.cmdline import execute
execute(['scrapy', 'crawl', 'amazon','--nolog'])#执行这条会打印默认的日志信息
# execute(['scrapy', 'crawl', 'amazon',])#执行这条为不打印日志信息
#1、执行全局命令:请确保不在某个项目的目录下,排除受该项目配置的影响
scrapy startproject MyProject cd MyProject
scrapy genspider baidu www.baidu.com scrapy settings --get XXX #如果切换到项目目录下,看到的则是该项目的配置 scrapy runspider baidu.py scrapy shell https://www.baidu.com
response
response.status
response.body
view(response) scrapy view https://www.taobao.com #如果页面显示内容不全,不全的内容则是ajax请求实现的,以此快速定位问题 scrapy fetch --nolog --headers https://www.taobao.com scrapy version #scrapy的版本 scrapy version -v #依赖库的版本 #2、执行项目命令:切到项目目录下
scrapy crawl baidu
scrapy check
scrapy list
scrapy parse http://quotes.toscrape.com/ --callback parse
scrapy bench
CMD中执行项目的命令(一般我们都在pycharm中操作)
import sys,os
sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')
关于windows编码问题
项目文件的结构以及各文件的作用如下图所示
spiders文件夹作用
spiders文件夹的内容是由程序员自定义的多个类组成,用于爬取一个或多个网址,具体包括如何执行爬取任务并且如何从页面中提取结构化的数据。换句话说,Spiders是你为了一个特定的网址或一组网址自定义爬取和解析页面行为的地方。
Spiders中的类封装了发起请求的方法和回调函数的方法,回调函数可以是多个但每一个请求都必须一个绑定回调函数以处理抓取到的网页的内容。
默认生成的“def start_requests(self):” 只执行一次默认从start_urls列表中获得url地址来生成Request请求,默认的回调函数是parse方法。回调函数在下载完成返回response时自动触发。
回调函数用于解析response并返回值,返回值可以使4种,通常Scrapy用自带的Selectors解析内容,当然我们也可以使用Beutifulsoup,lxml或其他的。返回Item对象的话会通过项目管道(Item Pipeline)组件存到数据库或以文件的形式导出。
四种返回值:
- 包含解析数据的字典
- Item对象
- 新的Request对象(新的Requests也需要指定一个回调函数)
- 可迭代对象(包含Items或Request)
Spiders给我们提供了5个类
scrapy.spiders.Spider #scrapy.Spider等同于scrapy.spiders.Spider,使我们用的最多的类
scrapy.spiders.CrawlSpider
scrapy.spiders.XMLFeedSpider
scrapy.spiders.CSVFeedSpider
scrapy.spiders.SitemapSpider #可链式操作
from scrapy.spiders import Spider,CrawlSpider,XMLFeedSpider,CSVFeedSpider,SitemapSpider
终极大招——Scrapy框架的更多相关文章
- selenium模块使用详解、打码平台使用、xpath使用、使用selenium爬取京东商品信息、scrapy框架介绍与安装
今日内容概要 selenium的使用 打码平台使用 xpath使用 爬取京东商品信息 scrapy 介绍和安装 内容详细 1.selenium模块的使用 # 之前咱们学requests,可以发送htt ...
- Python爬虫Scrapy框架入门(2)
本文是跟着大神博客,尝试从网站上爬一堆东西,一堆你懂得的东西 附上原创链接: http://www.cnblogs.com/qiyeboy/p/5428240.html 基本思路是,查看网页元素,填写 ...
- Python爬虫Scrapy框架入门(1)
也许是很少接触python的原因,我觉得是Scrapy框架和以往Java框架很不一样:它真的是个框架. 从表层来看,与Java框架引入jar包.配置xml或.property文件不同,Scrapy的模 ...
- Scrapy框架使用—quotesbot 项目(学习记录一)
一.Scrapy框架的安装及相关理论知识的学习可以参考:http://www.yiibai.com/scrapy/scrapy_environment.html 二.重点记录我学习使用scrapy框架 ...
- Python爬虫从入门到放弃(十一)之 Scrapy框架整体的一个了解
这里是通过爬取伯乐在线的全部文章为例子,让自己先对scrapy进行一个整理的理解 该例子中的详细代码会放到我的github地址:https://github.com/pythonsite/spider ...
- Python爬虫从入门到放弃(十二)之 Scrapy框架的架构和原理
这一篇文章主要是为了对scrapy框架的工作流程以及各个组件功能的介绍 Scrapy目前已经可以很好的在python3上运行Scrapy使用了Twisted作为框架,Twisted有些特殊的地方是它是 ...
- python爬虫scrapy框架——人工识别登录知乎倒立文字验证码和数字英文验证码(2)
操作环境:python3 在上一文中python爬虫scrapy框架--人工识别知乎登录知乎倒立文字验证码和数字英文验证码(1)我们已经介绍了用Requests库来登录知乎,本文如果看不懂可以先看之前 ...
- 一个scrapy框架的爬虫(爬取京东图书)
我们的这个爬虫设计来爬取京东图书(jd.com). scrapy框架相信大家比较了解了.里面有很多复杂的机制,超出本文的范围. 1.爬虫spider tips: 1.xpath的语法比较坑,但是你可以 ...
- 安装scrapy框架的常见问题及其解决方法
下面小编讲一下自己在windows10安装及配置Scrapy中遇到的一些坑及其解决的方法,现在总结如下,希望对大家有所帮助. 常见问题一:pip版本需要升级 如果你的pip版本比较老,可能在安装的过程 ...
随机推荐
- Mac OSX安装启动 zookeeper
安装 zookeeper支持brew安装 ➜ ~ brew info zookeeper zookeeper: stable (bottled), HEAD Centralized server fo ...
- 父页面操作嵌套iframe子页面的HTML标签元素
一个页面A.html使用iframe嵌套一个页面B.html,在A页面写js操作B页面HTML元素,首先要获取到B页面document对象,才能对嵌套页面进行操作 请看一个实例,在A页面写js操作B页 ...
- Html 助手
/*! * Html 助手 * version: 1.0.0-2018.07.25 * Requires ES6 * Copyright (c) 2018 Tiac * http://www.cnbl ...
- [原]Jenkins(三)---Jenkins初始配置和插件配置
/** * lihaibo * 文章内容都是根据自己工作情况实践得出. *版权声明:本博客欢迎转发,但请保留原作者信息! http://www.cnblogs.com/horizonli/p/5331 ...
- spring整合Jersey 无法注入service的问题
现象: action中的@autowired注入service或dao失败,报空指针异常 原因: 造成该问题的原因是你并没有做好spring和jersey的整合工作,检查你的web.xml文件,jer ...
- cmus 命令行播放器使用
安装 sudo eopkg it cmus 启动 cmus 设置输出 :set output_plugin=pulse 导入本地音乐 :add /home/your_username/Music 查看 ...
- JavaScript----特效代码
1.不同时间段显示不同问候语 <Script Language="JavaScript"> <!-- var text=""; day = n ...
- css学习_标签的显示模式
标签的显示模式 a.块级元素(最典型的是 div标签) 特点: 默认宽度 100% 可以容纳块级元素和内联元素 b.行内元素 (最典型的是 span标签) 特点: c.行内块元素(最典型的是 i ...
- 短信文本pdu模式解析
来源于互联网 年代较长 如有侵犯 请联系删除 text模式主要发送字符集(有限的),不能用来发送中文,但是hex moder可以发送所有字符. pdu moder被所有手机支持,主要分为7bit 8b ...
- vim保存只读文件时获得sudo权限
有时使用vim时忘记输入sudo,导致编辑了一大堆文字,最后保存时发现是只读文件,无法保存,每次保存都会提示read only.这时可以使用如下命令代替原有的 :wq 命令 :w !sudo tee ...