爬虫:Scrapy15 - 调试(Debugging)Spiders
考虑下面的 spider:
- import scrapy
- from myproject.items import MyItem
- class MySpider(scrapy.Spider):
- name = 'myspider'
- start_urls = (
- 'http://example.com/page1',
- 'http://example.com/page2',
- )
- def parse(self, response):
- # collect `item_urls`
- for item_url in item_urls:
- yield scrapy.Request(item_url, self.parse_item)
- def parse_item(self, response):
- item = MyItem()
- # populate `item` fields
- # and extract item_details_url
- yield scrapy.Request(item_details_url, self.parse_details, meta={'item': item})
- def parse_details(self, response):
- item = response.meta['item']
- # populate more `item` fields
- return item
简单地说,该 spider 分析了两个包含 item 的页面(start_urls)。Item 有详情页面,所以我们使用 Request 的 meta 功能来传递已经部分获取的 item。
Parse 命令
检查 spider 输出的最基本的方法是使用 parse 命令。这能让你在函数层(method level)上检查 spider 各个部分的效果。其十分灵活并且易用,不过不能再代码中调试。
查看特定 url 爬取到的 item:
- $ scrapy parse --spider=myspider -c parse_item -d 2 <item_url>
- [ ... scrapy log lines crawling example.com spider ... ]
- >>> STATUS DEPTH LEVEL 2 <<<
- # Scraped Items ------------------------------------------------------------
- [{'url': <item_url>}]
- # Requests -----------------------------------------------------------------
- []
使用 --verbose 或者 -v 选项,查看各个层级的状态:
- $ scrapy parse --spider=myspider -c parse_item -d 2 -v <item_url>
- [ ... scrapy log lines crawling example.com spider ... ]
- >>> DEPTH LEVEL: 1 <<<
- # Scraped Items ------------------------------------------------------------
- []
- # Requests -----------------------------------------------------------------
- [<GET item_details_url>]
- >>> DEPTH LEVEL: 2 <<<
- # Scraped Items ------------------------------------------------------------
- [{'url': <item_url>}]
- # Requests -----------------------------------------------------------------
- []
检查从单个 start_url 爬取到的 item 也是很简单的:
- $ scrapy parse --spider=myspider -d 3 'http://example.com/page1'
- Scrapy终端(Shell)
尽管 parse 命令对检查 spider 的效果十分有用,但除了显示收到的 response 及输出外,其对检查回调函数内部的过程并没有提供什么便利。如何调试 parse_detail 没有收到 item 的情况呢?
幸运的是,救世主 shell 出现了(参考在 spider 中启动 shell 来查看 response):
- from scrapy.shell import inspect_response
- def parse_details(self, response):
- item = response.meta.get('item', None)
- if item:
- # populate more `item` fields
- return item
- else:
- inspect_response(response, self)
在浏览器中打开
有时候你想查看某个 response 在浏览器中的显示效果,可以使用 open_in_browser功能:
- from scrapy.utils.response import open_in_browser
- def parse_details(self, response):
- if "item name" not in response.body:
- open_in_browser(response)
open_in_browser 将会使用 Scrapy 获取到的 response 来打开浏览器,并且调整 base tag 是的 图片以及样式(style)能正常显示。
Logging
记录(logging)是另一个获取到 spider 运行信息的方法。虽然不是那么方便,但好处是log的内容在以后的运行中也可以看到:
- from scrapy import log
- def parse_details(self, response):
- item = response.meta.get('item', None)
- if item:
- # populate more `item` fields
- return item
- else:
- self.log('No item received for %s' % response.url,
- level=log.WARNING)
爬虫:Scrapy15 - 调试(Debugging)Spiders的更多相关文章
- 【React Native开发】React Native应用设备执行(Running)以及调试(Debugging)(3)
),React Native技术交流4群(458982758),请不要反复加群.欢迎各位大牛,React Native技术爱好者加入交流!同一时候博客左側欢迎微信扫描关注订阅号,移动技术干货,精彩文章 ...
- 学习PHP爬虫--《Webbots、Spiders和Screen Scrapers:技术解析与应用实践(原书第2版)》
<Webbots.Spiders和Screen Scrapers:技术解析与应用实践(原书第2版)> 译者序 前言 第一部分 基础概念和技术 第1章 本书主要内容3 1.1 发现互联网的真 ...
- 爬虫 -- JS调试
开发者工具(F12) 其中常用的有Elements(元素面板).Console(控制台面板).Sources(源代码面板).Network(网络面板) 找 JS 文件的几种方法 1.找发起地址 2.设 ...
- scrapy爬虫框架教程(二)-- 爬取豆瓣电影TOP250
scrapy爬虫框架教程(二)-- 爬取豆瓣电影TOP250 前言 经过上一篇教程我们已经大致了解了Scrapy的基本情况,并写了一个简单的小demo.这次我会以爬取豆瓣电影TOP250为例进一步为大 ...
- python爬虫 Scrapy2-- 爬取豆瓣电影TOP250
sklearn实战-乳腺癌细胞数据挖掘(博主亲自录制视频) https://study.163.com/course/introduction.htm?courseId=1005269003& ...
- 爬虫、框架scrapy
阅读目录 一 介绍 二 安装 三 命令行工具 四 项目结构以及爬虫应用简介 五 Spiders 六 Selectors 七 Items 八 Item Pipeline 九 Dowloader Midd ...
- 爬虫 之 scrapy框架
浏览目录 介绍 安装 项目结构及爬虫应用简介 常用命令行工具 Spiders爬虫 Selectors选择器 Item Pipeline 项目管道 Downloader Middleware下载中间件 ...
- Python之爬虫总结
一.爬虫之requests a.介绍:使用requests可以模拟浏览器的请求,比起之前用到的urllib,requests模块的api更加便捷(本质就是封装了urllib3) b.注意:re ...
- Scrapy项目 - 实现腾讯网站社会招聘信息爬取的爬虫设计
通过使Scrapy框架,进行数据挖掘和对web站点页面提取结构化数据,掌握如何使用Twisted异步网络框架来处理网络通讯的问题,可以加快我们的下载速度,也可深入接触各种中间件接口,灵活的完成各种需求 ...
随机推荐
- python_4_interaction
#1(方法1)尽量不用这种拼接法,效率低下,占用内存多 name=input("name:") age=input('age:') job=input('job:') salary ...
- 在matlab中查看变量的数据类型
>> x = x = >> class(x) ans = double
- img适配问题解决方法
将img放到background中,将background-size设置为100%:只需要适配背景为img的元素的宽和高即可.
- Git工作流指南:功能分支工作流(转)
一旦你玩转了集中式工作流,在开发过程中可以很简单地加上功能分支,用来鼓励开发者之间协作和简化交流. 功能分支工作流背后的核心思路是所有的功能开发应该在一个专门的分支,而不是在master分支上.这个隔 ...
- C++使用GDI+实现图片格式转换
主要是我在设置壁纸时遇到的个小问题,因为设置壁纸只能是bmp格式的图片,不可能我喜欢的壁纸就都是bmp格式的,就想怎么转换一下图片的格式,于是就在百度搜怎么弄,搜到了可行方法,却没有实现代码,有些看起 ...
- maven 使用错误
使用mvn test mvn test -Dtest=测试包名.测试类名时 [ERROR] Failed to execute goal org.apache.maven.plugins:maven- ...
- 搭建Maven私有仓库
Nexus官网下载:Nexus Repository Manager OSS :https://www.sonatype.com/download-oss-sonatype 1.解压 $ tar -z ...
- Redis------Set集合类型
set是string类型的无序集合 类比:你的朋友不能超过2的32次方-1个元素 基本添加删除操作 取并集 取交集 取差集 注意:每个元素的各个元素不能重复 应用场合:qq好友推荐‘ TomFri 的 ...
- Makefile (2) gdb
gdb调试 1.用debug的方式编译 -g 2.打上断点 3.单步调试 step into 进入函数里面 step over 运行整个函数 step return 跳出当前函数 4.继续运行 5.打 ...
- python——int()函数
1. 使用 int() 将小数转换为整数,结果是向上取整还是向下取整呢? 小数取整会采用比较暴力的截断方式,即向下取整.(注:5.5向上取整为6,向下取整为5) 2. 我们人类思维是习惯于“四舍五入” ...