Scrapy 教程(三)-网站解析
有经验的人都知道,解析网站需要尝试,看看得到的数据是不是想要的,那么在scrapy中怎么尝试呢?
调试工具-shell
主要用于编写解析器
命令行进入shell
scrapy shell url
这个命令其实是个下载器
shell 界面
获取数据
解析命令 response.css('title'),验证获取的数据正确与否
退出shell
exit即可
用法2
直接输入 scrapy shell 命令,进入shell模式
用法3
实际上在shell中编写“选择器表达式”也是要借助浏览器的,但是直接用浏览器打开网页和用程序访问到的response可能不同,因为有动态页面,所以需要用浏览器打开程序访问到的response。
view(response) 命令就是用浏览器打开response;实际上是一个本地的html文件
此时我们注意到:shell 界面中有个 Userful shortcuts,包含了几个命令,其中包含了view(response), 还有上例中的 fetch(req)
css 选择器
3个函数:response.css('css表达式')、extract()、extract_first()
3个提取内容:标签、标签属性、标签内容
标签提取
css 表达式为标签
response.css('title') 获取 title 标签 ,其他标签方法相同,如body 、div 、p、a等
生成一个 Selector 列表,如上图,相当于一个选择器
css 表达式为 id 或 class
response.css('#id')
response.css('.class')
方法
response.css('title').extract() 提取标签列表,如 ['<title>爬虫实验室 - SCRAPY中文网提供</title>']
response.css('title').extract()[0]
or
response.css('title').extract_first() 获取第一个元素,如 '<title>爬虫实验室 - SCRAPY中文网提供</title>'
response.css('title::text').extract_first() 提取title标签中的text,如 '爬虫实验室 - SCRAPY中文网提供'
标签属性的提取
css表达式为 标签名::attr(属性名)
a::attr(href)
img::attr(src)
多层标签的属性
response.css('.class a::attr(href)')
response.css('.class #id a')
class and id 层标签之间空格即可
标签内容的提取
css 表达式为 ::text
response.css("div::text").extract() 标签的text
response.css(".center::text").extract() class的text
response.css(".post-content *::text").extract() class中所有标签的text
* 表示所有标签
XPath 选择器
XPth 简介
xpath 使用路径表达式在xml文档中选取节点。
请看一个xml例子
<?xml version="1.0" encoding="ISO-8859-1"?> <bookstore> <book>
<title lang="en">Harry Potter</title>
<author>J K. Rowling</author>
<year>2005</year>
<price>29.99</price>
</book> </bookstore>
节点之间的关系
父: book 是 title 的父
子: year 是 book 的子
同胞: book year 是同胞
先辈:title 的先辈是 book bookstore
后代:bookstore 的后代是 book title
路径表达式
表达式 | 描述 |
---|---|
nodename | 选取此节点的所有子节点。 |
/ | 从根节点选取。 |
// | 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。 |
. | 选取当前节点。 |
.. | 选取当前节点的父节点。 |
@ | 选取属性。 |
举例
路径表达式 | 结果 |
---|---|
bookstore | 选取 bookstore 元素的所有子节点。 |
/bookstore |
选取根元素 bookstore。 注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径! |
bookstore/book | 选取属于 bookstore 的子元素的所有 book 元素。 |
//book | 选取所有 book 子元素,而不管它们在文档中的位置。 |
bookstore//book | 选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置。 |
//@lang | 选取名为 lang 的所有属性。 |
XPath 选择器
3个函数:response.xpath('表达式')、extract()、extract_first()
4个提取内容:标签、标签属性、标签内容、标签内的所有文字
标签
省略
标签属性
表达式为 @属性名
//@href 所有 href
//ol//@href ol标签下所有 href
//ol[@class="page-navigator"]//@href 具有某属性的标签ol下的所有href
标签内容
表达式为 //text()
//ul[@class='tags-list']//a//text()
标签内的所有文字
表达式为 string(标签)
提取标签及其后代的所有文字,并连在一起
response.xpath("string(//div[@class='post-content'])").extract()
实例
路径表达式 | 结果 |
---|---|
/bookstore/book[1] | 选取属于 bookstore 子元素的第一个 book 元素。 |
/bookstore/book[last()] | 选取属于 bookstore 子元素的最后一个 book 元素。 |
/bookstore/book[last()-1] | 选取属于 bookstore 子元素的倒数第二个 book 元素。 |
/bookstore/book[position()<3] | 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。 |
//title[@lang] | 选取所有拥有名为 lang 的属性的 title 元素。 |
//title[@lang='eng'] | 选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性。 |
/bookstore/book[price>35.00] | 选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00。 |
/bookstore/book[price>35.00]/title | 选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00。 |
通配符
通配符 | 描述 |
---|---|
* | 匹配任何元素节点。 |
@* | 匹配任何属性节点。 |
node() | 匹配任何类型的节点。 |
实例
路径表达式 | 结果 |
---|---|
/bookstore/* | 选取 bookstore 元素的所有子元素。 |
//* | 选取文档中的所有元素。 |
//title[@*] | 选取所有带有属性的 title 元素。 |
也可以用 BeautifulSoup 进行解析。
Scrapy 教程(三)-网站解析的更多相关文章
- MeteoInfo-Java解析与绘图教程(三)
MeteoInfo-Java解析与绘图教程(三) 上文我们说到简单绘制色斑图(卫星云图),但那种效果可定不符合要求,一般来说,客户需要的是在地图上色斑图的叠加,或者是将图片导出分别是这两种效果 当然还 ...
- Python爬虫框架Scrapy教程(1)—入门
最近实验室的项目中有一个需求是这样的,需要爬取若干个(数目不小)网站发布的文章元数据(标题.时间.正文等).问题是这些网站都很老旧和小众,当然也不可能遵守 Microdata 这类标准.这时候所有网页 ...
- Scrapy教程
Scrapy教程 原文地址https://doc.scrapy.org/en/latest/intro/tutorial.html 此教程我们假设你已经装好了Scrapy,如果没有请查看安装指南.. ...
- 手把手教从零开始在GitHub上使用Hexo搭建博客教程(三)-使用Travis自动部署Hexo(1)
前言 前面两篇文章介绍了在github上使用hexo搭建博客的基本环境和hexo相关参数设置等. 基于目前,博客基本上是可以完美运行了. 但是,有一点是不太好,就是源码同步问题,如果在不同的电脑上写文 ...
- Laravel教程 三:视图变量传递和Blade
Laravel教程 三:视图变量传递和Blade 此文章为原创文章,未经同意,禁止转载. Blade 上一篇我们简单地说了Router,Views和Controllers的工作流程,这一次我就按照上一 ...
- WordPress小工具开发教程(网站公告)
WordPress小工具开发教程(网站公告) BY TIANQIXIN · 2012 年 12 月 26 日 wordpress主题小工具,可以自由拖动到侧边栏,并在前台实现相应功能!一般自带的小 ...
- 黄聪:Microsoft Enterprise Library 5.0 系列教程(三) Validation Application Block (初级)
原文:黄聪:Microsoft Enterprise Library 5.0 系列教程(三) Validation Application Block (初级) 企业库提供了一个很强大的验证应用程序模 ...
- Fastify 系列教程三 (验证、序列化和生命周期)
Fastify 系列教程: Fastify 系列教程一 (路由和日志) Fastify 系列教程二 (中间件.钩子函数和装饰器) Fastify 系列教程三 (验证.序列化和生命周期) 验证 Fast ...
- webpack4 系列教程(三): 多页面解决方案--提取公共代码
这节课讲解webpack4打包多页面应用过程中的提取公共代码部分.相比于webpack3,4.0版本用optimization.splitChunks配置替换了3.0版本的CommonsChunkPl ...
随机推荐
- 面向对象this关键字的内存图解
this:哪个对象调用方法,this就代表哪个对象 案例1: //定义老师类 class Teacher { private String name; private int age; public ...
- Java对数组和列表的排序1.8新特性
Java对数组列表的排序 数组 Integer[] a = new Integer[] { 1, 2, 3, 4, 5, 6, 9, 8, 7, 4, 5, 5, 6, 6 }; Arrays.sor ...
- 论文阅读:Stateless Network Functions: Breaking the Tight Coupling of State and Processing
摘要: 无状态网络功能是一个新的网络功能虚拟化架构,解耦了现有的网络功能设计到无状态处理组件以及数据存储层,在打破紧密耦合的同时,实现了更具可伸缩性和可恢复性的网络功能基础设施.无状态NF处理实例是围 ...
- [LeetCode]-DataBase-Department Top Three Salaries
The Employee table holds all employees. Every employee has an Id, and there is also a column for the ...
- python正则之模式re.I re.M
re.I 忽略大小写 >>> re.match(r"A","abc",re.I) <_sre.SRE_Match object at 0 ...
- group by 与 order by 一起使用的时候
select 后面的列+order by 后面的列 必须在group by 里面 也就是说 select 和 order by 后面的列是 group by 列的子集 而 select 和 order ...
- What is 'typeof define === 'function' && define['amd']' used for?
What is 'typeof define === 'function' && define['amd']' used for? This code checks for the p ...
- 五大好用的开源MySQL管理工具推荐
众所周知,对于数据库管理工作者(DBA)来说,保持数据正常运行在最佳状态需要具备敏捷.专注.冷静和快速的反应能力.因为数据库几乎是所有应用程序成功运行的核心,由于DBA负责组织数据,因此寻找可靠的工具 ...
- 使用virt-manager创建无盘工作站(基于nfs文件系统)
首先需要做些准备工作: 1.安装xming及virt-manager, 安装过程网上很多,就不一一叙述了.安装完成后,使用putty登陆服务器,需要配置如下: connection -> SSH ...
- 安装mysql数据库要注意的
只安装基本功能即可,以后要的话可以加 需要配置环境变量 最好不要将数据存放在c盘,默认在 C:\ProgramData\MySQL\MySQL Server 5.6 里面存放建的表和存放的数据