【爬虫】Xpath高级用法
xpath速度比较快,是爬虫在网页定位中的较优选择,但是很多网页前端代码混乱难以定位,而学习定位也较为不易(主要是全面的教程较少),这里列出一点编程过程中可能有用的东西,欢迎共同学习批评指正。
试验环境:Python环境,lxml.etree
- 试验所使用的html代码
<!DOCTYPE html> <html> <head> <title>xpath test</title> </head> <body> <div price="99.8"> <div> <ul> <li>时间</li> <li>地点</li> <li>任务</li> </ul> </div> <div id='testid' data-h="first"> <h2>这里是个小标题</h2> <ol> <li data="one">1</li> <li data="two">2</li> <li data="three">3</li> </ol> <ul> <li code=">84</li> <li code=">104</li> <li code=">223</li> </ul> </div> <div> <h3>这里是H3的内容 <a href="http://www.baidu.com">百度一下</a> <ul> <li>test1</li> <li>test2</li> </ul> </h3> </div> <div id="go"> <ul> <li>1</li> <li>2</li> <li>3</li> <li>4</li> <li>5</li> <li>6</li> <li>7</li> <li>8</li> <li>9</li> <li>10</li> </ul> </div> </div> </body> </html>
1、匹配某节点下的所有.//
//
获取文档中所有匹配的节点,.
获取当前节点,有的时候我们需要获取当前节点下的所有节点,.//
一定要结合.
使用//
,否则都会获取整个文档的匹配结果.
2、匹配包含某属性的所有的属性值//@lang
print tree.xpath('//@code') #匹配所有带有code属性的属性值 >>[']
3、选取若干路径|
这个符号用于在一个xpath中写多个表达式用,用|
分开,每个表达式互不干扰
print tree.xpath('//div[@id="testid"]/h2/text() | //li[@data]/text()') #多个匹配条件 >>[u']
4、 Axes(轴)
- child:选取当前节点的所有子元素
>>print tree.xpath('//div[@id="testid"]/child::ul/li/text()') #child子节点定位 >>['] >>print tree.xpath('//div[@id="testid"]/child::*') #child::*当前节点的所有子元素 >>[<Element h2 at 0x21bd148>, <Element ol at 0x21bd108>, <Element ul at 0x21bd0c8>] >>#定位某节点下为ol的子节点下的所有节点 >>print tree.xpath('//div[@id="testid"]/child::ol/child::*/text()') >>[']
- attribute:选取当前节点的所有属性
>>print tree.xpath('//div/attribute::id') #attribute定位id属性值 >>['testid', 'go'] >>print tree.xpath('//div[@id="testid"]/attribute::*') #定位当前节点的所有属性 >>['testid', 'first']
- ancestor:父辈元素 / ancestor-or-self:父辈元素及当前元素
>>print tree.xpath('//div[@id="testid"]/ancestor::div/@price') #定位父辈div元素的price属性 >>['99.8'] >>print tree.xpath('//div[@id="testid"]/ancestor::div') #所有父辈div元素 >>print tree.xpath('//div[@id="testid"]/ancestor-or-self::div') #所有父辈及当前节点div元素 >>[<Element div at 0x23fc108>] >>[<Element div at 0x23fc108>, <Element div at 0x23fc0c8>]
- descendant:后代 / descendant-or-self:后代及当前节点本身
使用方法同上
- following :选取文档中当前节点的结束标签之后的所有节点
#定位testid之后不包含id属性的div标签下所有的li中第一个li的text属性 >>print tree.xpath('//div[@id="testid"]/following::div[not(@id)]/.//li[1]/text()') >>['test1']
- namespace:选取当前节点的所有命名空间节点
>>print tree.xpath('//div[@id="testid"]/namespace::*') #选取命名空间节点 >>[('xml', 'http://www.w3.org/XML/1998/namespace')]
- parent:选取当前节点的父节点
>>#选取data值为one的父节点的子节点中最后一个节点的值 >>print tree.xpath('//li[@data="one"]/parent::ol/li[last()]/text()') >>['] >>#注意这里的用法,parent::父节点的名字
- preceding:选取文档中当前节点的开始标签之前的所有节点
>>#记住是标签开始之前,同级前节点及其子节点 >>print tree.xpath('//div[@id="testid"]/preceding::div/ul/li[1]/text()')[0] >>时间 >>#下面这两条可以看到其顺序是靠近testid节点的优先 >>print tree.xpath('//div[@id="testid"]/preceding::li[1]/text()')[0] >>print tree.xpath('//div[@id="testid"]/preceding::li[3]/text()')[0] >>任务 >>时间
- preceding-sibling:选取当前节点之前的所有同级节点
>>#记住只能是同级节点 >>print tree.xpath('//div[@id="testid"]/preceding-sibling::div/ul/li[2]/text()')[0] >>print tree.xpath('//div[@id="testid"]/preceding-sibling::li') #这里返回的就是空的了 >>地点 >>[]
- self:选取当前节点
>>#选取带id属性值的div中包含data-h属性的标签的所有属性值 >>print tree.xpath('//div[@id]/self::div[@data-h]/attribute::*') >>['testid', 'first']
- 组合拳
#定位id值为testid下的ol下的li属性值data为two的父元素ol的兄弟前节点h2的text值 >>print tree.xpath('//*[@id="testid"]/ol/li[@data="two"]/parent::ol/preceding-sibling::h2/text()')[0] >>这里是个小标题
5、position定位
>>print tree.xpath('//*[@id="testid"]/ol/li[position()=2]/text()')[0] >>2
6、条件
>>定位所有h2标签中text值为`这里是个小标题` >>print tree.xpath(u'//h2[text()="这里是个小标题"]/text()')[0] >>这里是个小标题
7、函数
- count:统计
>>print tree.xpath('count(//li[@data])') #节点统计 >>3.0
- concat:字符串连接
>>print tree.xpath('concat(//li[@data="one"]/text(),//li[@data="three"]/text())') >>13
- string:解析当前节点下的字符
>>#string只能解析匹配到的第一个节点下的值,也就是作用于list时只匹配第一个 >>print tree.xpath('string(//li)') >>时间
- local-name:解析节点名称
>>print tree.xpath('local-name(//*[@id="testid"])') #local-name解析节点名称 >>div
- contains(string1,string2):如果 string1 包含 string2,则返回 true,否则返回 false
>>tree.xpath('//h3[contains(text(),"H3")]/a/text()')[0] #使用字符内容来辅助定位 >>百度一下 >>一记组合拳 >>#匹配带有href属性的a标签的先辈节点中的div,其兄弟节点中前一个div节点下ul下li中text属性包含“务”字的节点的值 >>print tree.xpath(u'//a[@href]/ancestor::div/preceding::div/ul/li[contains(text(),"务")]/text()')[0] >>任务
- not:布尔值(否)
>>print tree.xpath('count(//li[not(@data)])') #不包含data属性的li标签统计 >>18.0
- string-length:返回指定字符串的长度
>>#string-length函数+local-name函数定位节点名长度小于2的元素 >>print tree.xpath('//*[string-length(local-name())<2]/text()')[0] >>百度一下
- 组合拳2
>>#contains函数+local-name函数定位节点名包含di的元素 >>print tree.xpath('//div[@id="testid"]/following::div[contains(local-name(),"di")]') >>[<Element div at 0x225e108>, <Element div at 0x225e0c8>]
- or:多条件匹配
>>print tree.xpath('//li[@data="one" or @code="84"]/text()') #or匹配多个条件 >>['] >>#也可使用| >>print tree.xpath('//li[@data="one"]/text() | //li[@code="84"]/text()') #|匹配多个条件 >>[']
- 组合拳3:floor + div除法 + ceiling
>>#position定位+last+div除法,选取中间两个 >>tree.xpath('//div[@id="go"]/ul/li[position()=floor(last() div 2+0.5) or position()=ceiling(last() div 2+0.5)]/text()') >>[']
- 组合拳4隔行定位:position+mod取余
>>#position+取余运算隔行定位 >>tree.xpath('//div[@id="go"]/ul/li[position()=((position() mod 2)=0)]/text()')
- starts-with:以。。开始
>>#starts-with定位属性值以8开头的li元素 >>print tree.xpath('//li[starts-with(@code,"8")]/text()')[0] >>84
- div:对某两个节点的属性值做除法
>>print tree.xpath('//div[@id="testid"]/ul/li[3]/@code div //div[@id="testid"]/ul/li[1]/@code') >>2.65476190476
- 组合拳4:根据节点下的某一节点数量定位
>>#选取所有ul下li节点数大于5的ul节点 >>print tree.xpath('//ul[count(li)>5]/li/text()') >>[']
9、将对象还原为字符串
>>> s = tree.xpath('//*[@id="testid"]')[0] #使用xpath定位一个节点 >>> s <Element div at 0x2b6ffc8> >>> s2 = etree.tostring(s) #还原这个对象为html字符串 >>> s2 '<div id="testid">\n\t\t<h2>ÕâÀïÊǸöС±êÌâ</h2>\n\t\t<ol>\n\t\t\t<li data="one">1</li>\n\t\t\t<li data="two">2</li>\n\t\t\t<li data="three">3</li>\n\t\t</ol>\n\t\t<ul>\n\t\t\t<li code="84">84</li>\n\t\t\t<li code="104">104</li>\n\t\t\t<li code="223">223</li>\n\t\t</ul>\n\t</div>\n\t'
10、选取一个属性中的多个值
举例:<div class="mp-city-list-container mp-privince-city" mp-role="provinceCityList"> 选择这个div的方案网上有说用and的,但是似乎只能针对不同的属性的单个值 本次使用contains >>.xpath('div[contains(@class,"mp-city-list-container mp-privince-city")]') >>当然也可以直接选取其属性的第二个值 >>.xpath('div[contains(@class,"mp-privince-city")]') >>重点是class需要添加一个@符号 本次验证否定了网上的and,使用了contains,验证环境在scrapy的response.xpath下
说明一点,xpath虽快,但是使用时尽量使用简洁高效的方式,本文旨在定位那些较难的地方使用,刻意追求晦涩难懂的技巧会影响其效率,并不可取。
【爬虫】Xpath高级用法的更多相关文章
- Xpath 高级用法
xpath 高级用法 1. 匹配当前节点下的所有: .// . 表示当前 // 表示当前标签下的所有标签 注: 要配合使用 2. 匹配某标签的属性值: /@属性名称 这里以input里的value值为 ...
- 爬虫—Requests高级用法
Requests高级用法 1.文件上传 我们知道requests可以模拟提交一些数据.假如有的网站需要上传文件,我们也可以用requests来实现. import requests files = { ...
- XPath高级用法(冰山一角)
运算符+内置函数 使用XPath选择元素时,使用运算符+内置函数来进行筛选: .//div[contains(@class,"ec_desc") or contains(@clas ...
- Python爬虫入门之Urllib库的高级用法
1.设置Headers 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性. 首先,打开我们的浏览 ...
- Python爬虫Urllib库的高级用法
Python爬虫Urllib库的高级用法 设置Headers 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Head ...
- Python爬虫入门四之Urllib库的高级用法
1.设置Headers 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性. 首先,打开我们的浏览 ...
- 转 Python爬虫入门四之Urllib库的高级用法
静觅 » Python爬虫入门四之Urllib库的高级用法 1.设置Headers 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我 ...
- 爬虫 requests模块高级用法
一 介绍 #介绍:使用requests可以模拟浏览器的请求,比起之前用到的urllib,requests模块的api更加便捷(本质就是封装了urllib3) #注意:requests库发送请求将网页内 ...
- 笔记-爬虫-XPATH
笔记-爬虫-XPATH 1. xpath XPath是W3C的一个标准.它最主要的目的是为了在XML1.0或XML1.1文档节点树中定位节点所设计.目前有XPath1.0和XPath2.0两 ...
随机推荐
- android 自定义Viewpager实现无限循环
; i < imageUrls.length; i ++){ ADInfo info = new ADInfo(); info.setUrl(imageUrls[i]); info.setCon ...
- Hadoop基本知识,(以及MR编程原理)
hadoop核心是:MapReduce和HDFS (对应着job执行(程序)和文件存储系统(数据的输入和输出)) CRC32作数据交验:在文件Block写入的时候除了写入数据还会写入交验信息,在读取 ...
- GEFGWT的HelloWorld
发现一个好玩的东西,gef-gwt,使用它可以轻松的在web上建立gef程序,原文在这里http://gefgwt.org/getting-started/(文章虽然是英文,但是很容易懂,我是按部就班 ...
- Java数据类型之byte、char
Java 有8中基本数据类型,分别是byte.int.long.char.float.double.boolean. 1.byte.char的简单介绍 有时候总是搞不清byte.char,所以就现在好 ...
- python lock, semaphore, event实现线程同步
lock 机制不管你是java, C#, 还是python都是常用的线程同步机制, 相比较C# 的锁机制, python的加锁显得比较简单, 直接调用threading 标准库的lock 就可以了. ...
- iOS使用第三方管理工具
1.安装cocoaPods 移除当前镜像,因为需要FQ跨域访问 001.gem source --remove https://rubygems.org/ 使用淘宝镜像安装 002.https://r ...
- 《深入理解Java虚拟机》读书笔记2--垃圾回收
回收哪些内存/对象 引用计数算法 可达性分析算法 finalize()方法 HotSpot实现分析 转载:http://blog.csdn.net/tjiyu/article/details/5398 ...
- 如何将程序集安装到全局程序集缓存GAC
针对一些类库项目或用户控件项目(一般来说,这类项目最后编译生成的是一个或多个dll文件),在程序开发完成后,有时需要将开发的程序集(dll文件)安装部署到GAC(全局程序集缓存)中,以便其他的程序也可 ...
- jquery.js
/*! jQuery v1.10.2 | (c) 2005, 2013 jQuery Foundation, Inc. | jquery.org/license //@ sourceMappingUR ...
- Nodejs经验谈
前言 这里主要说一下之前使用Nodejs开发踩过的坑,只说坑不填坑,那就是赤裸地耍流氓,文中有大量的说明及填坑方法,了解的看官可以直接跳过. PS:说实话,Nodejs的坑确实蛮多的:但是上手简单,扩 ...