XPath库详解

xpath入门
获取节点
属性匹配
文本获取
按序选择
节点轴选择
补充
- xpath的运算符介绍
- xpath轴

xpath入门

在上次我详细的讲了一下什么是xpath，具体了解可以先看下面这篇博客：https://www.cnblogs.com/yanjiayi098-001/p/12009963.html

使用xpath之前先安装lxml库

pip install lxml

先看一段简单的示例：

from lxml import etree

text = '''

<div>

    <ul>

        <li class="item-0"><a href="link1.html">first</a></li>

        <li class="item-1"><a href="link2.html">second</a>

        <li class="item-2"><a href="link3.html">third</li>

        <li class="item-3"><a href="link4.html">fourth</a></li>

    </ul>

</div>

'''

html = etree.HTML(text)

result = etree.tostring(html)

print(result.decode('utf-8'))

注意查看代码中的html片段，第二个li没有闭合，第三个li的a标签没有闭合

查看结果：

新建 hello.html

<div>

    <ul>

        <li class="item-0"><a href="link1.html">first</a></li>

        <li class="item-1"><a href="link2.html">second</a></li>

        <li class="item-2"><a href="link3.html">third</a></li>

        <li class="item-3"><a href="link4.html">fourth</a></li>

    </ul>

</div>

.py文件

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())

result = etree.tostring(html)

print(result.decode('utf-8'))

结果：

<html><body>

<div>

    <ul>

        <li class="item-0"><a href="link1.html">first</a></li>

        <li class="item-1"><a href="link2.html">second</a></li>

        <li class="item-2"><a href="link3.html">third</a></li>

        <li class="item-3"><a href="link4.html">fourth</a></li>

    </ul>

</div>

</body></html>

获取节点

获取所有节点

//*表示匹配所有节点

html = etree.parse('./hello.html', etree.HTMLParser())

result = html.xpath('//*')

print(result)

结果：

[<Element html at 0x252593df0c8>, <Element head at 0x252596a7c88>, <Element meta at 0x252596a7cc8>, <Element title at 0x252596a7d48>, <Element body at 0x252596a7f48>, <Element div at 0x252596b40c8>, <Element ul at 0x252596b4148>, <Element li at 0x252596b4188>, <Element a at 0x252596b41c8>, <Element li at 0x252596b4088>, <Element a at 0x252596b4208>, <Element li at 0x252596b4248>, <Element a at 0x252596b4288>, <Element li at 0x252596b42c8>, <Element a at 0x252596b4308>]

匹配指定节点，如获取所有li节点

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())

result = html.xpath('//li')

print(result)  # 所有li节点

print(result[0])  # 第一个li节点

结果：

[<Element li at 0x29d8c7f7bc8>, <Element li at 0x29d8c7f7c08>, <Element li at 0x29d8c7f7c88>, <Element li at 0x29d8c7f7f88>]

<Element li at 0x29d8c7f7bc8>

获取子节点

/表示匹配子节点

获取li节点的直接子节点

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())

result = html.xpath('//li/a') # 获取所有li节点的直接子节点a

print(result)

结果：

[<Element a at 0x2305cda7c88>, <Element a at 0x2305cda7cc8>, <Element a at 0x2305cda7d48>, <Element a at 0x2305cda7f48>]

改成 // 可以这么写：

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())

result = html.xpath('//div//a')  # 获取div的所有后代a节点

print(result)

获取父节点

..表示匹配父节点

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())

# 获取href属性为link2.html的a标签的父节点的class名

result = html.xpath('//a[@href="link2.html"]/../@class')

print(result)

# ['item-1']  #结果

属性匹配

@表示匹配属性

根据属性值匹配节点

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())

# 获取属性class值为item-0的li

result = html.xpath('//li[@class="item-0"]')

print(result)

# [<Element li at 0x2aa50947cc8>]

属性多值匹配

使用contains函数匹配

可以看出 contains函数表示意思是，第一个参数字符串包含第二个参数时，返回true

实际用起来可能会有点差异（由于结合了路径表达式和属性）

from lxml import etree

text = '''

<li class="li li-first"><a href="link.html">first item</a></li>

'''

html = etree.HTML(text)

result = html.xpath('//li[@class="li"]/a/text()')

print(result)

# []

result = html.xpath('//li[contains(@class, "li")]/a/text()')

##选取class属性包含字符串"li"的节点

print(result)

# ['first item']

多属性匹配

需要匹配满足多个属性的节点，使用 and 运算符

from lxml import etree

text = '''

<li class="li li-first" name="item"><a href="link.html">first item</a></li>

'''

html = etree.HTML(text)

# 通过class和name两个属性进行匹配

result = html.xpath('//li[contains(@class, "li") and @name="item"]/a/text()')

print(result)

# ['first item']

文本获取

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())

# 获取属性class值为item-0的li的子节点a的文本内容

result = html.xpath('//li[@class="item-0"]/a/text()')

print(result)

# ['first']

如果想要获取后代节点内部的所有文本，使用 //text()

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())

# 获取所有li的后代节点中的文本

result = html.xpath('//li//text()')

print(result)

# ['first', 'second', 'third', 'fourth']

按序选择

根据节点所在的顺序进行提取

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())

# 按索引排序

result = html.xpath('//li[1]/a/text()')

print(result)

# ['first']

# last 最后一个

result = html.xpath('//li[last()]/a/text()')

print(result)

# ['fourth']

# position 位置查找

result = html.xpath('//li[position()<3]/a/text()')

print(result)

# ['first', 'second']

# - 运算符

result = html.xpath('//li[last()-2]/a/text()')

print(result)

# ['second']

节点轴选择

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())

# 所有祖先节点

result = html.xpath('//li[1]/ancestor::*')

print(result)

# [<Element html at 0x106e4be88>, <Element body at 0x106e4bf88>, <Element div at 0x106e4bfc8>, <Element ul at 0x106e6f048>]

# 祖先节点中的div

result = html.xpath('//li[1]/ancestor::div')

print(result)

# [<Element div at 0x106ce4fc8>]

# 第一个节点的所有属性

result = html.xpath('//li[1]/attribute::*')

print(result)

# ['item-0']

# 子节点

result = html.xpath('//li[1]/child::a[@href="link1.html"]')

print(result)

# [<Element a at 0x107941fc8>]

# 后代节点中的a

result = html.xpath('//li[1]/descendant::a')

print(result)

# [<Element a at 0x10eeb7fc8>]

# 该节点后面所有节点中的第2个 从1开始计数

result = html.xpath('//li[1]/following::*[2]')

print(result)

# [<Element a at 0x10f188f88>]

# 该节点后面的所有兄弟节点

result = html.xpath('//li[1]/following-sibling::*')

print(result)

# [<Element li at 0x104b7f048>, <Element li at 0x104b7f088>, <Element li at 0x104b7f0c8>]

补充

xpath的运算符介绍

xpath轴

XPath库详解的更多相关文章

Lua的协程和协程库详解
我们首先介绍一下什么是协程.然后详细介绍一下coroutine库,然后介绍一下协程的简单用法,最后介绍一下协程的复杂用法. 一.协程是什么? (1)线程首先复习一下多线程.我们都知道线程——Thre ...
Python--urllib3库详解1
Python--urllib3库详解1 Urllib3是一个功能强大,条理清晰,用于HTTP客户端的Python库,许多Python的原生系统已经开始使用urllib3.Urllib3提供了很多pyt ...
Struts标签库详解【3】
struts2标签库详解要在jsp中使用Struts2的标志,先要指明标志的引入.通过jsp的代码的顶部加入以下的代码: <%@taglib prefix="s" uri= ...
STM32固件库详解
STM32固件库详解 emouse原创文章,转载请注明出处http://www.cnblogs.com/emouse/ 应部分网友要求,最新加入固件库以及开发环境使用入门视频教程,同时提供例程模板 ...
MySQL5.6的4个自带库详解
MySQL5.6的4个自带库详解 1.information_schema详细介绍: information_schema数据库是MySQL自带的,它提供了访问数据库元数据的方式.什么是元数据呢?元数 ...
php中的PDO函数库详解
PHP中的PDO函数库详解 PDO是一个“数据库访问抽象层”,作用是统一各种数据库的访问接口,与mysql和mysqli的函数库相比,PDO让跨数据库的使用更具有亲和力:与ADODB和MDB2相比,P ...
STM32 HAL库详解及手动移植
源: STM32 HAL库详解及手动移植
爬虫入门之urllib库详解(二)
爬虫入门之urllib库详解(二) 1 urllib模块 urllib模块是一个运用于URL的包 urllib.request用于访问和读取URLS urllib.error包括了所有urllib.r ...
Python爬虫系列-Urllib库详解
Urllib库详解 Python内置的Http请求库: * urllib.request 请求模块 * urllib.error 异常处理模块 * urllib.parse url解析模块 * url ...

随机推荐

c++ demo code
/* //多继承 #include <iostream> using namespace std; class Sofa { public: Sofa(); ~Sofa(); void s ...
初次接触webpack
1.学习地址中文文档 https://www.webpackjs.com/concepts/ webpack-dev-server配置说明 https://www.webpackjs.com/con ...
Wondershare Video Converter Ultimate 注册码 License
这个软件可以直接将DVD iso转换成mp4播放,可以破解,还不错,特地记录官网下载最新版: https://videoconverter.wondershare.com/gl/video-conv ...
elasticsearch _all
在轻量搜索中,我们介绍了 _all 字段:一个把其它字段值当作一个大字符串来索引的特殊字段. query_string 查询子句(搜索 ?q=john )在没有指定字段时默认使用 _all 字段._ ...
缓存-redis+memCache
缓存-redis+memCache:为方便预览,将思维导图上传至印象笔记,博客园直接上传图片受限于图片大小. https://app.yinxiang.com/shard/s24/nl/2726253 ...
pwn学习日记Day11 《程序员的自我修养》读书笔记
阅读基础计算机系统软件体系结构采用一种层的结构--计算机科学领域的任何问题都可以通过增加一个间接的中间层来解决. 多线程的优势: 1.某个操作可能会陷入长时间等待,等待的线程会进入睡眠状态,无法继续 ...
pwn学习日记Day8 基础知识积累
知识杂项 aslr:是一种针对缓冲区溢出的安全保护技术,通过对堆.栈.共享库映射等线性区布局的随机化,通过增加攻击者预测目的地址的难度,防止攻击者直接定位攻击代码位置,达到阻止溢出攻击的目的的一种技术 ...
apt如何列出所有已经安装的软件包
apt如何列出所有已经安装的软件包转 https://www.helplib.com/ubuntu/article_155294 问题: 我想将所有已安装软件包的列表输出到文本文件中,以便我可以查看 ...
linux服务端导入oracle数据库.sql脚本
一般情况下,后缀名为.sql或者为记事本类型的文本脚本可以通过打开后复制或者直接在客户端打开执行,但如果脚本比较大时(比如文件达到几百M以上), 普通文本工具和数据库客户端都无法打开,哪怕可以打开,也 ...
分布式消息通信之RabbitMQ Tutorials
目录官网 1 Hello World! 1.1 生产者demo producer 1.2 消费者demo consumer 1.3 查看queue队列中的信息页面查看,可看到有4条消息命令查看 ...