通过ID和Class检索

 

必备知识点

  • 在html中，id是唯一的
  • 在html中，class是可以多处引用的

工具

  • Python3版本
  • lxml库【优点是解析快】
  • HTML代码块【从网络中获取或者自己杜撰一个】
  • requests【推荐安装，从网页上获取网页代码练手，再好不过了】

Xpath学习

先定义html代码块【这次只从body开始】

  1. <body>
  2. <div class="container">
  3.     <div id="first">
  4.         <div class="one">都市</div>
  5.         <div class="two">德玛西亚</div>
  6.         <div class="two">王牌对王牌</div>
  7.         <a>
  8.             <div class="spe">特殊位置</div>
  9.         </a>
  10.     </div>
  11.     <div id="second">
  12.         <div class="three">水电费</div>
  13.         <div class="three">说的话房间不开封</div>
  14.         <div class="four">三顿饭黑客技术</div>
  15.     </div>
  16.     <div id="third">
  17.         <div class="three">水电费</div>
  18.         <div class="three">说的话房间开封</div>
  19.     </div>
  20. </div>
  21. </body>
  22. """

再准备python代码块

  1. from lxml import etree
  3. html = etree.HTML(html_str)

任务一：获取类名为one的文本值

解决这个问题，有非常简单的xpath路径，直接匹配html代码中的class，然后获取文本值就行

代码如下：

  1. print(html.xpath('.//div[@class="one"]/text()'))

结果：['都市']

这里需要解释多个地方： - @的作用：表示属性，div属于标签，它有自己的属性，例如class、id等等。 - 点 . 的作用：表示当前位置；与其对应的是双点 .. ：表示上一层级的位置 - 双斜杠 // 的作用：查找当前标签下所有子级中搜索；与其对应的是单斜杆 / ，这个标签标签下一层所有中搜索。【后面两个任务是这点的练习】

任务二：获取id为first下，第一层子级div标签的文本值

只需要获取第一层，使用单斜杆就足够了，xpath路径如下：

  1. print(html.xpath('.//div[@id="first"]/div/text()'))

结果：['都市', '德玛西亚', '王牌对王牌']

任务三：获取id为first下，所有层级div标签的文本值

这个任务和上一个任务形成对比，一个是单斜杆一个是双斜杠，则xpath的代码如下：

  1. print(html.xpath('.//div[@id="first"]//div/text()'))

结果：['都市', '德玛西亚', '王牌对王牌', '特殊位置']

任务四：获取id为second下，所有类为three的div标签的文本值

指定id为second，并且子级div的类名是three，然后是获取文本，则xpath如下

  1. print(html.xpath('.//div[@id="second"]/div[@class="three"]/text()'))

结果：['水电费', '说的话房间不开封']

任务五：获取所有类为three的div标签的文本值

观察html代码块，会发现类为three的div标签在几个地方，所以这里最好的方法就是全局范围内的直接搜索，简单粗暴的xpath如下：

  1. print(html.xpath('.//div[@class="three"]/text()'))

结果：['水电费', '说的话房间不开封', '水电费', '说的话房间开封']

任务六：获取文本等于水电费的标签，取出他们的class

通过文本值，获取他们的类名信息，就是把上一个任务反过来做就行，xpath如下：

  1. print(html.xpath('.//div[text()="水电费"]/@class'))

结果：['three', 'three']

最终的代码和运行截图

  1. html_str = """
  2. <body>
  3. <div class="container">
  4.     <div id="first">
  5.         <div class="one">都市</div>
  6.         <div class="two">德玛西亚</div>
  7.         <div class="two">王牌对王牌</div>
  8.         <a>
  9.             <div class="spe">特殊位置</div>
  10.         </a>
  11.     </div>
  12.     <div id="second">
  13.         <div class="three">水电费</div>
  14.         <div class="three">说的话房间不开封</div>
  15.         <div class="four">三顿饭黑客技术</div>
  16.     </div>
  17.     <div id="third">
  18.         <div class="three">水电费</div>
  19.         <div class="three">说的话房间开封</div>
  20.     </div>
  21. </div>
  22. </body>
  23. """
  25. from lxml import etree
  27. html = etree.HTML(html_str)
  28. print(html.xpath('.//div[@class="one"]/text()'))
  29. print(html.xpath('.//div[@id="first"]/div/text()'))
  30. print(html.xpath('.//div[@id="first"]//div/text()'))
  31. print(html.xpath('.//div[@id="second"]/div[@class="three"]/text()'))
  32. print(html.xpath('.//div[@class="three"]/text()'))
  33. print(html.xpath('.//div[text()="水电费"]/@class'))

xpath教程-通过ID和Class检索 转的更多相关文章

  1. xpath教程二 ---- 通过ID和Class检索

    必备知识点 在html中,id是唯一的 在html中,class是可以多处引用的 工具 Python3版本 lxml库[优点是解析快] HTML代码块[从网络中获取或者自己杜撰一个] requests ...

  2. xpath教程三---逐层检索和全局检索

    本节主要介绍用xpath来描述html的层级关系 主要使用到的知识点如下: 单独的一个点 .,表示当前位置 两个点 ..,表示上一级父标签的位置 单独的一个斜杠 /,表示只检索下面一级 单独的两个斜杠 ...

  3. 21.xpath定位中id 、starts-with、contains、text()和last() 的用法

    xpath语法:id .starts-with.contains.text()和last() 的用法 <input id="su" class="bg s_btn ...

  4. xpath教程 2 - lxml库

    xpath教程 2 - lxml库 这些就是XPath的语法内容,在运用到Python抓取时要先转换为xml. lxml库 lxml 是 一个HTML/XML的解析器,主要的功能是如何解析和提取 HT ...

  5. xpath教程 1 - 什么是XPath

    xpath教程 1 什么是XPath? XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言,可用来在 XML 文档中对元素和属性进行遍历. W3School官方 ...

  6. 雷林鹏分享：Ruby XML, XSLT 和 XPath 教程

    Ruby XML, XSLT 和 XPath 教程 什么是 XML ? XML 指可扩展标记语言(eXtensible Markup Language). 可扩展标记语言,标准通用标记语言的子集,一种 ...

  7. xpath教程一---简单的标签搜索

    工具 Python3版本 lxml库[优点是解析快] HTML代码块[从网络中获取或者自己杜撰一个] requests[推荐安装,从网页上获取网页代码练手,再好不过了] 讲解 网页代码都是成对的标签, ...

  8. xpath教程-逐层检索和全局检索 转

    逐层检索和全局检索 布啦豆 11203   本节主要介绍用xpath来描述html的层级关系 主要使用到的知识点如下: 单独的一个点 .,表示当前位置 两个点 ..,表示上一级父标签的位置 单独的一个 ...

  9. XPath教程

    XPath 简介 XPath 是一门在 XML 文档中查找信息的语言.XPath 可用来在 XML 文档中对元素和属性进行遍历. XPath 是 W3C XSLT 标准的主要元素,并且 XQuery ...

随机推荐

  1. 【python练习册】1.3 将1.2题生成的n个激活码保存到mysql关系型数据库中

    该题涉及到mysql中一些指令,先熟悉一下 MySQL指令 参考:https://www.cnblogs.com/zhuyongzhe/p/7686105.html mysql -u root -p ...

  2. [程序员代码面试指南]递归和动态规划-换钱的最少货币数（DP，完全背包）

    题目描述 给定arr,arr中所有的值都为正数且不重复.每个值代表一种面值的货币,每种面值的货币可以使用任意张,再给定一个整数aim,求组成aim的最少货币数. 解题思路 dp[i][j]表示只用第0 ...

  3. JVM--先说本地方法接口

    本地方法接口 在讲Java虚拟机运行时数据区中本地方法栈之前,我们先来说说运行时数据区之外的一个叫本地方法接口的东西简称JNI(Java Native Interface) 简单来讲,一个Native ...

  4. Spark Pipeline官方文档

    ML Pipelines(译文) 官方文档链接:https://spark.apache.org/docs/latest/ml-pipeline.html 概述 在这一部分,我们将要介绍ML Pipe ...

  5. php处理的图片无法进CDN缓存

    今天发现线上有个问题,线上一个图片域名,在前端已经加了CDN缓存,不落缓存,则用PHP动态实现图片缩放,但经PHP处理过的图片输出后,每次都要从后端读取,后端服务器压力瞬间增加,经分析,PHP中没有作 ...

  6. 几个概念讲解Xaas

    saas:software as a service  SaaS平台是运营saas软件的平台.SaaS提供商为企业搭建信息化所需要的所有网络基础设施及软件.硬件运作平台,并负责所有前期的实施.后期的维 ...

  7. hystrix(2) metrics

    上一节讲到了hystrix提供的五个功能,这一节我们首先来讲hystrix中提供实时执行metrics信息的实现.为什么先讲metrics,因为很多功能都是基于metrics的数据来实现的,它是很多功 ...

  8. 【漏洞复现篇】CVE-2020-1472-微软NetLogon权限提升-手把手教学-简单域环境搭建与Exp执行

    一.漏洞简介 NetLogon 远程协议是一种在 Windows 域控上使用的 RPC 接口,被用于各种与用户和机器认证相关的任务.最常用于让用户使用 NTLM 协议登录服务器,也用于 NTP 响应认

  9. 基础Web漏洞-SQL注入入门(手工注入篇)

    一.什么是SQL注入  SQL是操作数据库数据的结构化查询语言,网页的应用数据和后台数据库中的数据进行交互时会采用SQL.而SQL注入是将Web页面的原URL.表单域或数据包输入的参数,修改拼接成SQ ...

  10. Java基础——缓存

    1.缓存 将程序或系统中常用的数据对象存储在像内存这样特定的介质中,以避免在每次程序调用时,重新创建或组织数据所带来的性能损耗,从而提高了系统的整体运行速度 以目前的系统架构来说,用户的请求一般会先经 ...