简介

在一些项目中可能会使用到解析html文件，尤其是爬虫相关的，需要解析获取到的html内容，通常我们会使用lxml模块去进行html文件的解析。

html文件

当前存在一个简单的html

<!DOCTYPE html>

<html lang="en">

<head>

    <meta charset="UTF-8">

    <meta http-equiv="X-UA-Compatible" content="IE=edge">

    <meta name="viewport" content="width=device-width, initial-scale=1.0">

    <title>Document</title>

</head>

<body>

    <div class="test">

        <ul class="ul-list">

            <li class="li-test">li-text</li>

            <li class="li-test">li-text2</li>

            <li class="li-test">li-text3</li>

            <li class="li-test">li-text4</li>

        </ul>

        <ul class="ul-list2">

            <li class="li-test">li-text</li>

            <li class="li-test">li-text2</li>

            <li class="li-test">li-text3</li>

            <li class="li-test">li-text4</li>

        </ul>

    </div>

</body>

</html>

获取html中的部分标签的属性及内容

from lxml import etree

import pathlib

html_path = pathlib.Path(__file__).parent.joinpath("test.html")

html = etree.parse(html_path, parser=etree.HTMLParser())

# xpath定位元素，此处为获取div class属性为test下面的所有class属性为ul-list的ul下面的class属性为li-test的所有li元素

content = html.xpath("//div[@class='test']/ul[@class='ul-list']/li[@class='li-test']")

for item in content:

    # 获取标签的名称

    print(item.tag)

    # 获取标签中间的文本内容

    print(item.text)

    # 获取标签的所有属性，以字典形式返回

    print(item.attrib)


li

li-text

{'class': 'li-test'}

li

li-text2

{'class': 'li-test'}

li

li-text3

{'class': 'li-test'}

li

li-text4

{'class': 'li-test'}

xml文件

存在如下xml文件

<component name="ProjectCodeStyleConfiguration">

  <code_scheme name="Project" version="173">

    <HTMLCodeStyleSettings>

      <option name="HTML_SPACE_INSIDE_EMPTY_TAG" value="true" />

      <option name="HTML_ENFORCE_QUOTES" value="true" />

    </HTMLCodeStyleSettings>

    <JSCodeStyleSettings version="0">

      <option name="FORCE_SEMICOLON_STYLE" value="true" />

      <option name="SPACE_BEFORE_FUNCTION_LEFT_PARENTH" value="false" />

      <option name="FORCE_QUOTE_STYlE" value="true" />

      <option name="ENFORCE_TRAILING_COMMA" value="Remove" />

      <option name="SPACES_WITHIN_OBJECT_LITERAL_BRACES" value="true" />

      <option name="SPACES_WITHIN_IMPORTS" value="true" />

    </JSCodeStyleSettings>

    <TypeScriptCodeStyleSettings version="0">

      <option name="FORCE_SEMICOLON_STYLE" value="true" />

      <option name="SPACE_BEFORE_FUNCTION_LEFT_PARENTH" value="false" />

      <option name="FORCE_QUOTE_STYlE" value="true" />

      <option name="ENFORCE_TRAILING_COMMA" value="Remove" />

      <option name="SPACES_WITHIN_OBJECT_LITERAL_BRACES" value="true" />

      <option name="SPACES_WITHIN_IMPORTS" value="true" />

    </TypeScriptCodeStyleSettings>

    <VueCodeStyleSettings>

      <option name="INTERPOLATION_NEW_LINE_AFTER_START_DELIMITER" value="false" />

      <option name="INTERPOLATION_NEW_LINE_BEFORE_END_DELIMITER" value="false" />

    </VueCodeStyleSettings>

    <codeStyleSettings language="HTML">

      <option name="SOFT_MARGINS" value="100" />

      <indentOptions>

        <option name="CONTINUATION_INDENT_SIZE" value="4" />

      </indentOptions>

    </codeStyleSettings>

    <codeStyleSettings language="JavaScript">

      <option name="SOFT_MARGINS" value="100" />

    </codeStyleSettings>

    <codeStyleSettings language="TypeScript">

      <option name="SOFT_MARGINS" value="100" />

    </codeStyleSettings>

    <codeStyleSettings language="Vue">

      <option name="SOFT_MARGINS" value="100" />

      <indentOptions>

        <option name="INDENT_SIZE" value="4" />

        <option name="TAB_SIZE" value="4" />

      </indentOptions>

    </codeStyleSettings>

  </code_scheme>

</component>

获取xml中的部分标签的属性及内容

from lxml import etree

import pathlib

xml_path = pathlib.Path(__file__).parent.joinpath("test.xml")

html = etree.parse(xml_path, parser=etree.XMLParser())

content = html.xpath(

    "/component[@name='ProjectCodeStyleConfiguration']/ \

    code_scheme[@name]/HTMLCodeStyleSettings//option"

)

for item in content:

    # 获取标签的名称

    print(item.tag)

    # 获取标签中间的文本内容

    print(item.text)

    # 获取标签的所有属性，以字典形式返回

    print(item.attrib)


option

None

{'name': 'HTML_SPACE_INSIDE_EMPTY_TAG', 'value': 'true'}

option

None

{'name': 'HTML_ENFORCE_QUOTES', 'value': 'true'}

与html解析类似，主要是对于xpath语法的熟悉

补充

以上均需要xpath语法支撑，详细可见:xpath语法

python 操作xml、html文件的更多相关文章

  1. 使用python操作XML增删改查

    使用python操作XML增删改查 什么是XML? XML 指可扩展标记语言(EXtensible Markup Language) XML 是一种标记语言,很类似 HTML XML 的设计宗旨是传输 ...

  2. python操作xml文件

    一.什么是xml? xml即可扩展标记语言,它可以用来标记数据.定义数据类型,是一种允许用户对自己的标记语言进行定义的源语言. abc.xml <?xml version="1.0&q ...

  3. 三十二、python操作XML文件

    '''XML:模块 xml总结 1.解析 str 文件 tree,ElementTree,type root,Element,type2.操作 Element: tag,text,find,iter, ...

  4. 如何用python操作XML文件

    备注: 基于python3 背景:在统计覆盖率的时候希望绕属性name为test的节点 具体实现源码如下所示,基本都是基于节点属性操作的,当然也就可以基于tag等其他标签去做,可根据需要调整 from ...

  5. Python 操作 MS Excel 文件

    利用 Python 对 Excel 文件进行操作需要使用第三方库: openpyxl,可执行 pip install openpyxl 进行安装 1. 导入 openpyxl 模块 导入 openpy ...

  6. python操作haproxy.cfg文件

    需求 1.查 输入:www.oldboy.org 获取当前backend下的所有记录 2.新建 输入: arg = { 'bakend': 'www.oldboy.org', 'record':{ ' ...

  7. python操作excel表格文件--使用xlrd模块

    原文: http://www.cnblogs.com/lhj588/archive/2012/01/06/2314181.html 引言: 实际工作中,可能很多情况下都会用到excel表格,像如果不需 ...

  8. python操作上级子文件

    . └── folder ├── data │ └── data.txt └── test1 └── test2 └── test.py import os '***获取当前目录***'print o ...

  9. Python实现XML的操作

    本文从以下两个方面, 用Python实现XML的操作: 一. minidom写入XML示例1 二. minidom写入XML示例2 三. ElementTree写入/修改示例 四. ElementTr ...

随机推荐

  1. 『现学现忘』Git基础 — 25、git log命令参数详解

    目录 1.git log命令说明 2.git log命令参数 (1)不带参数 (2)常用显示参数 (3)--pretty参数 (4)--date=参数 (5)筛选参数 git log命令主要用于查看G ...

  2. 力扣算法：125-验证回文串，131-分割回文串---js

    LC 125-验证回文串 给定一个字符串,验证它是否是回文串,只考虑字母和数字字符,可以忽略字母的大小写. 说明:本题中,我们将空字符串定义为有效的回文串. 注:回文串是正着读和反着读都一样的字符串. ...

  3. OAuth2密码模式已死，最先进的Spring Cloud认证授权方案在这里

    旧的Spring Security OAuth2停止维护已经有一段时间了,99%的Spring Cloud微服务项目还在使用这些旧的体系,严重青黄不接.很多同学都在寻找新的解决方案,甚至还有念念不忘密 ...

  4. mysql Bad handshake

    由于 Java 程序访问 MySQL 时,MySQL 抛出 Bad handshake 错误,导致接口抛错,然后在 MySQL 配置文件新增 skip_ssl 配置(忽略 SSL 密钥和证书文件),重 ...

  5. ArrayList常用Api分析及注意事项

    数组(定长,有序的,随机访问).ArrayList是Java在数组的基础上进行衍生出来的Java里的一种数据结构,它在拥有数据的特性之外,增加了可变性 (动态数组). 属性 属性 备注 DEFAULT ...

  6. MongoDB 常用启动参数

    每日一句 Once you choose your way of life, be brave to stick it out and never return. 生活的道路一旦选定,就要勇敢地走到底 ...

  7. MTK 平台sensor arch 介绍-scp

    架构介绍 路径:vendor/mediatek/proprietary/tinysys/scp 1.[build]编译相关 2.[driver]scp 的driver,I2C,power,eint 3 ...

  8. python：selenium测试登录在chrome中闪退

    问题描述:使用selenium.webdriver时测试网页,进行自动登录测试总是在登录成功时闪退.使用指定驱动器位置的方式chrome也会闪退 1.正常使用chrome驱动打开一个网页,正常访问 f ...

  9. .NET Core 企业微信回调配置

    1.配置API接收 2.下载加密解密库 地址:https://developer.work.weixin.qq.com/devtool/introduce?id=36388,也可以复制下面的代码 2. ...

  10. JS：函数

    Function:函数 1. 定义一个函数:function functionname(argument) { 代码块 return }: 调用此函数:fn() 2.函数是定义了一种方法,只有被调用才 ...