Jsoup 学习笔记

Jsoup 是一个用于处理真实 HTML 的 Java 库。它提供了一个非常方便的 API,用于提取和操作数据。

GitHub 地址:https://github.com/jhy/jsoup/

jar 包下载地址:https://jsoup.org/download

解析

Jsoup 可以有多种方式来解析 HTML。

  1. HTML 的字符串;
  2. URL;
  3. 本地文件;

HTML 的字符串解析

如果有一段 html 格式的字符串并且想解析里面的内容那么就可以使用 Jsoup.parse(String html); 静态方法,返回的是 Document 对象。使用该对象就可解析了。

String html = "<html><head><title>First parse</title></head>"
+ "<body><p>Parsed HTML into a doc.</p></body></html>";
Document doc = Jsoup.parse(html);

URL 解析

如果需要从 web 端网络获取解析的话,可以使用 Jsoup.connect(String url); 静态方法,返回的是一个 Connection 对象并使用 get() 或 post() 方法提取和解析HTML文件。使用该对象就可解析了。(此方法仅支持Web URL http 和 https 协议 )

Document doc = Jsoup.connect("http://example.com")
.data("query", "Java") // 请求参数
.userAgent("Mozilla") // 设置 User-Agent
.cookie("auth", "token") // 设置 cookie
.timeout(3000) // 设置连接超时时间
.post(); // 使用 POST 方法访问 URL

本地文件解析

本地有一个 HTML 的文件使用静态 Jsoup.parse(File in, String charsetName, String baseUri) 方法。有一个重载方法 parse(File in, String charsetName) 使用文件的位置作为 baseUri。

File input = new File("/tmp/input.html");
// baseUri 解析器使用该参数在 <base href> 找到元素之前解析文档中的相对 URL 。如果您不关心这一点,则可以传递空字符串。
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");

解析数据

DOM 解析

File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8"); // 获得 id 为 content 的元素
Element content = doc.getElementById("content");
// 获得标签为 a 的所有元素
Elements links = content.getElementsByTag("a");
for (Element link : links) {
// 获得 href 属性的值
String linkHref = link.attr("href");
// 返回文本
String linkText = link.text();
}

以下是一些常用的 api 方法:

方法名 描述
getElementById(String id) 按 ID 查找元素
getElementsByTag(String tag) 使用指定的标签名称查找元素
getElementsByClass(String className) 查找具有此 Class 的元素
getElementsByAttribute(String key) 查找具有此属性集的元素

使用选择器解析

如果希望使用 CSS 或类似 jquery 的选择器语法来查找或操作元素。使用 Element.select(String selector) 和 Elements.select(String selector) 方法。

File input = new File("D:\test.html");
Document doc = Jsoup.parse(input,"UTF-8");
// 具有 href 属性的链接
Elements links = doc.select("a[href]");
// 所有 src 包含.png 的图片
Elements pngs = doc.select("img[src$=.png]");
// 找出所有 class=masthead 的元素
Element masthead = doc.select("div.masthead").first();
// 所有符合 <h3 class=r><a href="">...</a></h3> 的元素
Elements resultLinks = doc.select("h3.r > a");

选择器概述

参数 描述
ns|ng 使用命名空间的标签定位,例如 fb:name 来查找 fb:name 元素
#id 使用元素 id 定位,例如 #logo
.class 使用元素的 class 属性定位,例如 .head
tagName 使用标签名来定位,例如div
[attribute] 使用元素的属性进行定位,例如 [href] 表示检索具有 href 属性的所有元素
[^attr] 使用元素的属性名前缀进行定位,例如 [^data-] 用来查找 HTML5 的 dataset 属性
[attr=value] 使用属性值进行定位,例如 [width=500] 定位所有 width 属性值为 500 的元素
[attr^=value] 属性以 value 开头
[attr$=value] 属性以 value 结尾
[attr*=value] 属性包含value
[attr~=regex] 使用正则表达式进行属性值的过滤,例如 img[src~=(?i).(png|jpe?g)]
* 定位所有元素

选择器组合用法

参数 描述
el#id 定位 id 值某个元素,例如 a#logo 相当于
el.class 定位 class 为指定值的元素,例如 div.head相当于
xxxx
el[attr] 定位所有定义了某属性的元素,例如 a[href]
以上三个任意组合 例如 a[href]#logo 、a[name].outerlink
以下五种是元素之间组合关系的选择器语法,其中包括父子关系、合并关系和层次关系。
ancestor child 祖先 孩子,例如:div#page_wrapper div[class~=mainContent*]
parent > child 例如:div.infoSet > span
siblingA + siblingB 查找在A元素之前第一个同级元素B
siblingA ~ siblingX 查找A元素之前的同级X元素
el, el, el 多个选择器组合,查找匹配任一选择器的唯一元素

过滤用法

参数 描述
:lt(n) 例如 td:lt(3) 表示 小于三列
:gt(n) div p:gt(2) 表示 div 中包含 2 个以上的 p
:eq(n) form input:eq(1) 表示只包含一个 input 的表单
:has(seletor) div:has§ 表示包含了 p 元素的 div
:not(selector) div:not(.logo) 表示不包含 class=logo 元素的所有 div 列表
:contains(text) 包含某文本的元素,不区分大小写,例如 p:contains(oschina)
:containsOwn(text) 文本信息完全等于指定条件的过滤
:matches(regex) 使用正则表达式进行文本过滤:div:matches((?i)login)
:matchesOwn(regex) 使用正则表达式找到自身的文本

修改数据

jsoup 可以对页面中的元素进行修改,例如:增加/删除元素属性等。只需要利用 jsoup 的选择器找出元素,然后就可以通过以上的方法来进行修改,除了无法修改标签名外(可以删除后再插入新的元素),包括元素的属性和文本都可以修改。

修改完直接调用 Element(s) 的 html() 方法就可以获取修改完的 HTML 文档。

// 为所有链接增加 rel=nofollow 属性
doc.select("div.comments a").attr("rel", "nofollow");
// 为所有链接增加 class=mylinkclass 属性
doc.select("div.comments a").addClass("mylinkclass");
// 删除所有图片的 onclick 属性
doc.select("img").removeAttr("onclick");
// 清空所有文本输入框中的文本
doc.select("input[type=text]").val("");

HTML 文档清理

jsoup 使用 Whitelist 类进行文本过滤(只允许部分允许的标签、属性通过),防止用户在页面中恶意插入脚本。

String unsafe = "<p><a href='http://www.oschina.net/' onclick='stealCookies()'>
开源中国社区 </a></p>";
String safe = Jsoup.clean(unsafe, Whitelist.basic());
// 输出 :
// <p><a href="http://www.oschina.net/" rel="nofollow"> 开源中国社区 </a></p>

Whitelist 方法

方法名 简介
none() 只允许包含文本信息
basic() 允许的标签包括:a, b, blockquote, br, cite, code, dd, dl, dt, em, i, li, ol, p, pre, q, small, strike, strong, sub, sup, u, ul, 以及合适的属性
simpleText() 只允许 b, em, i, strong, u 这些标签
basicWithImages() 在 basic() 的基础上增加了图片
relaxed() 这个过滤器允许的标签最多,包括:a, b, blockquote, br, caption, cite, code, col, colgroup, dd, dl, dt, em, h1, h2, h3, h4, h5, h6, i, img, li, ol, p, pre, q, small, strike, strong, sub, sup, table, tbody, td, tfoot, th, thead, tr, u, ul
whitelist.addTags(String… tags) 非静态方法:添加允许的标签。可以使用removeTags删除
whitelist.addAttributes(String tag, String… attributes) 非静态方法:添加允许的属性,可以用removeAttributes删除

Jsoup 学习笔记的更多相关文章

  1. Jsoup学习笔记

    时间:2016-7-7 00:05 jsoup 是一款 Java 的HTML 解析器,可直接解析某个URL地址.HTML文本内容.它提供了一套非常省力的API,可通过DOM,CSS以及类似于JQuer ...

  2. golang学习笔记17 爬虫技术路线图,python,java,nodejs,go语言,scrapy主流框架介绍

    golang学习笔记17 爬虫技术路线图,python,java,nodejs,go语言,scrapy主流框架介绍 go语言爬虫框架:gocolly/colly,goquery,colly,chrom ...

  3. 【转载】Java学习笔记

    转载:博主主页 博主的其他笔记汇总 : 学习数据结构与算法,学习笔记会持续更新: <恋上数据结构与算法> 学习Java虚拟机,学习笔记会持续更新: <Java虚拟机> 学习Ja ...

  4. js学习笔记:webpack基础入门(一)

    之前听说过webpack,今天想正式的接触一下,先跟着webpack的官方用户指南走: 在这里有: 如何安装webpack 如何使用webpack 如何使用loader 如何使用webpack的开发者 ...

  5. PHP-自定义模板-学习笔记

    1.  开始 这几天,看了李炎恢老师的<PHP第二季度视频>中的“章节7:创建TPL自定义模板”,做一个学习笔记,通过绘制架构图.UML类图和思维导图,来对加深理解. 2.  整体架构图 ...

  6. PHP-会员登录与注册例子解析-学习笔记

    1.开始 最近开始学习李炎恢老师的<PHP第二季度视频>中的“章节5:使用OOP注册会员”,做一个学习笔记,通过绘制基本页面流程和UML类图,来对加深理解. 2.基本页面流程 3.通过UM ...

  7. 2014年暑假c#学习笔记目录

    2014年暑假c#学习笔记 一.C#编程基础 1. c#编程基础之枚举 2. c#编程基础之函数可变参数 3. c#编程基础之字符串基础 4. c#编程基础之字符串函数 5.c#编程基础之ref.ou ...

  8. JAVA GUI编程学习笔记目录

    2014年暑假JAVA GUI编程学习笔记目录 1.JAVA之GUI编程概述 2.JAVA之GUI编程布局 3.JAVA之GUI编程Frame窗口 4.JAVA之GUI编程事件监听机制 5.JAVA之 ...

  9. seaJs学习笔记2 – seaJs组建库的使用

    原文地址:seaJs学习笔记2 – seaJs组建库的使用 我觉得学习新东西并不是会使用它就够了的,会使用仅仅代表你看懂了,理解了,二不代表你深入了,彻悟了它的精髓. 所以不断的学习将是源源不断. 最 ...

随机推荐

  1. Codeforces Round #568 (Div. 2) G1. Playlist for Polycarp (easy version) (状压dp)

    题目:http://codeforces.com/contest/1185/problem/G1 题意:给你n给选项,每个选项有个类型和价值,让你选择一个序列,价值和为m,要求连续的不能有两个相同的类 ...

  2. 关于performSelector调用和直接调用区别

    下面两段代码都在主线程中运行,我们在看别人代码时会发现有时会直接调用,有时会利用performSelector调用,今天看到有人在问这个问题,我便做一下总结, [delegate imageDownl ...

  3. 用 Flask 来写个轻博客 (3) — (M)VC_连接 MySQL 和 SQLAlchemy

    目录 目录 前文列表 扩展阅读 前言 Models 模型 SQLAlchemy 安装 SQLAlchemy 安装 Mysql 建立 SQLAlchemy 和 Mysql 的连接 前文列表 用 Flas ...

  4. C# 简单的往txt中写日志,调试时很有用

    原文 http://blog.csdn.net/hejialin666/article/details/6106648 有些程序在调试时很难抓住断点(如服务程序),有些程序需要循环无数次,要看每一次或 ...

  5. python实现马赛克拼图!

    python实现马赛克拼图 直接上代码! 代码如下: #!/usr/local/bin/python3#  --*-- coding:utf8 --*-- import getoptimport sy ...

  6. hadoop备战:hbase的分布式安装经验

    配置HBase时,首先考虑的肯定是Hbase版本号与你所装的hadoop版本号是否匹配.这一点我在之前 的博客中已经说明清楚,hadoop版本号与hbase版本号的匹配度,那是官方提供的.以下的实验就 ...

  7. 关于tp验证码模块

    转自https://blog.csdn.net/u011415782/article/details/77367280 ♜ 功能开发 1).引入第三方扩展包 进行 TP5 的开发,Composer 的 ...

  8. 在 Keil uVision4 MDK下配置开发STM32F103Z完整教程

    转载的,请原作者勿怪,以下为原链接: http://www.51hei.com/bbs/dpj-30359-1.html(欢迎直接查看原作者) 环境搭建: 1.安装 Keil uVision4 MDK ...

  9. 2019-5-16-WPF-光标初始化的时候-temp-文件夹满了无法创建

    title author date CreateTime categories WPF 光标初始化的时候 temp 文件夹满了无法创建 lindexi 2019-05-16 19:16:27 +080 ...

  10. C# 记录循环消耗时间

    今天写了循环段代码,但是感觉好像性能很差的样子,就想看一下整个循环的执行时间,最开始我想到了DateTime.Now,但是诡异的是,如果我循环的次数比较少的话(少于30000次)就会发现2次时间间隔是 ...