Jsoup 学习笔记
这里写自定义目录标题
Jsoup 学习笔记
Jsoup 是一个用于处理真实 HTML 的 Java 库。它提供了一个非常方便的 API,用于提取和操作数据。
GitHub 地址:https://github.com/jhy/jsoup/
jar 包下载地址:https://jsoup.org/download
解析
Jsoup 可以有多种方式来解析 HTML。
- HTML 的字符串;
- URL;
- 本地文件;
HTML 的字符串解析
如果有一段 html 格式的字符串并且想解析里面的内容那么就可以使用 Jsoup.parse(String html); 静态方法,返回的是 Document 对象。使用该对象就可解析了。
String html = "<html><head><title>First parse</title></head>"
+ "<body><p>Parsed HTML into a doc.</p></body></html>";
Document doc = Jsoup.parse(html);
URL 解析
如果需要从 web 端网络获取解析的话,可以使用 Jsoup.connect(String url); 静态方法,返回的是一个 Connection 对象并使用 get() 或 post() 方法提取和解析HTML文件。使用该对象就可解析了。(此方法仅支持Web URL http 和 https 协议 )
Document doc = Jsoup.connect("http://example.com")
.data("query", "Java") // 请求参数
.userAgent("Mozilla") // 设置 User-Agent
.cookie("auth", "token") // 设置 cookie
.timeout(3000) // 设置连接超时时间
.post(); // 使用 POST 方法访问 URL
本地文件解析
本地有一个 HTML 的文件使用静态 Jsoup.parse(File in, String charsetName, String baseUri) 方法。有一个重载方法 parse(File in, String charsetName) 使用文件的位置作为 baseUri。
File input = new File("/tmp/input.html");
// baseUri 解析器使用该参数在 <base href> 找到元素之前解析文档中的相对 URL 。如果您不关心这一点,则可以传递空字符串。
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");
解析数据
DOM 解析
File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8");
// 获得 id 为 content 的元素
Element content = doc.getElementById("content");
// 获得标签为 a 的所有元素
Elements links = content.getElementsByTag("a");
for (Element link : links) {
// 获得 href 属性的值
String linkHref = link.attr("href");
// 返回文本
String linkText = link.text();
}
以下是一些常用的 api 方法:
方法名 | 描述 |
---|---|
getElementById(String id) | 按 ID 查找元素 |
getElementsByTag(String tag) | 使用指定的标签名称查找元素 |
getElementsByClass(String className) | 查找具有此 Class 的元素 |
getElementsByAttribute(String key) | 查找具有此属性集的元素 |
使用选择器解析
如果希望使用 CSS 或类似 jquery 的选择器语法来查找或操作元素。使用 Element.select(String selector) 和 Elements.select(String selector) 方法。
File input = new File("D:\test.html");
Document doc = Jsoup.parse(input,"UTF-8");
// 具有 href 属性的链接
Elements links = doc.select("a[href]");
// 所有 src 包含.png 的图片
Elements pngs = doc.select("img[src$=.png]");
// 找出所有 class=masthead 的元素
Element masthead = doc.select("div.masthead").first();
// 所有符合 <h3 class=r><a href="">...</a></h3> 的元素
Elements resultLinks = doc.select("h3.r > a");
选择器概述
参数 | 描述 |
---|---|
ns|ng | 使用命名空间的标签定位,例如 fb:name 来查找 fb:name 元素 |
#id | 使用元素 id 定位,例如 #logo |
.class | 使用元素的 class 属性定位,例如 .head |
tagName | 使用标签名来定位,例如div |
[attribute] | 使用元素的属性进行定位,例如 [href] 表示检索具有 href 属性的所有元素 |
[^attr] | 使用元素的属性名前缀进行定位,例如 [^data-] 用来查找 HTML5 的 dataset 属性 |
[attr=value] | 使用属性值进行定位,例如 [width=500] 定位所有 width 属性值为 500 的元素 |
[attr^=value] | 属性以 value 开头 |
[attr$=value] | 属性以 value 结尾 |
[attr*=value] | 属性包含value |
[attr~=regex] | 使用正则表达式进行属性值的过滤,例如 img[src~=(?i).(png|jpe?g)] |
* | 定位所有元素 |
选择器组合用法
参数 | 描述 |
---|---|
el#id | 定位 id 值某个元素,例如 a#logo 相当于 |
el.class | 定位 class 为指定值的元素,例如 div.head相当于
xxxx
|
el[attr] | 定位所有定义了某属性的元素,例如 a[href] |
以上三个任意组合 | 例如 a[href]#logo 、a[name].outerlink |
以下五种是元素之间组合关系的选择器语法,其中包括父子关系、合并关系和层次关系。 | |
ancestor child | 祖先 孩子,例如:div#page_wrapper div[class~=mainContent*] |
parent > child | 例如:div.infoSet > span |
siblingA + siblingB | 查找在A元素之前第一个同级元素B |
siblingA ~ siblingX | 查找A元素之前的同级X元素 |
el, el, el | 多个选择器组合,查找匹配任一选择器的唯一元素 |
过滤用法
参数 | 描述 |
---|---|
:lt(n) | 例如 td:lt(3) 表示 小于三列 |
:gt(n) | div p:gt(2) 表示 div 中包含 2 个以上的 p |
:eq(n) | form input:eq(1) 表示只包含一个 input 的表单 |
:has(seletor) | div:has§ 表示包含了 p 元素的 div |
:not(selector) | div:not(.logo) 表示不包含 class=logo 元素的所有 div 列表 |
:contains(text) | 包含某文本的元素,不区分大小写,例如 p:contains(oschina) |
:containsOwn(text) | 文本信息完全等于指定条件的过滤 |
:matches(regex) | 使用正则表达式进行文本过滤:div:matches((?i)login) |
:matchesOwn(regex) | 使用正则表达式找到自身的文本 |
修改数据
jsoup 可以对页面中的元素进行修改,例如:增加/删除元素属性等。只需要利用 jsoup 的选择器找出元素,然后就可以通过以上的方法来进行修改,除了无法修改标签名外(可以删除后再插入新的元素),包括元素的属性和文本都可以修改。
修改完直接调用 Element(s) 的 html() 方法就可以获取修改完的 HTML 文档。
// 为所有链接增加 rel=nofollow 属性
doc.select("div.comments a").attr("rel", "nofollow");
// 为所有链接增加 class=mylinkclass 属性
doc.select("div.comments a").addClass("mylinkclass");
// 删除所有图片的 onclick 属性
doc.select("img").removeAttr("onclick");
// 清空所有文本输入框中的文本
doc.select("input[type=text]").val("");
HTML 文档清理
jsoup 使用 Whitelist 类进行文本过滤(只允许部分允许的标签、属性通过),防止用户在页面中恶意插入脚本。
String unsafe = "<p><a href='http://www.oschina.net/' onclick='stealCookies()'>
开源中国社区 </a></p>";
String safe = Jsoup.clean(unsafe, Whitelist.basic());
// 输出 :
// <p><a href="http://www.oschina.net/" rel="nofollow"> 开源中国社区 </a></p>
Whitelist 方法
方法名 | 简介 |
---|---|
none() | 只允许包含文本信息 |
basic() | 允许的标签包括:a, b, blockquote, br, cite, code, dd, dl, dt, em, i, li, ol, p, pre, q, small, strike, strong, sub, sup, u, ul, 以及合适的属性 |
simpleText() | 只允许 b, em, i, strong, u 这些标签 |
basicWithImages() | 在 basic() 的基础上增加了图片 |
relaxed() | 这个过滤器允许的标签最多,包括:a, b, blockquote, br, caption, cite, code, col, colgroup, dd, dl, dt, em, h1, h2, h3, h4, h5, h6, i, img, li, ol, p, pre, q, small, strike, strong, sub, sup, table, tbody, td, tfoot, th, thead, tr, u, ul |
whitelist.addTags(String… tags) | 非静态方法:添加允许的标签。可以使用removeTags删除 |
whitelist.addAttributes(String tag, String… attributes) | 非静态方法:添加允许的属性,可以用removeAttributes删除 |
Jsoup 学习笔记的更多相关文章
- Jsoup学习笔记
时间:2016-7-7 00:05 jsoup 是一款 Java 的HTML 解析器,可直接解析某个URL地址.HTML文本内容.它提供了一套非常省力的API,可通过DOM,CSS以及类似于JQuer ...
- golang学习笔记17 爬虫技术路线图,python,java,nodejs,go语言,scrapy主流框架介绍
golang学习笔记17 爬虫技术路线图,python,java,nodejs,go语言,scrapy主流框架介绍 go语言爬虫框架:gocolly/colly,goquery,colly,chrom ...
- 【转载】Java学习笔记
转载:博主主页 博主的其他笔记汇总 : 学习数据结构与算法,学习笔记会持续更新: <恋上数据结构与算法> 学习Java虚拟机,学习笔记会持续更新: <Java虚拟机> 学习Ja ...
- js学习笔记:webpack基础入门(一)
之前听说过webpack,今天想正式的接触一下,先跟着webpack的官方用户指南走: 在这里有: 如何安装webpack 如何使用webpack 如何使用loader 如何使用webpack的开发者 ...
- PHP-自定义模板-学习笔记
1. 开始 这几天,看了李炎恢老师的<PHP第二季度视频>中的“章节7:创建TPL自定义模板”,做一个学习笔记,通过绘制架构图.UML类图和思维导图,来对加深理解. 2. 整体架构图 ...
- PHP-会员登录与注册例子解析-学习笔记
1.开始 最近开始学习李炎恢老师的<PHP第二季度视频>中的“章节5:使用OOP注册会员”,做一个学习笔记,通过绘制基本页面流程和UML类图,来对加深理解. 2.基本页面流程 3.通过UM ...
- 2014年暑假c#学习笔记目录
2014年暑假c#学习笔记 一.C#编程基础 1. c#编程基础之枚举 2. c#编程基础之函数可变参数 3. c#编程基础之字符串基础 4. c#编程基础之字符串函数 5.c#编程基础之ref.ou ...
- JAVA GUI编程学习笔记目录
2014年暑假JAVA GUI编程学习笔记目录 1.JAVA之GUI编程概述 2.JAVA之GUI编程布局 3.JAVA之GUI编程Frame窗口 4.JAVA之GUI编程事件监听机制 5.JAVA之 ...
- seaJs学习笔记2 – seaJs组建库的使用
原文地址:seaJs学习笔记2 – seaJs组建库的使用 我觉得学习新东西并不是会使用它就够了的,会使用仅仅代表你看懂了,理解了,二不代表你深入了,彻悟了它的精髓. 所以不断的学习将是源源不断. 最 ...
随机推荐
- Codeforces Round #568 (Div. 2) G1. Playlist for Polycarp (easy version) (状压dp)
题目:http://codeforces.com/contest/1185/problem/G1 题意:给你n给选项,每个选项有个类型和价值,让你选择一个序列,价值和为m,要求连续的不能有两个相同的类 ...
- 关于performSelector调用和直接调用区别
下面两段代码都在主线程中运行,我们在看别人代码时会发现有时会直接调用,有时会利用performSelector调用,今天看到有人在问这个问题,我便做一下总结, [delegate imageDownl ...
- 用 Flask 来写个轻博客 (3) — (M)VC_连接 MySQL 和 SQLAlchemy
目录 目录 前文列表 扩展阅读 前言 Models 模型 SQLAlchemy 安装 SQLAlchemy 安装 Mysql 建立 SQLAlchemy 和 Mysql 的连接 前文列表 用 Flas ...
- C# 简单的往txt中写日志,调试时很有用
原文 http://blog.csdn.net/hejialin666/article/details/6106648 有些程序在调试时很难抓住断点(如服务程序),有些程序需要循环无数次,要看每一次或 ...
- python实现马赛克拼图!
python实现马赛克拼图 直接上代码! 代码如下: #!/usr/local/bin/python3# --*-- coding:utf8 --*-- import getoptimport sy ...
- hadoop备战:hbase的分布式安装经验
配置HBase时,首先考虑的肯定是Hbase版本号与你所装的hadoop版本号是否匹配.这一点我在之前 的博客中已经说明清楚,hadoop版本号与hbase版本号的匹配度,那是官方提供的.以下的实验就 ...
- 关于tp验证码模块
转自https://blog.csdn.net/u011415782/article/details/77367280 ♜ 功能开发 1).引入第三方扩展包 进行 TP5 的开发,Composer 的 ...
- 在 Keil uVision4 MDK下配置开发STM32F103Z完整教程
转载的,请原作者勿怪,以下为原链接: http://www.51hei.com/bbs/dpj-30359-1.html(欢迎直接查看原作者) 环境搭建: 1.安装 Keil uVision4 MDK ...
- 2019-5-16-WPF-光标初始化的时候-temp-文件夹满了无法创建
title author date CreateTime categories WPF 光标初始化的时候 temp 文件夹满了无法创建 lindexi 2019-05-16 19:16:27 +080 ...
- C# 记录循环消耗时间
今天写了循环段代码,但是感觉好像性能很差的样子,就想看一下整个循环的执行时间,最开始我想到了DateTime.Now,但是诡异的是,如果我循环的次数比较少的话(少于30000次)就会发现2次时间间隔是 ...