Spring Boot 系列教程11-html页面解析-jsoup
需求
- 需要对一个页面进行数据抓取，并导出doc文档
html解析器
- jsoup
- 可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于JQuery的操作方法来取出和操作数据。
- htmlparser
- 提供了线性和嵌套两种方式来解析网页，主要用于 html 网页的转换(Transformation) 以及网页内容的抽取 (Extraction)。
- 比较一下
- jsoup可以直接拿，类似jquery的选择器一样用起来比较好上手。htmlparser结构简单功能强大，难上手，但是自主度高
准备doc文档并另存为xml文件
项目图片
pom.xml
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.10.1</version>
</dependency>操作流程
- 把xml文件修改名为Hibernate.ftl后拷贝文件到src/main/resources
- 原来xml文件
<w:body>
<w:p>
<w:pPr>
<w:pStyle w:val="2" />
<w:jc w:val="center" />
<w:rPr>
<w:rFonts w:hint="eastAsia" />
<w:lang w:val="en-US" w:eastAsia="zh-CN" />
</w:rPr>
</w:pPr>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
<w:lang w:val="en-US" w:eastAsia="zh-CN" />
</w:rPr>
<w:t>Hibernate</w:t>
</w:r>
</w:p>
<w:p>
<w:pPr>
<w:rPr>
<w:rFonts w:hint="eastAsia" w:ascii="微软雅黑" w:hAnsi="微软雅黑" w:eastAsia="微软雅黑" w:cs="微软雅黑" />
<w:b w:val="0" />
<w:i w:val="0" />
<w:caps w:val="0" />
<w:color w:val="555555" />
<w:spacing w:val="0" />
<w:sz w:val="21" />
<w:szCs w:val="21" />
<w:shd w:val="clear" w:color="auto" w:fill="FFFFFF" />
</w:rPr>
</w:pPr>
<w:r>
<w:rPr>
<w:rFonts w:ascii="微软雅黑" w:hAnsi="微软雅黑" w:eastAsia="微软雅黑" w:cs="微软雅黑" />
<w:b w:val="0" />
<w:i w:val="0" />
<w:caps w:val="0" />
<w:color w:val="555555" />
<w:spacing w:val="0" />
<w:sz w:val="21" />
<w:szCs w:val="21" />
<w:shd w:val="clear" w:color="auto" w:fill="FFFFFF" />
</w:rPr>
<w:t>你还在为不知道怎样正确使用Hibernate而纠结吗</w:t>
</w:r>
<w:r>
<w:rPr>
<w:rFonts w:ascii="微软雅黑" w:hAnsi="微软雅黑" w:eastAsia="微软雅黑" w:cs="微软雅黑" />
<w:b w:val="0" />
<w:i w:val="0" />
<w:caps w:val="0" />
<w:color w:val="555555" />
<w:spacing w:val="0" />
<w:sz w:val="21" />
<w:szCs w:val="21" />
<w:shd w:val="clear" w:color="auto" w:fill="FFFFFF" />
<w:lang w:val="en-US" />
</w:rPr>
<w:t>,</w:t>
</w:r>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" w:ascii="微软雅黑" w:hAnsi="微软雅黑" w:eastAsia="微软雅黑" w:cs="微软雅黑" />
<w:b w:val="0" />
<w:i w:val="0" />
<w:caps w:val="0" />
<w:color w:val="555555" />
<w:spacing w:val="0" />
<w:sz w:val="21" />
<w:szCs w:val="21" />
<w:shd w:val="clear" w:color="auto" w:fill="FFFFFF" />
</w:rPr>
<w:t>你还在为不知道怎样配置映射文件而郁闷吗</w:t>
</w:r>
</w:p>
<w:p>
<w:pPr>
<w:pStyle w:val="3" />
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
</w:pPr>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:t>Hibernate 系列教</w:t>
</w:r>
<w:bookmarkStart w:id="0" w:name="_GoBack" />
<w:bookmarkEnd w:id="0" />
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:t>程1-枚举单例类</w:t>
</w:r>
</w:p>
<w:p>
<w:pPr>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
<w:lang w:val="en-US" w:eastAsia="zh-CN" />
</w:rPr>
</w:pPr>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:fldChar w:fldCharType="begin" />
</w:r>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:instrText xml:space="preserve"> HYPERLINK "http://blog.csdn.net/je_ge/article/details/53234944" </w:instrText>
</w:r>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:fldChar w:fldCharType="separate" />
</w:r>
<w:r>
<w:rPr>
<w:rStyle w:val="7" />
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:t>http://blog.csdn.net/je_ge/article/details/53234944</w:t>
</w:r>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:fldChar w:fldCharType="end" />
</w:r>
</w:p>
<w:sectPr>
<w:pgSz w:w="11906" w:h="16838" />
<w:pgMar w:top="1440" w:right="1800" w:bottom="1440" w:left="1800" w:header="851" w:footer="992" w:gutter="0" />
<w:cols w:space="720" w:num="1" />
<w:docGrid w:type="lines" w:linePitch="312" w:charSpace="0" />
</w:sectPr>
</w:body>- 现在ftl文件修改地方
<w:body>
<w:p>
<w:pPr>
<w:pStyle w:val="2" />
<w:jc w:val="center" />
<w:rPr>
<w:rFonts w:hint="eastAsia" />
<w:lang w:val="en-US" w:eastAsia="zh-CN" />
</w:rPr>
</w:pPr>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
<w:lang w:val="en-US" w:eastAsia="zh-CN" />
</w:rPr>
<w:t>${title}</w:t>
</w:r>
</w:p>
<w:p>
<w:pPr>
<w:rPr>
<w:rFonts w:hint="eastAsia" w:ascii="微软雅黑" w:hAnsi="微软雅黑" w:eastAsia="微软雅黑" w:cs="微软雅黑" />
<w:b w:val="0" />
<w:i w:val="0" />
<w:caps w:val="0" />
<w:color w:val="555555" />
<w:spacing w:val="0" />
<w:sz w:val="21" />
<w:szCs w:val="21" />
<w:shd w:val="clear" w:color="auto" w:fill="FFFFFF" />
</w:rPr>
</w:pPr>
<w:r>
<w:rPr>
<w:rFonts w:ascii="微软雅黑" w:hAnsi="微软雅黑" w:eastAsia="微软雅黑" w:cs="微软雅黑" />
<w:b w:val="0" />
<w:i w:val="0" />
<w:caps w:val="0" />
<w:color w:val="555555" />
<w:spacing w:val="0" />
<w:sz w:val="21" />
<w:szCs w:val="21" />
<w:shd w:val="clear" w:color="auto" w:fill="FFFFFF" />
</w:rPr>
<w:t>${content}</w:t>
</w:r>
</w:p>
<#list list as map>
<w:p>
<w:pPr>
<w:pStyle w:val="3" />
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
</w:pPr>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:t>${map.title}</w:t>
</w:r>
</w:p>
<w:p>
<w:pPr>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
<w:lang w:val="en-US" w:eastAsia="zh-CN" />
</w:rPr>
</w:pPr>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:fldChar w:fldCharType="begin" />
</w:r>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:instrText xml:space="preserve"> HYPERLINK "${map.title}" </w:instrText>
</w:r>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:fldChar w:fldCharType="separate" />
</w:r>
<w:r>
<w:rPr>
<w:rStyle w:val="7" />
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:t>${map.href}</w:t>
</w:r>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:fldChar w:fldCharType="end" />
</w:r>
</w:p>
</#list>
<w:sectPr>
<w:pgSz w:w="11906" w:h="16838" />
<w:pgMar w:top="1440" w:right="1800" w:bottom="1440" w:left="1800" w:header="851" w:footer="992"
w:gutter="0" />
<w:cols w:space="720" w:num="1" />
<w:docGrid w:type="lines" w:linePitch="312" w:charSpace="0" />
</w:sectPr>
</w:body>JsoupTest
package com.jege.spring.boot;
import java.io.File;
import java.io.FileWriter;
import java.util.ArrayList;
import java.util.Collections;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringJUnit4ClassRunner;
import org.springframework.web.servlet.view.freemarker.FreeMarkerConfigurer;
import freemarker.template.Template;
/**
* @author JE哥
* @email 1272434821@qq.com
* @description:获取连接，写出doc文件
*/
@RunWith(SpringJUnit4ClassRunner.class)
@SpringBootTest()
public class JsoupTest {
// 读取博客信息的地址
private final static String URL_ADDRESS = "http://blog.csdn.net/je_ge?viewmode=contents";
// <h1>
// <span class="link_title"><a href="/je_ge/article/details/53366556">
// Spring Boot 系列教程9-swagger-前后端分离后的标准
// </a></span>
// </h1>
private Elements getLinks() throws Exception {
// 新版本需要设置浏览器头信息
Document document = Jsoup.connect(URL_ADDRESS)
.userAgent("Mozilla/5.0 (Windows NT 7.0; Win64; x64; rv:49.0) Gecko/20100101 Firefox/49.0").get();
return document.select("h1 a");
}
@Test
public void testGetLinks() throws Exception {
Elements links = getLinks();
for (int i = links.size() - 1; i >= 0; i--) {
Element link = links.get(i);
String attr = link.attr("href");
String linkText = link.text();
System.out.println(linkText);
System.out.println(attr);
}
System.out.println("size:" + links.size());
}
@Autowired
private FreeMarkerConfigurer freeMarkerConfigurer;
@Test
public void writeHibernate() throws Exception {
String title = "Hibernate 系列教程";
String content = "Hibernate是一个开放源代码的对象关系映射框架，它对JDBC进行了非常轻量级的对象封装，它将POJO与数据库表建立映射关系，是一个全自动的orm框架，hibernate可以自动生成SQL语句，自动执行，使得Java程序员可以随心所欲的使用对象编程思维来操纵数据库。 Hibernate可以应用在任何使用JDBC的场合，既可以在Java的客户端程序使用，也可以在Servlet/JSP的Web应用中使用，最具革命意义的是，Hibernate可以在应用EJB的J2EE架构中取代CMP，完成数据持久化的重任。";
Elements links = getLinks();
List<Map<String, Object>> list = new ArrayList<Map<String, Object>>();
for (Element link : links) {
String linkText = link.text();
if (linkText.contains(title)) {
Map<String, Object> map = new HashMap<String, Object>();
map.put("href", "http://blog.csdn.net/" + link.attr("href"));
map.put("title", linkText.replaceAll(title, ""));
list.add(map);
}
}
Collections.reverse(list);
System.out.println("size:" + links.size());
freeMarkerConfigurer.getConfiguration().setClassForTemplateLoading(getClass(), "/");
Template template = freeMarkerConfigurer.getConfiguration().getTemplate("Hibernate.ftl");
Map<String, Object> root = new HashMap<String, Object>();
root.put("title", title);
root.put("content", content);
root.put("list", list);
template.process(root, new FileWriter(new File(title + ".doc")));
}
}
其他关联代码
- Spring Boot 系列教程10-freemarker导出word下载
http://blog.csdn.net/je_ge/article/details/53410364
源码地址
https://github.com/je-ge/spring-boot
如果觉得我的文章对您有帮助,请予以打赏。您的支持将鼓励我继续创作!谢谢！
Spring Boot 系列教程11-html页面解析-jsoup的更多相关文章
- Spring Boot 系列教程8-EasyUI-edatagrid扩展
edatagrid扩展组件 edatagrid组件是datagrid的扩展组件,增加了统一处理CRUD的功能,可以用在数据比较简单的页面. 使用的时候需要额外引入jquery.edatagrid.js ...
- Spring Boot 系列教程7-EasyUI-datagrid
jQueryEasyUI jQuery EasyUI是一组基于jQuery的UI插件集合体,而jQuery EasyUI的目标就是帮助web开发者更轻松的打造出功能丰富并且美观的UI界面.开发者不需要 ...
- Spring Boot 系列教程16-数据国际化
internationalization(i18n) 国际化(internationalization)是设计和制造容易适应不同区域要求的产品的一种方式. 它要求从产品中抽离所有地域语言,国家/地区和 ...
- Spring Boot 系列教程15-页面国际化
internationalization(i18n) 国际化(internationalization)是设计和制造容易适应不同区域要求的产品的一种方式. 它要求从产品中抽离所有地域语言,国家/地区和 ...
- Spring Boot 系列教程19-后台验证-Hibernate Validation
后台验证 开发项目过程中,后台在很多地方需要进行校验操作,比如:前台表单提交,调用系统接口,数据传输等.而现在多数项目都采用MVC分层式设计,每层都需要进行相应地校验. 针对这个问题, JCP 出台一 ...
- Spring Boot 系列教程18-itext导出pdf下载
Java操作pdf框架 iText是一个能够快速产生PDF文件的java类库.iText的java类对于那些要产生包含文本,表格,图形的只读文档是很有用的.它的类库尤其与java Servlet有很好 ...
- Spring Boot 系列教程17-Cache-缓存
缓存 缓存就是数据交换的缓冲区(称作Cache),当某一硬件要读取数据时,会首先从缓存中查找需要的数据,如果找到了则直接执行,找不到的话则从内存中找.由于缓存的运行速度比内存快得多,故缓存的作用就是帮 ...
- Spring Boot 系列教程14-动态修改定时任务cron参数
动态修改定时任务cron参数 不需要重启应用就可以动态的改变Cron表达式的值 不能使用@Scheduled(cron = "${jobs.cron}")实现 DynamicSch ...
- Spring Boot 系列教程12-EasyPoi导出Excel下载
Java操作excel框架 Java Excel俗称jxl,可以读取Excel文件的内容.创建新的Excel文件.更新已经存在的Excel文件,现在基本没有更新了 http://jxl.sourcef ...
随机推荐
- 大规模Schedule任务实现方案
package com.itlong.bjxizhan.support.web.job.base; import com.itlong.bjxizhan.common.DbContext; impor ...
- hdu 5876 Sparse Graph icpc大连站网络赛 1009 补图最短路
BFS+链表 代码改自某博客 #include<stdio.h> #include<iostream> #include<algorithm> #include&l ...
- redis高级实用特性（1）
1.安全性 2.主从复制 3.事务处理 4.持久化机制 5.发布订阅消息 6.虚拟内存的使用 安全性:设置客户端连接后进行任何其他指定前需要使用的密码 警告:因为redis速度相当快,所以在一台比较好 ...
- android 录制视频方式
http://www.cnblogs.com/skyseraph/archive/2012/03/31/2427593.html http://bbs.csdn.net/topics/39088448 ...
- 注册“Oracle Provider for OLE DB”和创建链接服务器
在sql server 数据库上创建链接服务器,连接oracle数据库,访问接口需要设置为:“Oracle Provider for OLE DB”. 如果电脑上没有这个驱动,安装一个完整的Oracl ...
- opencv轮廓处理函数详细
ApproxChains 用多边形曲线逼近 Freeman 链 CvSeq* cvApproxChains( CvSeq* src_seq, CvMemStorage* storage, int me ...
- JavaScript（5）——DOM
DOM操作 为了写这一篇随笔真的是费了好多力气,虽然还是写不好.本来是从周一都开始写的,但是周二周三忙着去帮忙招新了,哈哈哈.感觉做自己喜欢的事特别好玩,虽然挺忙的.看着那些小鲜肉,感觉自己真的老了啊 ...
- Python Cookbook - 1 - 数据结构和算法
1 序列解压:通过*来通配 *a, b = somelist, first, *mid, last = somelist, a, *b = somelist 2 使用双向队列: from col ...
- c语言-键盘扫描码
定义: 键盘上的每一个键都有两个唯一的数值进行标志.为什么要用两个数值而不是一个数值呢?这是因为一个键可以被按下,也可以被释放.当一个键按下时,它们产生一个唯一的数值,当一个键被释放时,它也会产生一个 ...
- 键盘虚拟键值编码表 使用keybd_Event
键盘虚拟键值编码表 使用keybd_Event 模拟键盘输入首先要用到一个API函数:keybd_event. 我们是菜鸟,所以不必具体去理解它的详细用法,只要按以下方法使用即可了!呵呵! 模拟按键有 ...