HtmlUnit学习总结
HtmlUnit学习总结
本文摘抄其他博客或者技术论坛,自己搜集整理如下:
HtmlUnit学习总结
摘要
htmlunit 是一款开源的java 页面分析工具,读取页面后,可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行,被誉为java浏览器的开源实现。是一个没有界面的浏览器,运行速度迅速。(百度百科)
环境搭建
<dependency>
<groupId>net.sourceforge.htmlunit</groupId>
<artifactId>htmlunit</artifactId>
<version>2.15</version>
</dependency>
1. 基本使用
HtmlUnit
简介:HtmlUnit
说白了就是一个浏览器,这个浏览器是用Java写的无界面的浏览器,正因为其没有界面,因此执行的速度还是可以滴,HtmlUnit
提供了一系列的API,这些API可以干的功能比较多,如表单的填充,表单的提交,模仿点击链接,由于内置了Rhinojs
引擎,因此可以执行Javascript
。
网络爬虫第一个要面临的问题,就是如何抓取网页,抓取其实很容易,没你想的那么复杂,一个开源HtmlUnit
包,4行代码就OK啦,例子如下:
final WebClient webClient=new WebClient();//创建对象
final HtmlPage page=webClient.getPage("https://www.baidu.com");//获取页面
System.out.println(page.asText());//asText() 顾名思义 获取所有文本
webClient.closeAllWindows();//关闭窗口
在程序中写上上面的4行代码,运行,就可以得到页面的全部内容,上面代码在运行的过程中会出现很多警告,出现这些警告的主要原因是由于以下两点:
1.HtmlUnit
对Javascript
的支持不是很好
2.HtmlUnit
对CSS
的支持不是很好
明白了上面的两点后,将代码重新改写一下,该禁用的就禁用,同时禁用一些不必要的功能,也有利于提高程序的运行效率,再者说网络爬虫也不需要CSS的支持
final WebClient webClient=new WebClient();
webClient.getOptions().setCssEnabled(false);//关闭css
webClient.getOptions().setJavaScriptEnabled(false);//关闭js
final HtmlPage page=webClient.getPage("https://www.baidu.com");
System.out.println(page.asText());
webClient.closeAllWindows();
重要API的使用 在介绍API的使用之前要先明白的一个问题是,WebClient,WebWindow,Page三者之间的关系,所有的页面最终都是在一个WebWindow对象里面,WebClient在创建时会自动的创建一个WebWindow对象,当调用getPage时会将新页面加载到WebWindow里,你可以理解成WebClient就是IE内核,WebWindow就是呈现页面的浏览器窗口,三者之间的关系图如下图所示:
1.1 模拟特定浏览器
可以模拟的浏览器有Chrome
/FireFox
/IE
//模拟chorme浏览器,其他浏览器请修改BrowserVersion.xxx常量
WebClient webClient=new WebClient(BrowserVersion.CHROME);
1.2 代理服务器的配置
代理的配置很简单,只需要配置好地址,端口,用户名与密码即可
final WebClient webClient = newWebClient(BrowserVersion.CHROME,"http://127.0.0.1",8087);
final DefaultCredentialsProvider credentialsProvider = (DefaultCredentialsProvider)webClient.getCredentialsProvider();
credentialsProvider.addCredentials("username","password");
1.3 模拟表单的提交
//获取表单
final HtmlForm form = page.getFormByName("form");
//获取提交按扭
final HtmlSubmitInput button = form.getInputByName("submit");
//一会得输入的
final HtmlTextInput textField = form.getInputByName("userid");
textField.setValueAttribute("test");
//点击提交表单
final HtmlPage page = button.click();
1.4 获取页中所有的链接
网络爬虫中主要目的就是获取页中所有的链接,代码如下:
List<HtmlAnchor> achList=page.getAnchors();
for(HtmlAnchor ach:achList){
System.out.println(ach.getHrefAttribute());
}
1.5 使用Htmlunit上传文件
使用HtmlUnit模拟浏览器操作时,我们有时候要做一些上传文件操作。这就要利用HtmlFileInput这个类了。
通过page获得HtmlForm,再通过HtmlForm获得HtmlFileInput
HtmlForm form = page.getFormByName("form");//如果有form的话
//如果在获取HtmlForm时,发现form表单没有name属性,也可以通过下列语句获取
//HtmlForm form = page.getForms().get(0);
HtmlFileInput fileInput = form.getInputByName("fileInput");
//通过设置valueAttribute来确定上传哪个文件
fileInput.setValueAttribute("D:\\111.jpg");
//最后按下提交按钮提交
HtmlElement submitBtn = page.getElementByName("submit");
submitBtn.click();
这样就完成了一次上传文件的过程。
1.6 查找特定元素
通过get或者XPath可以从HtmlPage中获得特定的Html元素,如下例子
1.6.1 通过get方法获取
HtmlPage page=webClient.getPage("http://www.yanyulin.info");
//从[烟雨林博客]上获取标签hed的内容
HtmlDivision div=(HtmlDivision)page.getElementById("hed");
1.6.2 通过XPath获取
XPath通常用于无法通过Id搜索或者需要更为复杂的搜索时,XPath的相关教程Xpath
//同样可以打印出hed的内容,//div中//表示搜索整个文档中的div,并将这些div
//放入list中,然后获取第一个div
final HtmlDivision div = (HtmlDivision) page.getByXPath("//div").get(0);
System.out.println(div.asXml());//asXml() 转换为xml形式
1.6.3 通过CSS选择器(Selector)获取
querySelector(String selectors) 获取匹配选择器的第一个元素
DomNodeList<DomNode> domNodeList=querySelectorAll(String selectors) 获取所有匹配选择器的元素
示例: 贴吧自动抢二楼 教程
通过CSS选择器(Selector)获取元素,代码片段如下:
(查看完整代码点击:完整代码)
// 获取当前页的所有class="i"元素。返回 DOM节点列表
DomNodeList<DomNode> iList = page.querySelectorAll(".i");
// 遍历
for(DomNode i: iList) {
// 选择 p 元素
DomNode p = i.querySelector("p");
// asText() 返回 元素文本, contains是 String的方法,查找 "回0 " 字符串
if(p.asText().contains("回0 ")) {
// 这里就是找到了 回帖为0的帖子
// 我们用 父元素 div.i 来继续获取 子元素 a 标签。
HtmlAnchor a = (HtmlAnchor)i.querySelector("a");
// 获取 a 标签的属性 href ,就是帖子详情的地址啦!!
String href = a.getAttribute("href");
System.out.println(href);
}
2.WebClient常用使用流程及参数设置
//1.创建对象
WebClient webClient=new WebClient(BrowserVersion.CHROME);
//2.设置参数
//启动js
webClient.getOptions().setJavaScriptEnabled(true);
//关闭css渲染
webClient.getOptions().setCssEnabled(false);
//启动重定向
webClient.getOptions().setRedirectEnabled(true);
//启动cookie管理
webClient.setCookieManager(new CookieManager());
//启动ajax代理
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
//js运行时错误,是否抛出异常
webClient.getOptions().setThrowExceptionOnScriptError(false);
//3.获取页面
HtmlPage page=webClient.getPage(url);
//等待js渲染执行 waitime等待时间(ms)
webClient.waitForBackgroundJavaScript(waitime);
//4.解析页面
......
HtmlUnit学习总结的更多相关文章
- htmlunit学习之java.lang.NoSuchMethodError: com.gargoylesoftware.htmlunit.WebClient.getOptions()Lcom/gargoylesoftware/htmlunit/WebClientOptions;
运行到这里就报错 java.lang.NoSuchMethodError: com.gargoylesoftware.htmlunit.WebClient.getOptions()Lcom/gargo ...
- HttpClient学习整理
HttpClient简介HttpClient 功能介绍 1. 读取网页(HTTP/HTTPS)内容 2.使用POST方式提交数据(httpClient3) 3. 处理页面重定向 ...
- java apache commons HttpClient发送get和post请求的学习整理(转)
文章转自:http://blog.csdn.net/ambitiontan/archive/2006/01/06/572171.aspx HttpClient 是我最近想研究的东西,以前想过的一些应用 ...
- 基于HtmlUnit的模板的网页数据抽取
既然方向定了,就开始做实验室吧,做舆情分析,首先就是要收集相关的语料 正好实验室有同学在做标化院的信息抽取抽取这块 于是把程序拿过来研究研究正好 完整程序在126邮箱共享: 可下载数:20 共享连接 ...
- webdriver(python)学习笔记一
最近有python开发的项目,也正打算要学习自动化与python语言.因此想通过学习python版本的webdriver来一同学习. 学习过程中参考资料有乙醇的博客:https://github.co ...
- 【转】对于HttpClient和HtmlUnit的理解
原文地址:http://www.haohaoblog.com/?p=1327&utm_source=tuicool 做Java编程的人其实,很多不懂SEO,也不知道如何让百度收录等等,当然,对 ...
- httpclient 学习
Http协议的重要性相信不用我多说了,HttpClient相比传统JDK自带的URLConnection,增加了易用性和灵活性,它不仅是客户端发送Http请求变得容易,而且也方便了开发人员测试接口(基 ...
- htmlunit+fastjson抓取酷狗音乐 qq音乐链接及下载
上次学了jsoup之后,发现一些动态生成的网页内容是无法抓取的,于是又学习了htmlunit,下面是抓取酷狗音乐与qq音乐链接的例子: 酷狗音乐: import java.io.BufferedInp ...
- Java 爬虫学习
Java爬虫领域最强大的框架是JSoup:可直接解析具体的URL地址(即解析对应的HTML),提供了一套强大的API,包括可以通过DOM.CSS选择器,即类似jQuery方式来取出和操作数据.主要功能 ...
随机推荐
- lua 基础 之 坑一样的地方
-- local 局部-- local表=全局表,是同一个表,这主要是由于lua的表机制是匿名的,相当于函数的指针,local foo = foo,-- 即使本地foo没有在全局_G注册,还是引用的是 ...
- VM虚拟机拍摄快照时出错或者克隆失败解决办法
在换了固态硬盘后,下载好VM,装虚拟机,结果克隆虚拟机和拍摄快照时出问题了. 拍摄快照时出错或者隆失败出现参数错误如图: 所提供的参数中有一个无效参数 解决办法 出现这个问题一般是在机械硬盘的电脑上面 ...
- using Newtonsoft.Json;
using Newtonsoft.Json; //数组转义为json string result = JsonConvert.SerializeObject(list1); //josn转 ...
- 逐帧动画 两种实现方式 css和js
第一种: css部分: <style> #foxtail{ background: url(../img/foxtail.png) 0 0 no-repeat; width: 156px; ...
- LeakCanary 来检查 Android 内存泄漏
LeakCanary 来检查 Android 内存泄漏
- scrapy_redis项目配置
一.创建普通scrapy项目 二.spiders爬虫文件中修改项 import scrapy from XX.items import XXItem import json # ----1 导入类 f ...
- spring Ioc容器之使用XML配置Bean
1.项目截图 2.创建xml文件 3.打印机接口 package com.example.demo.computerTest; public interface Printer { void init ...
- java 构造方法详解
构造方法(构造器) 是一种特殊的方法,该方法只有功能:构造对象 特点: 1.没有返回值 2.构造方法的名称一定和类名一致 3.不能在构造方法中写r ...
- vim打开txt文件看到^@字符
'\0'是不可见字符,使用vim编辑器查看的文本文件中如果包含'\0'字符,vim会自动将'\0'字符转换为^@字符. 看下面的代码: #include <stdio.h> #includ ...
- Unable to correct problems, you have held broken packages
Use aptitude instead of apt-get. It is more intelligent. It not only will handle downgrading conflic ...