今天又遇到一个网页数据抓取的任务，给大家分享下。

说道网页信息抓取，相信Jsoup基本是首选的工具，完全的类JQuery操作，让人感觉很舒服。但是，今天我们就要说一说Jsoup的不足。

1、首先我们新建一个页面

  1. <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
  2. <html>
  3. <head>
  4. <title>main.html</title>
  5. <meta http-equiv="keywords" content="keyword1,keyword2,keyword3">
  6. <meta http-equiv="description" content="this is my page">
  7. <meta http-equiv="content-type" content="text/html; charset=UTF-8">
  8. <style type="text/css">
  9. a {
  10. line-height: 30px;
  11. margin: 20px;
  12. }
  13. </style>
  14. <!--<link rel="stylesheet" type="text/css" href="./styles.css">-->
  15. <script type="text/javascript">
  16. var datas = [ {
  17. href : "http://news.qq.com/a/20140416/017800.htm",
  18. title : "高校一保安长相酷似作家莫言"
  19. }, {
  20. href : "http://news.qq.com/a/20140416/015167.htm",
  21. title : "男子单臂托举悬空女半小时"
  22. }, {
  23. href : "http://news.qq.com/a/20140416/013808.htm",
  24. title : "女子上门讨房租遭强奸拍裸照"
  25. }, {
  26. href : "http://news.qq.com/a/20140416/016805.htm",
  27. title : "澳洲骆驼爱喝冰镇啤酒解暑"
  28. } ];
  29. window.onload = function() {
  30. var infos = document.getElementById("infos");
  31. for( var i = 0 ; i < datas.length ; i++)
  32. {
  33. var a = document.createElement("a");
  34. a.href = datas[i].href ;
  35. a.innerText = datas[i].title;
  36. infos.appendChild(a);
  37. infos.appendChild(document.createElement("br"))
  38. }
  39. }
  40. </script>
  41. </head>
  42. <body>
  43. Hello Main HttpUnit!
  44. <br>
  45. <div id="infos"
  46. style="width: 60%; border: 1px solid green; border-radius: 10px; margin: 0 auto;">
  47. </div>
  48. </body>
  49. </html>

页面上观察是这样显示的：

我们审查元素：

如果你看到这样的页面，你会觉得拿Jsoup来抓取，简直就是呵呵，小菜一叠，于是我们写了这样的代码：

  1. @Test
  2. ublic void testUserJsoup() {
  3. try {
  4. Document doc = Jsoup.connect(
  5. "http://localhost:8080/strurts2fileupload/main.html")
  6. .timeout(5000).get();
  7. Elements links = doc.body().getElementsByTag("a");
  8. for (Element link : links) {
  9. System.out.println(link.text() + " " + link.attr("href"));
  10. }
  11. } catch (IOException e) {
  12. e.printStackTrace();
  13. }

你会觉得就这几行代码，轻轻松松搞定，快快乐乐下班。于是运行发现，其实什么的抓取不到。

于是我们再回到页面，打开页面源代码，也就是上面的HTML代码，你恍然大悟，我靠，body里面根本没有数据，难怪抓不到。这就是Jsoup的不足，如果Jsoup去抓取的页面的数据，全都是页面加载完成后，ajax获取形成的，是抓取不到的。

下面给大家推荐另一个开源项目：HttpUnit，看名字是用于测试的，但是用来抓取数据也不错

我们开始编写类似Jsoup的代码：

  1. @Test
  2. public void testUserHttpUnit() throws FailingHttpStatusCodeException,
  3. MalformedURLException, IOException {
  4. /** HtmlUnit请求web页面 */
  5. WebClient wc = new WebClient(BrowserVersion.CHROME);
  6. wc.getOptions().setUseInsecureSSL(true);
  7. wc.getOptions().setJavaScriptEnabled(true); // 启用JS解释器，默认为true
  8. wc.getOptions().setCssEnabled(false); // 禁用css支持
  9. wc.getOptions().setThrowExceptionOnScriptError(false); // js运行错误时，是否抛出异常
  10. wc.getOptions().setTimeout(100000); // 设置连接超时时间 ，这里是10S。如果为0，则无限期等待
  11. wc.getOptions().setDoNotTrackEnabled(false);
  12. HtmlPage page = wc
  13. .getPage("http://localhost:8080/strurts2fileupload/main.html");
  14. DomNodeList<DomElement> links = page.getElementsByTagName("a");
  15. for (DomElement link : links) {
  16. System.out
  17. .println(link.asText() + "  " + link.getAttribute("href"));
  18. }
  19. }

再看一下运行结果：

完美解决，HttpUnit其实就相当于一个没有UI的浏览器，它可以让页面上的js执行完成后，再抓取信息

网页信息抓取 Jsoup的不足之处 httpunit的更多相关文章

  1. 网页信息抓取进阶 支持Js生成数据 Jsoup的不足之处

    转载请标明出处:http://blog.csdn.net/lmj623565791/article/details/23866427 今天又遇到一个网页数据抓取的任务,给大家分享下. 说道网页信息抓取 ...

  2. httpclient+jsoup实现网页信息抓取

    需求分析:抓取:http://tools.2345.com/rili.htm中的万年历(阳历.阴历等等). 1.首先为抓取的内容创建一个类.实现封装. package com.wan.domain; ...

  3. Android登录client，验证码的获取，网页数据抓取与解析，HttpWatch基本使用

    大家好,我是M1ko.在互联网时代的今天,假设一个App不接入互联网.那么这个App一定不会有长时间的生命周期,因此Android网络编程是每个Android开发人员必备的技能.博主是在校大学生,自学 ...

  4. Ajax异步信息抓取方式

    淘女郎模特信息抓取教程 源码地址: cnsimo/mmtao 网址:https://0x9.me/xrh6z   判断一个页面是不是Ajax加载的方法: 查看网页源代码,查找网页中加载的数据信息,如果 ...

  5. 爬虫---selenium动态网页数据抓取

    动态网页数据抓取 什么是AJAX: AJAX(Asynchronouse JavaScript And XML)异步JavaScript和XML.过在后台与服务器进行少量数据交换,Ajax 可以使网页 ...

  6. 网易新闻页面信息抓取（htmlagilitypack搭配scrapysharp）

    转自原文 网易新闻页面信息抓取(htmlagilitypack搭配scrapysharp) 最近在弄网页爬虫这方面的,上网看到关于htmlagilitypack搭配scrapysharp的文章,于是决 ...

  7. Java---网络蜘蛛-网页邮箱抓取器~源码

    刚刚学完Socket,迫不及待的做了这个网页邮箱抓取~~~ 现在有越来越多的人热衷于做网络爬虫(网络蜘蛛),也有越来越多的地方需要网络爬虫,比如搜索引擎.资讯采集.舆情监测等等,诸如此类.网络爬虫涉及 ...

  8. Atitit.web的自动化操作与信息抓取 attilax总结

    Atitit.web的自动化操作与信息抓取 attilax总结 1. Web操作自动化工具,可以简单的划分为2大派系: 1.录制回放 2.手工编写0 U' z; D! s2 d/ Q! ^1 2. 常 ...

  9. 接口测试——fiddler对soapui请求返回信息抓取

    原文:接口测试——fiddler对soapui请求返回信息抓取 背景:接口测试的时候,需要对接口的请求和返回信息进行查阅或者修改请求信息,可利用fiddler抓包工具对soapui的请求数据进行抓取或 ...

随机推荐

  1. Real FFT

    [文/告别年代   Email:byeyear@hotmail.com] FFT算法是针对复信号的,而现实场景中很多时候时域是实信号,此时有两种办法加快FFT的速度. 1. 使用一个N点的复FFT同时 ...

  2. JsonCpp使用方法详解

    JSON全称为JavaScript ObjectNotation,它是一种轻量级的数据交换格式,易于阅读.编写.解析.jsoncpp是c++解析JSON串常用的解析库之一. jsoncpp中主要的类: ...

  3. 分布式一致性协议之：Gossip（八卦）算法

    Gossip算法因为Cassandra而名声大噪,Gossip看似简单,但要真正弄清楚其本质远没看起来那么容易.为了寻求Gossip的本质,下面的内容主要参考Gossip的原始论文:<<E ...

  4. 术语-服务：BaaS

    ylbtech-术语-服务:BaaS BaaS(后端即服务:Backend as a Service)公司为移动应用开发者提供整合云后端的边界服务. 1.返回顶部 1. 中文名:后端即服务 外文名:B ...

  5. 尽量少嵌套无用的div；外部文件尽量使用link而不要使用用@import

    最近的工作又学到了很多东西,在这里记录一下. 1,尽量少嵌套无用的div,这个问题领导很严肃的跟我提过很多次,因为我很喜欢用很多div,而且有很多div都是无存在意义的.后来领导给了我一些资料,我看了 ...

  6. Java 默认事务级别read committed对binlog_format的需求

    转载: java.sql.SQLException: Cannot execute statement: impossible to write to binary log since BINLOG_ ...

  7. 2天时间终于把ntopng装好了

    1.环境centos6.7x642.安装步骤,首先把centos按优化步骤完成3.更改centos的yum源,更改为阿里云的源.4.[root@netmon ntopng]# cat /etc/yum ...

  8. ue4 多相机分屏与小地图效果实现教程

    转自:http://blog.csdn.net/shenmifangke/article/details/51940007  通过使用ue4的UI和rendertarget来实现 优点就是可以随意设置 ...

  9. spring-mvc注解配置小记

    Controller中注解Service时,Service的实现类需加@Service,dao的实现类需加@Repository. 另:配置文件中对应的包也需要扫描到!!! <context:a ...

  10. linux 系统管理 实战技巧

    一.这篇文章讲了什么? 这篇文章很有参考性哈.本来是想等一段时间有更多条技巧后在发布的,不过,突然发现,我是去年的今天在博客园落户了,祝我的博客一周岁快乐,希望以后多分享一些文章啦.所以就把草稿箱的其 ...