就像许多现代科技一样，从网站提取信息这一功能也有多个框架可以选择。最流行的有JSoup、HTMLUnit和Selenium WebDriver。我们这篇文章讨论JSoup。JSoup是个开源项目，提供强大的数据提取API。可以用它来解析给定URL、文件或字符串中的HTML。它还能操纵HTML元素和属性。

  1.         <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
  2.         <dependency>
  3.             <groupId>org.jsoup</groupId>
  4.             <artifactId>jsoup</artifactId>
  5.             <version>1.11.</version>
  6.         </dependency>
  1.  public static void main(String[] args) {
  2.  
  3.         String html = "<html><head><title>Website title</title></head><body><p>Sample paragraph number 1 </p><p>Sample paragraph number 2</p></body></html>";
  4.  
  5.         Document doc = Jsoup.parse(html);
  6.  
  7.         System.out.println(doc.title());
  8.  
  9.         Elements paragraphs = doc.getElementsByTag("p");
  10.  
  11.         for (Element paragraph : paragraphs) {
  12.  
  13.             System.out.println(paragraph.text());
  14.  
  15.         }

调用parse()方法可以解析输入的HTML，将其变成Document对象。调用该对象的方法就能操纵并提取数据。

在上面的例子中，我们首先输出页面的标题。然后，我们获取所有带有标签“p”的元素。然后我们依次输出每个段落的文本。

运行这段代码，我们可以得到以下输出：

  1. Website title
  2.  
  3. Sample paragraph number 1
  4.  
  5. Sample paragraph number 2

使用JSoup解析URL

解析URL的方法跟解析字符串有点不一样，但基本原理是相同的：

  1. public class JSoupExample {
  2.  
  3.     public static void main(String[] args) throws IOException {
  4.  
  5.         Document doc = Jsoup.connect("https://www.wikipedia.org").get();
  6.  
  7.         Elements titles = doc.getElementsByClass("other-project");
  8.  
  9.             for (Element title : titles) {
  10.  
  11.                 System.out.println(title.text());
  12.  
  13.         }
  14.  
  15.     }
  16.  
  17. }

要从URL抓取数据，需要调用connect()方法，提供URL作为参数。然后使用get()从连接中获取HTML。这个例子的输出为：

  1. Commons Freely usable photos & more
  2.  
  3. Wikivoyage Free travel guide
  4.  
  5. Wiktionary Free dictionary
  6.  
  7. Wikibooks Free textbooks
  8.  
  9. Wikinews Free news source
  10.  
  11. Wikidata Free knowledge base
  12.  
  13. Wikiversity Free course materials
  14.  
  15. Wikiquote Free quote compendium
  16.  
  17. MediaWiki Free & open wiki application
  18.  
  19. Wikisource Free library
  20.  
  21. Wikispecies Free species directory
  22.  
  23. Meta-Wiki Community coordination & documentation

可以看到，这个程序抓取了所有class为other-project的元素。

  1. public void allLinksInUrl() throws IOException {
  2.  
  3.         Document doc = Jsoup.connect("https://www.wikipedia.org").get();
  4.  
  5.         Elements links = doc.select("a[href]");
  6.  
  7.         for (Element link : links) {
  8.  
  9.             System.out.println("\nlink : " + link.attr("href"));
  10.  
  11.             System.out.println("text : " + link.text());
  12.  
  13.         }
  14.  
  15.     }

运行结果是一个很长的列表：

使用JSoup解析文件

  1. public void parseFile() throws URISyntaxException, IOException {
  2.  
  3.         URL path = ClassLoader.getSystemResource("page.html");
  4.  
  5.         File inputFile = new File(path.toURI());
  6.  
  7.         Document document = Jsoup.parse(inputFile, "UTF-8");
  8.  
  9.         System.out.println(document.title());
  10.  
  11.         //parse document in any way
  12.  
  13.     }

如果要解析文件，就不需要给网站发送请求，因此不用担心运行程序会给服务器增添太多负担。尽管这种方法有许多限制，并且数据是静态的，因而不适合许多任务，但它提供了分析数据的更合法、更无害的方式。

得到的文档可以用前面说过的任何方式解析。

java做web抓取的更多相关文章

  1. 如何用 Python 实现 Web 抓取？

    [编者按]本文作者为 Blog Bowl 联合创始人 Shaumik Daityari,主要介绍 Web 抓取技术的基本实现原理和方法.文章系国内 ITOM 管理平台 OneAPM 编译呈现,以下为正 ...

  2. python自动化之web抓取

    ''' 从web抓取数据: webbrowser:是python自带的,打开浏览器获取指定页面. requests:从因特网上下载文件和网页. Beautiful Soup:解析HTML,即网页编写的 ...

  3. python Web抓取（一）[没写完]

    需要的模块: python web抓取通过: webbrowser:是python自带的,打开浏览器获取指定页面 requests:从因特网上下载文件和网页 Beautiful Soup:解析HTML ...

  4. java做web项目比较多

    WEB就是轻量级:如果要炫,FLEX或即将普及的html5.0都能做到像C/S那样. java做web项目比较多:如果是桌面程序,还是走C/S比较成熟. 如果是B/S架构的,后台还是JAVA,前台可以 ...

  5. 用python做网页抓取与解析入门笔记[zz]

    (from http://chentingpc.me/article/?id=961) 事情的起因是,我做survey的时候搜到了这两本书:Computational Social Network A ...

  6. java使用urlConnection抓取部分数据乱码

    使用urlconnection做抓取的同学应该一开始都是使用这个吧.OK回到正题来..... 在内容己有中文.英文己正常显示,仍然会有部分中文或英文出现乱码,这是为什么呢?这个问题一直在心里盘旋... ...

  7. Java Jsoup Spider抓取数据入库

    这里从车商网上进行数据抓取,请保持良好的职业道德不要将数据用于商业途径.工信部官网有汽车方面的公告目录,那里有最全的pdf或word数据,鉴于word和pdf解析的繁琐和耗时,我暂时用这个网站的数据进 ...

  8. Java实现网页抓取的一个Demo

    这个小案例的话我是存放在我的github 上. 下面给出链接自己可以去看下,也可以直接下载源码.有具体的说明 <Java网页抓取>

  9. 通过Java进行网页抓取并生成plist创建代码

    抓取网页的方法: 抓取网页可以通过正则表达式也可以通过Java. 通过firefox浏览器,安装Firebug来查看网页的源代码. 首先将要抓取的部分保存到本地,步骤如下: 1.在要抓取的位置右键,选 ...

随机推荐

  1. LVS模式二：隧道模式（Tun）

    一.IP隧道(IP Tunneling) ip隧道是一个将ip报文封装到另一个ip报文的技术,这可以使得目标为一个ip地址的数据报文被封装和转发到另一个ip地址.ip隧道技术也成为ip封装技术.    ...

  2. php-resque 简单的php消息队列

    摘要: 消息队列是个好东西,各种×××MQ很多.然而看一下它们的文档,你得吓尿,什么鬼,我只是想用它触发个短信接口而已. 幸好也有简单的.这次是php-resque 安装 首先这货需要在linux下跑 ...

  3. Android架构设计之MVP分析

    转载请注明出处:http://blog.csdn.net/crazy1235/article/details/51471280

  4. HAWQ中的行列转置

    行列转置是ETL或报表系统中的常见需求,HAWQ提供的内建函数和过程语言编程功能,使行列转置操作的实现变得更为简单. 一.行转列 1. 固定列数的行转列 原始数据如下: test=# select * ...

  5. .NET c# 新特性

    <.NET之美>p181 Product item=new Product(188),{Price=4998.5F},Name="Lumia 920" 实例化,.NET ...

  6. openssl之aes加密（源码分析 AES_encrypt 与 AES_cbc_encrypt ，加密模式）

    首先要了解AES加密是什么,以及几种加密模式的区别.之后才是编程.具体的编程案例,在下面的链接. openssl之aes加密(AES_cbc_encrypt 与 AES_encrypt 的编程案例) ...

  7. Android编程 高德地图 中如何重写 定位按键 的触发事件 （com.amap.api.maps2d.LocationSource）点击定位后不仅定位在地图中心点上而且可以设置地图的缩放大小和提示

    在利用高德地图来编写自己的APP的时候,发现了一种对定位按键的重写方法,那就是利用   com.amap.api.maps2d.LocationSource  接口来重写. 什么是定位按键呢,下图中右 ...

  8. 用户空间与内核驱动的交互过程 — ioctl

    在Linux内核模块的开发过程中,经常涉及到运行在用户空间上的应用程序与内核模块进行交互,ioctl系统调用是常用的一种方式.本文并不涉及vlan的具体原理,仅通过vconfig与vlan内核模块进行 ...

  9. Java并发--线程间协作的两种方式：wait、notify、notifyAll和Condition

    在前面我们将了很多关于同步的问题,然而在现实中,需要线程之间的协作.比如说最经典的生产者-消费者模型:当队列满时,生产者需要等待队列有空间才能继续往里面放入商品,而在等待的期间内,生产者必须释放对临界 ...

  10. tableau-基本函数

    一.数据术语 维度——包含诸如文本和日期等类别数据的字段. 度量——包含可以聚合的数字的字段. 二.字段图标 Abc  蓝色图标->离散字段 #     绿色图标->连续字段 =Abc = ...