JAVA爬虫 WebCollector
爬虫简介:
WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架(内核),它提供精简的的API,只需少量代码即可实现一个功能强大的爬虫。
爬虫内核:
WebCollector 致力于维护一个稳定、可扩的爬虫内核,便于开发者进行灵活的二次开发。内核具有很强的扩展性,用户可以在内核基础上开发自己想要的爬虫。源码中集成了 Jsoup,可进行精准的网页解析。2.x版本中集成了selenium,可以处理javascript生成的数据。
网页正文提取:
网页正文提取项目ContentExtractor已并入WebCollector维护。
WebCollector的正文抽取API都被封装为ContentExtractor类的静态方法。 可以抽取结构化新闻,也可以只抽取网页的正文(或正文所在Element)。
正文抽取效果指标 :
- 比赛数据集CleanEval P=93.79% R=86.02% F=86.72%
- 常见新闻网站数据集 P=97.87% R=94.26% F=95.33%
- 算法无视语种,适用于各种语种的网页
标题抽取和日期抽取使用简单启发式算法,并没有像正文抽取算法一样在标准数据集上测试,算法仍在更新中。
1.x:
WebCollector 1.x版本现已转移到http://git.oschina.net/webcollector/WebCollector-1.x维护,建议使用2.x版本。
2.x:
WebCollector 2.x版本特性:
1)自定义遍历策略,可完成更为复杂的遍历业务,例如分页、AJAX
2)内置Berkeley DB管理URL,可以处理更大量级的网页
3)集成selenium,可以对javascript生成信息进行抽取
4)直接支持多代理随机切换
5)集成spring jdbc和mysql connector,方便数据持久化
6)集成json解析器
7)使用slf4j作为日志门面
8)修改http请求接口,用户自定义http请求更加方便
WebCollector 2.x官网和镜像:
WebCollector 2.x教程:
- WebCollector 2.x tutorial 2 (BreadthCrawler中文教程)
- WebCollector 2.x 新闻网页正文自动提取算法
- WebCollector 2.x 抽取器 (Extractor和MultiExtractorCrawler)
- WebCollector爬取JS生成数据
- WebCollector爬取搜狗搜索(分页)
- WebCollector爬取JSON数据
- 使用SoupLang脚本同时管理多个页面爬取 SoupLang脚本
- 用WebCollector 2.x爬取新浪微博(无需手动获取cookie)
WebCollector 2.x教程(镜像):
- WebCollector 2.x tutorial 2 (BreadthCrawler中文教程)
- WebCollector 2.x 新闻网页正文自动提取算法
- WebCollector 2.x 抽取器 (Extractor和MultiExtractorCrawler)
- WebCollector爬取JS生成数据
- WebCollector爬取搜狗搜索(分页)
- WebCollector爬取JSON数据
- 使用SoupLang脚本同时管理多个页面爬取 SoupLang脚本
- 用WebCollector 2.x爬取新浪微博(无需手动获取cookie)
版本更新信息:
WebCollector 2.10 发布,更新详情如下:
1 ) 新增新闻网页正文自动提取算法,可自动抽取新闻网页正文、标题和日期,可参照例子:WebCollector正文提取DEMO。
WebCollector 2.09 发布,更新详情如下:
1 ) 新增抽取器Extractor和用于加载抽取器的爬虫MultiExtractorCrawler,提供一种方便分工和维护的爬虫开发方案。可参照例子: WebCollector抽取器DEMO。
2 ) 新增FileSystemOutput,可将网页按照网站拓扑结构存储到本地。
3 ) 修复https请求证书问题。
WebCollector is an open source web crawler framework based on Java.It provides some simple interfaces for crawling the Web,you can setup a multi-threaded web crawler in less than 5 minutes. — More...
http://crawlscript.github.io/WebCollector/
Issues | ||
#10 | 请问如何不让日志输出到控制台 | by T0ky04cti0n 2015-08-03 |
#9 | 请问WeiboHelper的源码是否可以公开? | by DongShuaike 2015-08-01 |
#8 | 请问2.x的maven仓库在哪儿? | by fishtrees 2015-06-29 |
#7 | 是否支持Proxy? 另外如果支持的话,是否支持动态的轮换? | by RangerWolf 2015-05-05 |
#5 | 爬取ajax或者是js跳转的页面怎么设置策略? | by joe1100 2015-06-06 |
WebCollector
主页: https://github.com/CrawlScript/WebCollector
WebCollector使用了Nutch的爬取逻辑(分层广度遍历),Crawler4j的的用户接口(覆盖visit方法,定义用户操作),以及一套自己的插件机制,设计了一套爬虫内核。
WebCollector内核构架图:
CrawlDB: 任务数据库,爬虫的爬取任务(类似URL列表)是存放在CrawlDB中的,CrawlDB根据DbUpdater和Generator所选插件不同,可以有多种形式,如文件、redis、mysql、mongodb等。
Injector: 种子注入器,负责第一轮爬取时,向CrawlDB中提交爬取任务。在断点续爬的时候,不需要通过Injector向CrawlDB注入种子,因为CrawlDB中已有爬取任务。
Generator: 任务生成器,任务生成器从CrawlDB获取爬取任务,并进行过滤(正则、爬取间隔等),将任务提交给抓取器。
Fetcher: 抓取器,Fetcher是爬虫最核心的模块,Fetcher负责从Generator中获取爬取任务,用线程池来执行爬取任务,并对爬取的网页进行链接解 析,将链接信息更新到CrawlDB中,作为下一轮的爬取任务。在网页被爬取成功/失败的时候,Fetcher会将网页和相关信息以消息的形式,发送到 Handler的用户自定义模块,让用户自己处理网页内容(抽取、存储)。
DbUpdater: 任务更新器,用来更新任务的状态和加入新的任务,网页爬取成功后需要更新CrawlDB中的状态,对网页做解析,发现新的连接,也需要更新CrawlDB。
Handler: 消息发送/处理器,Fetcher利用Handler把网页信息打包,发送到用户自定义操作模块。
User Defined Operation: 用户自定义的对网页信息进行处理的模块,例如网页抽取、存储。爬虫二次开发主要就是自定义User Defined Operation这个模块。实际上User Defined Operation也是在Handler里定义的。
RequestFactory: Http请求生成器,通过RequestFactory来选择不同的插件,来生成Http请求,例如可以通过httpclient插件来使用httpclient作为爬虫的http请求,或者来使用可模拟登陆新浪微博的插件,来发送爬取新浪微博的http请求。
ParserFactory: 用来选择不同的链接分析器(插件)。爬虫之所以可以从一个网页开始,向多个网页不断地爬取,就是因为它在不断的解析已知网页中的链接,来发现新的未知网页,然后对新的网页进行同样的操作。
爬取逻辑:
WebCollector和Nutch一样,把爬虫的广度遍历拆分成了分层的操作。
第一层:爬取一个网页,http://www.apache.org/,解析网页,获取3个链接,将3个链接保存到CrawlDB中,设置状态为未爬取。同时将http://www.apache.org/的爬取状态设置为已爬取。结束第一轮。
第二层,找到CrawlDB中状态为未爬取的页面(第一层解析出来的3个链接),分别爬取,并解析网页,一共获得8个链接。和第一层操作一样,将解析出的链接放入CrawlDB,设置为未爬取,并将第二层爬取的三个页面,状态设置为已爬取。
第三层,找到CrawlDB中状态为未爬取的页面(第二层解析出来的8个链接).................
每一层都可以作为一个独立的任务去运行,所以可以将一个大型的广度遍历任务,拆分成一个一个小任务。爬虫里有个参数,设置爬取的层数,指的就是这个。
插件机制:
框 架图中的 Injector、Generator、Request(由RequestFactory生成)、Parser(由ParserFactory生成)、 DbUpdater、Response都是以插件实现的。制作插件往往只需要自定义一个实现相关接口的类,并在相关Factory内指定即可。
WebCollector 内置了一套插件( cn . edu . hfut . dmic . webcollector . plugin . redis )。基于这套插件,可以把WebCollector的任务管理放到redis数据库上,这使得WebCollector可以爬取海量的数据(上亿级别)。
用户自定义操作:
对于用户来说,关注的更多的不是爬虫的爬取流程,而是对每个网页要进行什么样的操作。对网页进行抽取、保存还是其他操作,应该是由用户自定义的。
假设我们有个需求,要爬取《知乎》上的所有提问。对用户来说,只需要定义对知乎的提问如何抽取。
public class ZhihuCrawler extends BreadthCrawler{ /*visit函数定制访问每个页面时所需进行的操作*/ @Override public void visit(Page page) { String question_regex="^http://www.zhihu.com/question/[0-9]+"; if(Pattern.matches(question_regex, page.getUrl())){ System.out.println("正在抽取"+page.getUrl()); /*抽取标题*/ String title=page.getDoc().title(); System.out.println(title); /*抽取提问内容*/ String question=page.getDoc().select("div[id=zh-question-detail]").text(); System.out.println(question); } } /*启动爬虫*/ public static void main(String[] args) throws IOException{ ZhihuCrawler crawler=new ZhihuCrawler(); crawler.addSeed("http://www.zhihu.com/question/21003086"); crawler.addRegex("http://www.zhihu.com/.*"); crawler.start(5); } }
覆盖BreadthCrawler类的visit方法,即可实现用户自定义操作,完全不用考虑爬虫的爬取逻辑。
WebCollector的设计主要来自于Nutch,相当于将Nutch抽象成了一个爬虫内核。
WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架(内核),它 提供精简的的API ,只需少量代码即可实现一个功能强大的爬虫。
如何将WebCollector导入项目请看下面这个教程:
JAVA网络爬虫WebCollector深度解析——爬虫内核
参数:
WebCollector无需繁琐配置,只要在代码中给出下面几个必要参数,即可启动爬虫:
1.种子(必要):
种子即爬虫的起始页面。一个爬虫可添加一个或多个种子。
2.正则(可选):
正则是约束爬取范围的一些正则式。正则不一定要给出。如果用户没有给出正则,系统会自动将爬取范围限定在种子的域名内。
3.线程数(可选):
WebCollector是一个多线程的爬虫,默认使用10个线程同时工作。开发者可以自定义线程数。
需求:
简述一下教程里代码的功能:定制一个爬虫,对“知乎”网站进行爬取,不要求下载所有的网页和文件,而是要求对知乎中所有的“提问”页面中的”问题“进行提取。如图:
我们需要提取问题标题:“看了《蝙蝠侠》,如果我闯进纽交所,逼迫所有人卖掉他手里的所有的股票期货债券什么的,会有什么毁灭性后果?",
以及问题的内容:“咱不讨论这可行性,我就想听听这有什么毁灭性那个的后果么?再比如百度,58,新东方什么的在那上市的中国公司?再比如会对其他的比如伦敦交易所什么的影响?中国股市的影响?再比如对其他货币的影响之类的?“
代码:
代码分为两部分,爬取器和控制器。
爬取器通过Override父类中的visit方法(即对每个正在爬取的页面需要进行的操作),来定制自己的爬取任务。
控制器通过给爬取器设置参数(上面所说的种子、正则、线程数),启动爬取器来完成控制功能。
1.爬取器:
WebCollector中集成了多种爬取器(主要是遍历算法不同),最常用的遍历器是BreadthCrawler,它是基于广度遍历的算法进行爬取的。我们新建一个JAVA类ZhihuCrawler,继承BreadthCrawler,来定制我们的爬取器。
public class ZhihuCrawler extends BreadthCrawler{ /* visit函数定制访问每个页面时所需进行的操作 */ @Override public void visit(Page page) { String question_regex="^http://www.zhihu.com/question/[0-9]+"; if(Pattern.matches(question_regex, page.url)){ System.out.println("正在抽取"+page.url); String title=page.doc.title(); System.out.println(title); String question=page.doc.select("div[id=zh-question-detail]").text(); System.out.println(question); } }}
代码解析:
《知乎》中有很多种网页:提问网页、用户个人信息网页、专页。我们现在只要对提问网页进行操作。
提问网页的URL一般如下: http://www.zhihu.com/question/21962447
question_regex是所有提问网页的正则表达式,代码中:
if(Pattern.matches(question_regex, page.url)){//操作代码 }
保证我们只对“提问”页面进行抽取。
visit函数的参数Page page,是一个已经爬取并解析成DOM树的页面。Page的源码:
package cn.edu.hfut.dmic.webcollector.model;import java.util.List;import java.util.Map;import org.jsoup.nodes.Document;/***Page表示一个Web页面*/public class Page{ public String url=null; public byte[] content=null; public Map<String,List<String>> headers; public String html=null; public Document doc=null; public int status; public long fetchtime; public static final int UNFETCHED=1; public static final int FETCHED=2; }
url指网页的url。
content是网页的源码字节数组(其实是网页/文件的字节码,大部分情况下可以认为是网页源码)。
headers是爬取时的http响应头信息。
html是网页源码字符串(如果html不为null,即为经过编码识别后转换的html源码)。
doc(DOM树),这里的doc是JSOUP的Document,如果需要做HTML解析、抽取,使用doc是不二的选择,关于doc的使用方法,可参考JSOUP的教程:
http://www.open-open.com/jsoup/selector-syntax.htm
status表示网页的抓取状态,status的取值可以是UNFETCHED(未抓取)或者FETCHED(已抓取)。
fetchtime表示网页抓取的时间,是通过 System.currentTimeMillis ()方法获取的系统时间。
ZhihuCrawler中用到了page.url和page.doc。
我们可以发现,《知乎》提问页面的网页标题就是问题的标题,所以通过:
String title=page.doc.title();
就获取了提问标题。
抽取《知乎》提问页面的提问内容,需要从HTML源码观察规则:
<div class="zm-editable-content">咱不讨论这可行性,我就想听听这有什么毁灭性那个的后果么?<br>再比如百度,58,新东方什么的在那上市的中国公司?<br>再比如会对其他的比如伦敦交易所什么的影响?中国股市的影响?<br>再比如对其他货币的影响之类的?<a name="edit" class="zu-edit-button" href="javascript:;"><i class="zu-edit-button-icon"></i>修改</a></div>
对于《知乎》所有的提问界面,我们发现,提问内容都被放在一个class="zm-editable-content"的div中,这是JSOUP最适合适用的一种情况。我们只要找到这个div,将其中的文本(text)取出即可:
String question=page.doc.select("div[id=zh-question-detail]").text();
2.控制器:
我们需要一个控制器来启动爬取器:
public class Controller {public static void main(String[] args) throws IOException{ ZhihuCrawler crawler=new ZhihuCrawler();crawler.addSeed("http://www.zhihu.com/question/21003086");crawler.start(5); }}
首先实例化刚定义的ZhihuCrawler(爬取器)。
给爬取器一个种子: http://www.zhihu.com/question/21003086
crawler.start(5)并不是表示开启5个线程爬取,5表示爬取的深度(广度遍历的层数)。
运行Controller这个类,会发现不断有输出产生,但是输出比较杂乱,这是因为我们不仅输出了我们抽取的提问,还输出了爬虫的日志(爬取记录等):
fetch:http://www.zhihu.com/people/lxjtsfetch:http://www.zhihu.com/question/24597698正在抽取http://www.zhihu.com/question/24597698小米4采用304不锈钢除了提升质感和B格,还有其他的实际好处么? - 知乎信号会不会跟ip4一样悲剧了……fetch:http://www.zhihu.com/topic/20006139fetch:http://www.zhihu.com/topic/19559450fetch:http://www.zhihu.com/question/20014415#fetch:http://www.zhihu.com/collection/31102864fetch:http://www.zhihu.com/topic/19663238fetch:http://www.zhihu.com/collection/20021567
上面的输出片段中,我们可以看到一次visit函数的执行,访问了 http://www.zhihu.com/question/24597698 ,对问题的标题进行了抽取:“小米4采用304不锈钢除了提升质感和B格,还有其他的实际好处么? - 知乎”,同时也抽取了问题的内容:“信号会不会跟ip4一样悲剧了……“。
"fetch:http://www.zhihu.com/question/24597698"是日志的输出,表示一个已经爬取的网页。
如果您想看到干净的爬取结果,有下面几种解决方案:
1.在ZhihuCrawler的visit方法里,添加代码,将title和question字符串输出到文件中。
2.在ZhihuCrawler的visit方法里,添加代码,将title和question字符串提交到数据库(推荐)。
可能有人会疑问,为什么我们给爬虫添加种子的时候不添加《知乎》的首页,这是因为《知乎》首页在不登录的情况下会默认返回登录页面。
动态网页爬取例子(WebCollector+selenium+phantomjs)http://www.2cto.com/kf/201506/407058.html
包含了一套爬虫的内核和一套完整的爬虫。内核具有很强的扩展性,用户可以在内核基础上开发自己想要的爬虫。源码中集成了Jsoup,可进行精准的网页解析。
JAVA爬虫 WebCollector的更多相关文章
- 推荐几个优秀的java爬虫项目
java爬虫项目 大型的: Nutch apache/nutch · GitHub 适合做搜索引擎,分布式爬虫是其中一个功能. Heritrix internetarchive/heritrix3 ...
- 爬虫入门 手写一个Java爬虫
本文内容 涞源于 罗刚 老师的 书籍 << 自己动手写网络爬虫一书 >> ; 本文将介绍 1: 网络爬虫的是做什么的? 2: 手动写一个简单的网络爬虫; 1: 网络爬虫是做 ...
- Java爬虫框架调研
Python中大的爬虫框架有scrapy(风格类似django),pyspider(国产python爬虫框架). 除了Python,Java中也有许多爬虫框架. nutch apache下的开源爬虫程 ...
- java爬虫入门
本文内容 涞源于 罗刚 老师的 书籍 << 自己动手写网络爬虫一书 >> ; 本文将介绍 1: 网络爬虫的是做什么的? 2: 手动写一个简单的网络爬虫; 1: 网络爬虫是做 ...
- webmagic的设计机制及原理-如何开发一个Java爬虫
之前就有网友在博客里留言,觉得webmagic的实现比较有意思,想要借此研究一下爬虫.最近终于集中精力,花了三天时间,终于写完了这篇文章.之前垂直爬虫写了一年多,webmagic框架写了一个多月,这方 ...
- JAVA爬虫挖取CSDN博客文章
开门见山,看看这个教程的主要任务,就去csdn博客,挖取技术文章,我以<第一行代码–安卓>的作者为例,将他在csdn发表的额博客信息都挖取出来.因为郭神是我在大学期间比较崇拜的对象之一.他 ...
- 爬虫6:多页面增量Java爬虫-sina主页
之前写过很多单页面python爬虫,感觉python还是很好用的,这里用java总结一个多页面的爬虫,迭代爬取种子页面的所有链接的页面,全部保存在tmp路径下. 1 序言 实现这个爬虫需要两个数据结构 ...
- Java爬虫搜索原理实现
permike 原文 Java爬虫搜索原理实现 没事做,又研究了一下爬虫搜索,两三天时间总算是把原理闹的差不多了,基本实现了爬虫搜索的原理,本次实现还是俩程序,分别是按广度优先和深度优先完成的,广度优 ...
- Java爬虫
作为一位Java爬虫的初学者,分享一下自己的心得.所用到的jar包 org.codehaus.jettison.jar jsoup-1.7.3.jar个人认为爬虫的实现机制:获取Docume对象-&g ...
随机推荐
- SIGAR - System Information Gatherer And Reporter
https://support.hyperic.com/display/SIGAR/Home 收藏一篇: http://www.cnitblog.com/houcy/archive/2012/11/2 ...
- HDU 1240 Asteroids!
三维广搜 #include <cstdio> #include <iostream> #include <cstring> #include <queue&g ...
- Binary Tree Level Order Traversal II --leetcode C++
考察点 广度优先遍历--层次遍历 STL内容器的用法 广度优先遍历的时候,首先应该想到的就是借助于队列.还需要在遍历下一层之前保存当前层节点的数量 代码很简单: class Solution { pu ...
- Thrift对多接口服务的支持
Thrift对多接口服务的支持 Thrift在0.9.1版本之前,一直只提交了对单一接口服务的支持,即一个RPC服务器(对应一个端口)支持一个服务接口的实现. 但是很多时候,我们的服务不能实现在一个接 ...
- Duplicate entry '97112' for key 1
1.错误描写叙述 2014-07-08 10:27:13,939 ERROR(com.you.conn.JDBCConnection:104) -com.mysql.jdbc.exceptions.j ...
- 语句分类及if语句
一.语句分类: 1.顺序语句2.分支语句 if语句.switch语句 3.循环语句 (1)初始条件 (2)循环条件 (3)循环体 (4)状态改变 二.if语句: 1.if语句4中情况: if(条件){ ...
- C++之对象存储空间_对象模型
C++编译器如何完成面向对象理论向计算机程序的转化 #include<stdio.h>//////c++对象模型和结构体一样 class Test { ...
- La=LaULb (循环链表)
#include<stdio.h> typedef struct LNode { int data; struct LNode *next; }LNode,*LinkList; void ...
- LNMP安装包sh脚本
Xshell 5 (Build 0719) Copyright (c) 2002-2015 NetSarang Computer, Inc. All rights reserved. Type `he ...
- 织梦dedeCMS|系统基本配置标签
站点根网址: {dede:global.cfg_basehost/}调出网站的名称: {dede:field.title/}-{dede:global.cfg_webname/} 网站 ...