1. 如何绕过目标站点的robots.txt限制 多数站点都是只允许百度.google等搜索引擎抓取的,所以会在robots.txt里限制其他爬虫. nutch自然是会遵循robots协议的,但是我们可以通过修改nutch源码来绕过限制. 相关代码位于(nutch版本1.5.1,其他版本未测试): org.apache.nutch.fetcher.Fetcher的run方法. 找到以下几行代码并注释掉就OK了. if (!rules.isAllowed(fit.u)) { // unblock…

   我在知乎回答问题不多,这个问题: "对你职业生涯帮助最大的习惯是什么?它是如何帮助你的?",我还是主动回答了一下.    做笔记 一开始笔记软件做的不好的时候就发邮件给自己,然后不断的回顾更新笔记; 后来用OneNote,由于这玩意当时不是云同步的,硬盘坏掉的时候丢了一些数据,打击还是挺大,好多事情要从头开始 再后来用过一段时间Google Wave,还以和朋友分享讨论笔记,结果,你们知道关闭服务了,费力导出来 现在转战Evernote和思维导图Conceptdraw 记忆是靠不…

1.Nutch简介 Nutch是一个由Java实现的,开放源代码(open-source)的web搜索引擎.主要用于收集网页数据,然后对其进行分析,建立索引,以提供相应的接口来对其网页数据进行查询的一套工具.其底层使用了Hadoop来做分布式计算与存储,索引使用了Solr分布式索引框架来做,Solr是一个开源的全文索引框架,从Nutch 1.3开始,其集成了这个索引架构. Nutch目前最新的版本为version1.4. 1.1 Nutch的目标 Nutch 致力于让每个人能很容易,同时花费很少…

由于最近把自己电脑环境换成了Ubuntu,但学校的网络是电信的闪讯,大学里用过的人都知道这货有多坑,而且没有Linux客户端,上网都是问题,怪不得国内用Linux的人那么少,特别是高校的学生(让我瞎逼逼下,反正我是恨死电信闪讯啦). 之前有在网上找到过Linux下用虚拟机共享上网的教程,现在百度不到,幸好自己之前有存档.今天用到了,觉得还是写到博客园比较好,万一哪天电脑硬盘坏了呢?废话不多说,上教程,尽力讲明白,看不懂的大家就不要骂我了,我小学语文虽然不是体育老师教的,但是我语文真心不好啊! 一…

ubuntu使用杂记 1.flatabulous安装使用. flatabulous是一个ubuntu图标主题. 使用它,必须得安装tweak插件. sudo add-apt-repository ppa:tualatrix/ppa sudo apt-get update sudo apt-get install gnome-tweak-tool 然后再安装flatabulous主题. sudo add-apt-repository ppa:noobslab/themes sudo apt-get…

本文目的:讲解Nutch的插件运行时加载原理…

本文目的:分析Apache Nutch 1.9的build.xml文件,从而让读者了解nutch的build全部流程…

Injector(org.apache.nutch.crawl.Injector): 输入:种子列表文件所在的目录 输出:crawldb(保存URL以及其相应信息的数据库) 作用:把种子URL注入到crawldb package org.apache.nutch.crawl; import java.io.*;import java.text.SimpleDateFormat;import java.util.*; // Commons Logging importsimport org.slf…

读取nutch内容有如下两种方法: 1 通过Nutch api SegmentReader读取. public Content readSegment(String segPath,String url){                            Text key= new Text(url);               Path path= new Path(segPath);               Content content = null;             …

看nutch的源码仿佛就是一场谍战片,而构成这精彩绝伦的谍战剧情的就是nutch的每一个从inject->generate->fetch->parse->update的环节,首先我党下派任务给优秀的地下工作者(inject),地下工作者经过一系列处理工作(告诉自己媳妇孩子要出差什么的……)以及加入自己的主观能动性(generate),随后深入敌方进行fetch侦查工作,这其中会获得敌方的大量信息,不是一般农民工能看懂的,需要工作者凭借自己渊博的知识储备和经验进行parse,去伪存真…