Nutch1.7学习笔记:基本环境搭建及使用

作者:雨水,时间:2013-10-31博客地址:http://blog.csdn.net/gobitan

说明:Nutch有两个主版本1.x和2.x,它们的主要区别是2.x引入了Gora作为存储抽象层,从而支持各种NoSQL数据库,如HBase,Cassandra等。本文是以1.x的最新版Nutch1.7 (发布于2013年6月25日)为例。

环境准备

  1. 一台Ubuntu Linux服务器,可以装在VMware虚拟机中。
  2. 下载Nutch1.7版本的二进制包,地址:http://www.apache.org/dyn/closer.cgi/nutch/,选择一个站点进入后,下载1.7目录下的apache-nutch-1.7-bin.zip.
  3. 下载Solr3.6版本的二进制包,地址: http://www.apache.org/dyn/closer.cgi/lucene/solr/,选择一个站点进入后,下载3.6.2目录下的apache-solr-3.6.2.zip .

安装配置Nutch

将apache-solr-3.6.2.zip解压,然后执行如下命令:

$mv apache-nutch-1.7nutch

$cd nutch

$bin/nutch

上面两行命令是进入解压后的目录,然后执行nutch命令。如果出现” Usage: nutch COMMAND”的帮助提示,则表明安装成功。如果有问题,可以检查看bin/nutch是否有可执行权限,如果没有可执行”chmod +x bin/nutch”命令添加可执行权限然后再尝试”bin/nutch”。

2. 配置JAVA_HOME环境变量

执行” echo $JAVA_HOME”如果返回空,则表明该变量未设置。需执行如下命令:

$cd

$vi .bashrc

然后将如下文本加入到.bashrc的末尾,注意:需将JAVA_HOME的值替换为你的Javajdk的路径。如果没有安装JDK,建议安装OracleJDK.

export JAVA_HOME=/home/dennis/jdk1.6.0_37

然后执行如下命令刷新当前的环境变量:

$. .bashrc

3. 配置Nutch

(1)配置conf/nutch-default.xml

$cd nutch

$ vi conf/nutch-default.xml

将http.agent.name属性的值改为如下:

<property>

 <name>http.agent.name</name>

 <value>My Nutch Spider</value>

</property>

(2) 创建urls相关配置:

$ mkdir urls

$cd urls

$ touch seed.txt

然后将你希望爬的网址放入seed.txt中,这里以” http://nutch.apache.org”为例。

(3) 编辑conf/regex-urlfilter.txt将原有的

# accept anything else

+.

替换为你以正则表达式匹配的你希望爬的地址。例如:

+^http://([a-z0-9]*\.)*nutch.apache.org/

这是用正则表达式来限制爬虫的范围仅限于nutch.apache.org这个域。

运行Nutch:

$ bin/nutch crawl urls -dir crawl -depth 3 -topN5

运行上述命令执行爬虫。

与Solr集成:

1. 安装:将apache-solr-3.6.2.zip解压,然后执行如下命令:

$mv apache-solr-3.6.2 solr

$cd solr/example

$ java -jar start.jar

2. 验证:分别访问如下两个链接,需都能正常访问才可。

http://localhost:8983/solr/admin/

http://localhost:8983/solr/admin/stats.jsp

3. 与Nutch集成:

(1) 拷贝schema.xml配置文件

将nutch/conf/schema-solr.xml拷贝至solr/example/solr/conf/下,并重命名为schema.xml(覆盖原有的)。

(2) 执行”java -jar start.jar”重启Solr,需先进入solr/example目录。

(3) 执行Solr索引命令,如下:

bin/nutch solrindex http://127.0.0.1:8983/solr/crawl/crawldb -linkdb crawl/linkdb crawl/segments/*

注意:执行时需先进入nutch目录。

(4) 访问http://192.168.128.129:8983/solr/admin/测试,可以在Query String中输入” GettingStarted”进行查询,可以得到两个结果。

还可以集成中文分词,以便更好地支持中文。

集成中文分词相关配置如下:

 

schema.xml

<fieldType name="text"class="solr.TextField">

<analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>

</fieldType>

solrconfig.xml

<lib dir="../../contrib/ik/lib"regex=".*\.jar" />

同时需下载对应的jar包放至相应的目录。

参考资料:

1. http://wiki.apache.org/nutch/NutchTutorial

Nutch1.7学习笔记:基本环境搭建及使用的更多相关文章

  1. Android Studio 学习笔记(一)环境搭建、文件目录等相关说明

    Android Studio 学习笔记(一)环境搭建.文件目录等相关说明 引入 对APP开发而言,Android和iOS是两大主流开发平台,其中区别在于 Android用java语言,用Android ...

  2. 我的Java学习笔记 -开发环境搭建

    开始学习Java~ 一.Java简介 Java编程语言是一种简单.面向对象.分布式.解释型.健壮安全.与系统无关.可移植.高性能.多线程和动态的语言. Java分为三个体系: JavaSE(J2SE) ...

  3. Django学习笔记 开发环境搭建

    为什么使用django?1.支持快速开发:用python开发:数据库ORM系统,并不需要我们手动地构造SQL语句,而是用python的对象访问数据库,能够提升开发效率.2.大量内置应用:后台管理系统a ...

  4. cocos2d-x lua 学习笔记(1) -- 环境搭建

    Cocos2d-x 3.0以上版本的环境搭建和之前的Cocos2d-x 2.0 版差异较大的,同时从Cocos2d-x 3.0项目打包成apk安卓应用文件,搭建安卓环境的步骤有点繁琐,但搭建一次之后, ...

  5. SpringData JPA的学习笔记之环境搭建

    一.环境搭建 1.加入jar包   spring jar+jpa jar +springData jar >>SpringData jar包     2.配置applicationCont ...

  6. Mybatis学习笔记之---环境搭建与入门

    Mybatis环境搭建与入门 (一)环境搭建 (1)第一步:创建maven工程并导入jar包 <dependencies> <dependency> <groupId&g ...

  7. 前端框架vue学习笔记:环境搭建

    兼容性 不兼容IE8以下 Vue Devtools 能够更好的对界面进行审查和调试 环境搭建 1.nodejs(新版本的集成了npm)[npm是node包管理 node package manager ...

  8. Web安全测试学习笔记 - vulhub环境搭建

    Vulhub和DVWA一样,也是开源漏洞靶场,地址:https://github.com/vulhub/vulhub 环境搭建过程如下: 1. 下载和安装Ubuntu 16.04镜像,镜像地址:htt ...

  9. 【Django学习笔记】-环境搭建

    对于初学django新手,根据以下步骤可以快速进行Django环境搭建 虚拟环境创建 使用virtualenv创建并启用虚拟机环境 ,关于virtualenv可参考https://www.yuque. ...

  10. go 学习笔记之环境搭建

    千里之行始于足下,开始 Go 语言学习之旅前,首先要搭建好本地开发环境,然后就可以放心大胆瞎折腾了. Go 的环境安装和其他语言安装没什么特别注意之处,下载安装包下一步下一步直到完成,可能唯一需要注意 ...

随机推荐

  1. 利用在线HTTP接口测试工具ApiPost,模拟移动端请求API接口

    我们做开发一般都是在PC端,然而我们很多时候需要模拟移动端进行接口请求. 比如,当一个API需要根据用户不同的终端来返回不同的数据时,就需要一个工具来模拟不同的终端了. 利用接口测试工具ApiPost ...

  2. Git的一些常用命令

    一:Git是什么? Git是目前世界上最先进的分布式版本控制系统. 简单的说就是托管代码的便于多人开发的管理系统. 二.Git的一些命令,我详细的说一下 我是基于github给大家说一下git的一些常 ...

  3. 堆排序之Java实现

    堆排序之Java实现 代码: package cn.com.zfc.lesson21.sort; /** * * @title HeapSort * @describe 堆排序 * @author 张 ...

  4. BZOJ 3621: 我想那还真是令人高兴啊 计算几何 复数

    https://www.lydsy.com/JudgeOnline/problem.php?id=3621 给定两个三角形,其中一个可以通过以某点为中心旋转并放缩的方式得到另一个,求这个中心 http ...

  5. eclipse闪退解决(转)

    最近帮同事解决一个eclipse闪退解决的问题,从网上找了N多方法皆无效,最后用一个园友的博客上的方法解决了,特转载一下. 解决办法: 删除文件 [workspace]/.metadata/.plug ...

  6. 吴恩达-coursera-机器学习-week6

    十.应用机器学习的建议(Advice for Applying Machine Learning) 10.1 决定下一步做什么 10.2 评估一个假设 10.3 模型选择和交叉验证集 10.4 诊断偏 ...

  7. Xtreme8.0 - Back to Square 1 数学

    Back to Square 1 题目连接: https://www.hackerrank.com/contests/ieeextreme-challenges/challenges/back-to- ...

  8. iOS 七牛多张图片上传

    -(void)uploadImages:(NSArray *)images atIndex:(NSInteger)index token:(NSString *)token uploadManager ...

  9. 【原】使用Eclipse远程Debug测试环境

    [环境参数] Eclipse:Version: Mars.2 Release (4.5.2) Linux:centOS 6.5 [简述] Java自身支持调试功能,并提供了一个简单的调试工具--JDB ...

  10. 收集的MySQL的面试题分享给大家

    1.怎样登陆mysql数据库 mysql -u username -p 2.怎样开启/关闭mysql服务 service mysql start/stop 3.查看mysql的状态 service m ...