nutch 索引

nutch开发环境搭建
    nutch-1.3导入eclipse
    nutch-1.7导入eclipse
nutch部署
    nutch-1.3linux下部署
    nutch-1.7编译
    nutch-1.2与nutch1.3部署的改变
    nutch-2.2.1 hadoop-1.2.1 hbase-0.92.1集群部署
nutch各个模块及功能
nutch二次开发的遇到的一些问题
    nutch的参数传递策略，元数据metadata，通过此功能将nutch改为定向爬虫
    nutch一些重要的配置文件 nutch-default.xml nutch-site.xml regex-urlfilter.txt 及一些常用的参数项
    设置抓取间隔策略
    增量采集
    网页编码问题
    unfetched的url过多
    采集效率的问题
    nutch二次开发
    对外链的处理
    开放式分类目录
nutch常见异常及解决方案
    Exception in thread "Thread-12751" java.lang.OutOfMemoryError: PermGen space   
    java.io.IOException: Cannot run program "bash": error=12, Cannot allocate memory
    failed with: java.lang.NullPointerException
    文章截断及解决方案：（2014-09-01）注：只需要改配置文件
    nutch 分段传输 transfer-encoding：chunked （2014-09-04） 注解：需修改源代码，重新编译
      采集效率问题--缩小采集间隔（20140905）注:更改配置文件就好，不需要重编译
    采集到的数量与实际不符（20140905）注：只需要改配置，不需要编译
写一个最简易的小爬虫
做网络爬虫的一些辅助工具

配置文件举例