nutch2.3命令参数解析
nutch中可执行的命令列表
[root@ewanalysis ~]# nutch
Usage: nutch COMMAND
where COMMAND is one of:
inject inject new urls into the database
hostinject creates or updates an existing host table from a text file
generate generate new batches to fetch from crawl db
fetch fetch URLs marked during generate
parse parse URLs marked during fetch
updatedb update web table after parsing
updatehostdb update host table after parsing
readdb read/dump records from page database
readhostdb display entries from the hostDB
index run the plugin-based indexer on parsed batches
elasticindex run the elasticsearch indexer - DEPRECATED use the index command instead
solrindex run the solr indexer on parsed batches - DEPRECATED use the inde x command instead
solrdedup remove duplicates from solr
solrclean remove HTTP and documents from solr - DEPRECATED use the clean command instead
clean remove HTTP and documents and duplicates from indexing b ackends configured via plugins
parsechecker check the parser for a given url
indexchecker check the indexing filters for a given url
plugin load a plugin and run one of its classes main()
nutchserver run a (local) Nutch server on a user defined port
webapp run a local Nutch web application
junit runs the given JUnit test
or
CLASSNAME run the class named CLASSNAME
Most commands print help when invoked w/o parameters.
crawl
Usage: crawl <seedDir> <crawlID> [<solrUrl>] <numberOfRounds>
参数说明:
<seedDir>:包括URL列表的文本文件,它是一个已存在的文件夹。
<crawlID>:爬取的ID编号
[<solrUrl>]:solr解析的建立索引的地址
<numberOfRounds>:爬取的轮次
nutch inject
Usage: InjectorJob <url_dir> [-crawlId <id>]
参数说明:
<url_dir>:包括URL列表的文本文件,它是一个已存在的文件夹。
nutch generate
Usage: GeneratorJob [-topN N] [-crawlId id] [-noFilter] [-noNorm] [-adddays numDays]
参数说明:
[-topN N]:选取前多少个链接,默认值为Long.MAX_VALUE
[-noFilter]:不激活过滤器插件过滤url,默认是true
[-noNorm] :不激活normalizer插件规范化的url,默认是true
[-adddays numDays]: 添加 <numDays>到当前时间,配置crawling urls ,以将很快被爬取db.default.fetch.interval默认值为0。爬取结束时间在当前时间以前的。
nutch fetch
Usage: FetcherJob (<batchId> | -all) [-crawlId <id>] [-threads N] [-resume] [-numTasks N]
参数说明:
[-crawlId <id>]:
[-threads N]:运行的fetcher线程数默认值为 Configuration Key -> fetcher.threads.fetch -> 10
[-resume]:恢复中断的工作
[-numTasks N]:如果N>0,则使用设定的N减少抓取任务(默认值: mapred.map.tasks)
nutch parse
Usage: ParserJob (<batchId> | -all) [-crawlId <id>] [-resume] [-force]
参数说明:
[-crawlId <id>]:
[-resume]:恢复之前中断的任务
[-force]:强制重新解析这个页面,即使这个页面已经被解析过了
nutch updatedb
Usage: DbUpdaterJob (<batchId> | -all) [-crawlId <id>] <batchId> - crawl identifier returned by Generator, or -all for all
generated batchId-s
-crawlId <id> - the id to prefix the schemas to operate on,
(default: storage.crawl.id)
参数说明:
nutch index
Usage: IndexingJob (<batchId> | -all | -reindex) [-crawlId <id>]
参数说明:
nutch2.3命令参数解析的更多相关文章
- 命令参数解析库JCommonder
1.JCommander 是一个非常小的Java 类库,用来解析命令行参数. 2.参数类型:可以是任意类型,但我使用的只有 List,String. @Parameter(name="-s& ...
- Linux – Usermod命令参数解析和实例说明
usermod 命令修改系统帐户文件来反映通过命令行指定的变化 1. 首先看看usermod都是有哪些参数 [root@hxweb101 ~]$ usermod --help Usage: userm ...
- Linux Shell : Test命令参数解析
格式: test conditions test -n string : string 不为空 test -z string : string 为空 test int1 -eq int2 : int ...
- top命令参数解析
PID 进程ID USER 进程所有者的用户名 PR 任务优先级 NI nice值.数值越小表示优先级越高,数值越大表示优先越低. VIRT 进程使用的虚拟内存总量,单位kb.VIRT=SWAP+RE ...
- Linux Top 命令参数解析
转载自:http://www.jb51.net/LINUXjishu/34604.html TOP是一个动态显示过程,即可以通过用户按键来不断刷新当前状态.如果在前台执行该命令,它将独占前台,直到用户 ...
- iptables详解(1):命令参数解析
1.编辑配置网卡信息方法: 1.1 编辑配置文件:vim /etc/sysconfig/network-scripts/ifcfg-lo 1.2 nmtui命令:图形化配置 1.3 nm-connec ...
- dd命令参数解析
seek=N : 跳过N个输出块 skip=N : 跳过N个输入块 注意:sd卡的每个扇区的大小统一为512个字节
- Python命令行参数解析模块argparse
当写一个Python脚本时经常会遇到不同参数不同功能的情况,如何做一个更好看的命令帮助信息以及对命令参数解析呢? 这就需要使用argparse模块 #!/usr/bin/env python # -* ...
- 写个C#命令行参数解析的小工具
最近测试工作做的比较多因此时常要创建一些控制台类型的应用程序.因为程序有不同的参数开关,需要在程序启动的时候通过命令行来给程序传递各种开关和参数.直接操作args有些不方便,所以就写了个解析参数的小工 ...
随机推荐
- MIN (Transact-SQL)【转】
MIN (Transact-SQL) 其他版本 SQL Server 2005 此主题尚未评级 - 评价此主题 返回表达式中的最小值. 后面可能跟随 OVER 子句. Transact-S ...
- K-近邻算法python实现
内容主要来源于机器学习实战这本书.加上自己的理解. 1.KNN算法的简单描写叙述 K近期邻(k-Nearest Neighbor.KNN)分类算法能够说是最简单的机器学习算法了. 它採用測量不同特征值 ...
- DevExpress VCL 2014.1.2 for C++BUILDER XE6
DevExpress VCL 2014.1.2 for C++BUILDER XE6 1)下载 DevExpress VCL 2014.1.2下载链接:http://pan.baidu.com ...
- Java内存泄漏分析与解决方案
Java内存泄漏是每个Java程序员都会遇到的问题,程序在本地运行一切正常,可是布署到远端就会出现内存无限制的增长,最后系统瘫痪,那么如何最快最好的检测程序的稳定性,防止系统崩盘,作者用自已的亲身经历 ...
- last reboot
last reboot是一个linux命令,查看上次重启时间等相关信息
- aps.net js获取服务器控件
document.getElementById("<%= tx_ownerId.ClientID %>").value;
- UVa 821 Page Hopping
题意: 给出一个有向图,求所有路径(两点间的最短路径)的平均值. 分析: 用floyd求两点间的最短距离,然后求平均就好. 代码: #include <iostream>#include ...
- Javascript 常用代码总结
1. document.referrer可以获得上一页的地址,使用document.anchors获得页面上面所有的链接元素,而不必使用 document.getElementsByTagName(' ...
- apple程序生命周期
iphone程序的生命周期分析 做iphone开发首先第一件就是得知道iphone程序的生命周期,说白点就是当点击程序图标启动程序开始到退出程序整个使用运行过程中底下的代码都发生了什么,只有理解了这个 ...
- jsp页面适应手机页面
<meta name="viewport" content="width=device-width, minimum-scale=1.0, maximum-scal ...