Generator:  records selected for fetching, exiting ...

Stopping at depth= - no more URLs to fetch.

出现上面的错误一般都会是nutch/conf/crawl-urlfilter.txt中的配置出现的不可预见的错误

我在网上找了好多配置发现

# accept hosts in MY.DOMAIN.NAME

+^http://([a-z0-9]*/.)*360buy.com/
([a-z0-9]*/.)里的/这个写错了，正确的如下：
# accept hosts in MY.DOMAIN.NAME

+^http://([a-z0-9]*\.)*qq.com/
												


											
no more URLs to fetch的更多相关文章
	

    
								
  1. Libcurl多线程crash问题（cento）
		
    cento :http://blog.csdn.net/delphiwcdj/article/details/18284429 1 问题背景 后台系统有一个单线程的http接口,为了提高并发处理能力, ...
    
		
    2. 
						
  2. Nutch源码阅读进程3---fetch
		
    走了一遍Inject和Generate,基本了解了nutch在执行爬取前的一些前期预热工作,包括url的过滤.规则化.分值计算以及其与mapreduce的联系紧密性等,自我感觉nutch的整个流程是很 ...
    
		
    3. 
						
  3. HTTP Header Injection in Python urllib
		
    catalogue . Overview . The urllib Bug . Attack Scenarios . 其他场景 . 防护/缓解手段 1. Overview Python's built ...
    
		
    4. 
						
  4. 爬虫Larbin解析(一)——Larbin配置与使用
		
    介绍 功能:网络爬虫 开发语言:c++ 开发者:Sébastien Ailleret(法国) 特点:只抓取网页,高效(一个简单的larbin的爬虫可以每天获取500万的网页) 安装 安装平台:Ubun ...
    
		
    5. 
						
  5. larbin是一种开源的网络爬虫/网络蜘
		
    larbin是一种开源的网络爬虫/网络蜘蛛,由法国的年轻人 Sébastien Ailleret独立开发.larbin目的是能够跟踪页面的url进行扩展的抓取,最后为搜索引擎提供广泛的数据来源.Lar ...
    
		
    6. 
						
  6. GO语言的进阶之路-协程和Channel
		
    GO语言的进阶之路-协程和Channel 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 看过我之前几篇博客小伙伴可能对Golang语言的语法上了解的差不多了,但是,如果想要你的代码 ...
    
		
    7. 
						
  7. Nutch源码阅读进程3
		
    走了一遍Inject和Generate,基本了解了nutch在执行爬取前的一些前期预热工作,包括url的过滤.规则化.分值计算以及其与mapreduce的联系紧密性等,自我感觉nutch的整个流程是很 ...
    
		
    8. 
						
  8. [日常] Go语言圣经--JSON习题2
		
    练习 4.12: 流行的web漫画服务xkcd也提供了JSON接口.例如,一个 https://xkcd.com/571/info.0.json 请求将返回一个很多人喜爱的571编号的详细描述. 下载 ...
    
		
    9. 
						
  9. Python threads synchronization: Locks, RLocks, Semaphores, Conditions, Events and Queues(Forwarding)
		
    This article describes the Python threading synchronization mechanisms in details. We are going to s ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. 7.JAVA编程思想笔记隐藏实施过程
			
    欢迎转载,转载请标明出处:http://blog.csdn.net/notbaron/article/details/51040237 "进行面向对象的设计时,一项主要的考虑是:怎样将发生变 ...
    
			
    2. 
						
  2. sql   time 比较
			
    数据字段为varchar类型的,格式:20110228 151010想进行时间比较,搜索一个范围内的时间select * from table where  ' 20120102' <`time ...
    
			
    3. 
						
  3. 抽象类的子类能够new
			
    纠结了半天,我以为继承了Activity后不能new这里被那个onCreate方法迷惑了以为会出现故障一直没直接创建对象类使用 后来试了试才知道 activity似乎是一个抽象类吧. 你要用他的方法, ...
    
			
    4. 
						
  4. # kubernetes调度之nodeName与NodeSelector
			
    系列目录 Kubernetes的调度有简单,有复杂,指定NodeName和使用NodeSelector调度是最简单的,可以将Pod调度到期望的节点上. 本文主要介绍kubernetes调度框架中的No ...
    
			
    5. 
						
  5. Java的泛型约束和限制
			
    不能用基本类型实例化类型参数 不能用类型参数代替基本类型:例如,没有Pair<double>,只有Pair<Double>,其原因是类型擦除.擦除之后,Pair类含有Objec ...
    
			
    6. 
						
  6. transient、volatile关键字
			
    transient是在对象序列化的时候,不参与序列化的字段. 如LinkedList实现了Serializable,其中有变量transient int size = 0; 在Serializable ...
    
			
    7. 
						
  7. 【TensorFlow-windows】(二) 实现一个去噪自编码器
			
    主要内容: 1.自编码器的TensorFlow实现代码(详细代码注释) 2.该实现中的函数总结 平台: 1.windows 10 64位 2.Anaconda3-4.2.0-Windows-x86_6 ...
    
			
    8. 
						
  8. 在mac下搭建Apacheserver
			
    Apache作为最流行的Webserver端软件之中的一个.它的长处与地位不言而喻.以下介绍下在mac下搭建Apacheserver的步骤: (1)"前往" –>" ...
    
			
    9. 
						
  9. php 面向对象的三大要素（封装、继承、多态）以及重写（override）和重载（overload）的举例说明
			
    PHP是一种HTML内嵌式的,用来制作动态网页的服务器端的脚本语言.其特点是:开发周期短,稳定安全,简单易学,免费开源,良好的跨平台特性.PHP是一种面向对象的程序设计语言,目前已成为全球最受欢迎的五 ...
    
			
    10. 
						
  10. bootstrap-table 行内编辑
			
    1.文件引入 <link rel="stylesheet" href="bootstrap.css"> <link rel="sty ...
    
			
    11.