Nutch2.1+solr3.6.1+mysql5.6问题
1.Nutch2.1问题
1.1
问题:导入完成后,Nutch2.1里面runtime仍旧不能运行,出现jobfailed等错误。
解决:runtime里的nutch调试过程和导入Eclipse差不多,都是在调试配置文件。将Eclipse里能运行的nutch的配置文件,特别是nutch-default.xml,nutch-site.xml,gora.properties替换runtime/local/conf里的文件。
如果仍有错误,打开nutch-default.xml,找到plugin.folders属性项,修改默认value为runtime/local/plugins,可以用绝对路径。绝对路径仍旧有错,用相对路径;相对路径有错,再改到绝对路径。
用相对路径时,注意./表示文件(nutch-default.xml)所在包(conf)的平级路径,此处的相对路径也就是./plugins。
1.2
问题:nutch在抓取数据时提示,“skiped,content xxxx truncated to xxxx”,并且没有插入数据库新的数据。
解决:找到nutch-default.xml属性parser.skip.truncated修改为fasle。
1.3
问题:大面积出现Skipping http://auto.163.com/chemi/; different batch id (null)这样的提示
解决:sb,我还没找到解决办法,就被你贴到网上了。
1.4
问题:很多数据并没有放入数据库webpage中
解决:打开nutch-default.xml文件,找到file.content.limit属性,修改一个更大的值,比如可以修改为67108864;找到http.content.limit属性,修改一个更大的值。使更多的数据能够插入到数据库。
2.solrwenti
2.1
3.mysql问题
3.1
问题:网上创建数据库时,找不到my.cnf
解决:root权限下/etc/mysql/my.cnf
3.2
问题:创建数据库时,加入my.cnf的[mysqld]参数后系统不能启动或识别
解决:确保输入的参数没有拼写错误。仍旧有错误的话查看mysql版本,5.6版本以下的话就不用修改my.cnf了。
3.3
Nutch2.1+solr3.6.1+mysql5.6问题的更多相关文章
- Nutch2.1+mysql+solr3.6.1+中文网站抓取
1.mysql 数据库配置 linux mysql安装步骤省略. 在首先进入/etc/my.cnf (mysql为5.1的话就不用修改my.cnf,会导致mysql不能启动)在[mysqld] 下添加 ...
- CENTOS 6.5 平台离线编译安装 Mysql5.6.22
一.下载源码包 http://cdn.mysql.com/archives/mysql-5.6/mysql-5.6.22.tar.gz 二.准备工作 卸载之前本机自带的MYSQL 安装 cmake,编 ...
- 在 Windows7 上按照 MySQL5.7
在 Windows7 上按照 MySQL5.7 1.从官网下载最新版本的 MySQL,这里下载的是 mysql-5.7.17-win32: 2.将下载的 mysql-5.7.17-win32.zip ...
- Win7安装MySQL-5.7.16过程
1.在C盘新建MYSQL文件夹:2.将mysql-5.7.16-winx64拷贝到C:\MYSQL文件夹下,更名为mysql-5.7.16:3.在mysql-5.7.16目录下,建my.ini文件,内 ...
- mysql-5.6.34 Installation from Source code
Took me a while to suffer from the first successful souce code installation of mysql-5.6.34. Just pu ...
- mysql5.x升级至mysql5.7后导入之前数据库date出错的解决方法!
mysql5.x升级至mysql5.7后导入之前数据库date出错的解决方法! 修改mysql5.7的配置文件即可解决,方法如下: linux版:找到mysql的安装路径进入默认的为/usr/shar ...
- 搭建LNAMP环境(一)- 源码安装MySQL5.6
1.yum安装编译mysql需要的包 yum -y install gcc-c++ make cmake bison-devel ncurses-devel perl 2.为mysql创建一个新的用户 ...
- windows7 下 apache2.4 和 php5.5 及 mysql5.6 的安装与配置
要准备的软件 httpd-2.4.9-win32-VC11.zip http://www.apachelounge.com/download/ php-5.5.13-Win32-VC11-x86.zi ...
- Mysql5.6 online ddl
Innodb性能改善方面: --Users can add indexes and perform standard table alterations while the database rema ...
随机推荐
- [转帖]ARM A77+G77最强公版架构:联发科5G SoC计划11月26日发布
ARM A77+G77最强公版架构:联发科5G SoC计划11月26日发布 https://www.cnbeta.com/articles/tech/909025.htm 主流的手机SoC厂商已经纷纷 ...
- 为什么Apache Kafka如此受欢迎
1.目标 今天,在这个Kafka教程中,我们将学习所有Kafka功能,如可扩展性,可靠性,耐用性,这些都说明了Kafka如此受欢迎的原因.我们将详细讨论Kafka的每个功能.但在那之前让我们明白什么是 ...
- css3 网页图片轮播的实现
.lunbo{ height: 640px; width: 100%; background-position: -280px; margin-top: 103px; -webkit-animatio ...
- Codeforces VP/补题小记 (持续填坑)
Codeforces VP/补题小记 1149 C. Tree Generator 给你一棵树的括号序列,每次交换两个括号,维护每次交换之后的直径. 考虑括号序列维护树的路径信息和,是将左括号看做 ...
- 「PKUWC2018/PKUSC2018」试题选做
「PKUWC2018/PKUSC2018」试题选做 最近还没想好报THUSC还是PKUSC,THU发我的三类约(再来一瓶)不知道要不要用,甚至不知道营还办不办,协议还有没有用.所以这些事情就暂时先不管 ...
- MVC-09安全
部分8:添加安全. MVC应用程序安全性 Models文件夹包含表示应用程序模型的类. Visual Web Developer自动创建AccountModels.cs文件,该文件包含用于应用程序认证 ...
- java之struts2的配置讲解(2)
在 java之struts框架入门教程 基础上,进行下列操作 1.结构对比 原来的项目结构图 现在的结构图 即从结构上可以看出,在HelloStruts项目中增加了config 文件夹(Source ...
- js 简单的滑动4
js 简单的滑动教程(四) 作者:Lellansin 转载请标明出处,谢谢 在大概的了解滑动的基本原理和怎么去实现之后,现在我们将更深入的去讨论js的滑动. 相信细心的朋友应该已经发现了,在本教程 ...
- Python接口自动化基础---环境准备
安装requests模块 pip install requests request帮助文档查看 import requests print(help(requests)) Help on packag ...
- ASP.NET 一般处理程序 接收文件上传
public void ProcessRequest(HttpContext context) { context.Response.ContentType = "text/plain&qu ...