1.Nutch2.1问题

1.1

问题:导入完成后,Nutch2.1里面runtime仍旧不能运行,出现jobfailed等错误。

解决:runtime里的nutch调试过程和导入Eclipse差不多,都是在调试配置文件。将Eclipse里能运行的nutch的配置文件,特别是nutch-default.xml,nutch-site.xml,gora.properties替换runtime/local/conf里的文件。

如果仍有错误,打开nutch-default.xml,找到plugin.folders属性项,修改默认value为runtime/local/plugins,可以用绝对路径。绝对路径仍旧有错,用相对路径;相对路径有错,再改到绝对路径。

用相对路径时,注意./表示文件(nutch-default.xml)所在包(conf)的平级路径,此处的相对路径也就是./plugins。

1.2

问题:nutch在抓取数据时提示,“skiped,content xxxx truncated to xxxx”,并且没有插入数据库新的数据。

解决:找到nutch-default.xml属性parser.skip.truncated修改为fasle。

1.3

问题:大面积出现Skipping http://auto.163.com/chemi/; different batch id (null)这样的提示

解决:sb,我还没找到解决办法,就被你贴到网上了。

1.4

问题:很多数据并没有放入数据库webpage中

解决:打开nutch-default.xml文件,找到file.content.limit属性,修改一个更大的值,比如可以修改为67108864;找到http.content.limit属性,修改一个更大的值。使更多的数据能够插入到数据库。

2.solrwenti

2.1

3.mysql问题

3.1

问题:网上创建数据库时,找不到my.cnf

解决:root权限下/etc/mysql/my.cnf

3.2

问题:创建数据库时,加入my.cnf的[mysqld]参数后系统不能启动或识别

解决:确保输入的参数没有拼写错误。仍旧有错误的话查看mysql版本,5.6版本以下的话就不用修改my.cnf了。

3.3

Nutch2.1+solr3.6.1+mysql5.6问题的更多相关文章

  1. Nutch2.1+mysql+solr3.6.1+中文网站抓取

    1.mysql 数据库配置 linux mysql安装步骤省略. 在首先进入/etc/my.cnf (mysql为5.1的话就不用修改my.cnf,会导致mysql不能启动)在[mysqld] 下添加 ...

  2. CENTOS 6.5 平台离线编译安装 Mysql5.6.22

    一.下载源码包 http://cdn.mysql.com/archives/mysql-5.6/mysql-5.6.22.tar.gz 二.准备工作 卸载之前本机自带的MYSQL 安装 cmake,编 ...

  3. 在 Windows7 上按照 MySQL5.7

    在 Windows7 上按照 MySQL5.7 1.从官网下载最新版本的 MySQL,这里下载的是 mysql-5.7.17-win32: 2.将下载的 mysql-5.7.17-win32.zip ...

  4. Win7安装MySQL-5.7.16过程

    1.在C盘新建MYSQL文件夹:2.将mysql-5.7.16-winx64拷贝到C:\MYSQL文件夹下,更名为mysql-5.7.16:3.在mysql-5.7.16目录下,建my.ini文件,内 ...

  5. mysql-5.6.34 Installation from Source code

    Took me a while to suffer from the first successful souce code installation of mysql-5.6.34. Just pu ...

  6. mysql5.x升级至mysql5.7后导入之前数据库date出错的解决方法!

    mysql5.x升级至mysql5.7后导入之前数据库date出错的解决方法! 修改mysql5.7的配置文件即可解决,方法如下: linux版:找到mysql的安装路径进入默认的为/usr/shar ...

  7. 搭建LNAMP环境(一)- 源码安装MySQL5.6

    1.yum安装编译mysql需要的包 yum -y install gcc-c++ make cmake bison-devel ncurses-devel perl 2.为mysql创建一个新的用户 ...

  8. windows7 下 apache2.4 和 php5.5 及 mysql5.6 的安装与配置

    要准备的软件 httpd-2.4.9-win32-VC11.zip http://www.apachelounge.com/download/ php-5.5.13-Win32-VC11-x86.zi ...

  9. Mysql5.6 online ddl

    Innodb性能改善方面: --Users can add indexes and perform standard table alterations while the database rema ...

随机推荐

  1. java.IO.EOFException异常

    错误代码为: 43 boolean booleanResult = dis.readBoolean();//dis为DateInputStream的实例 44 System.out.println(b ...

  2. docker (二):容器container

    docker使用入门(二):容器container docker层次结构可以分为三层,从下往上是:容器(container).服务(services).堆栈(stack),其中services定义了容 ...

  3. proxy_banner

  4. [NOIP2018 PJ T4]对称二叉树

    题目大意:问一棵有根带权二叉树中最大的对称二叉树子树,对称二叉树为需满足将这棵树所有节点的左右子树交换,新树和原树对应位置的结构相同且点权相等. 题解:在对称二叉树中,对于深度相同的两个节点$u,v$ ...

  5. 基于MBT的自动化测试工具——GraphWalker介绍和实际使用

    GraphWalker是一个开源的基于模型的自动化测试工具,它可以用来通过图形测试模型来自动生成测试用例. 本文主要描述了使用yed画出FSM, EFSM模型图(常见的流程图),然后使用GraphWa ...

  6. C# vb .net实现色调调整特效滤镜

    在.net中,如何简单快捷地实现Photoshop滤镜组中的色调调整呢?答案是调用SharpImage!专业图像特效滤镜和合成类库.下面开始演示关键代码,您也可以在文末下载全部源码: 设置授权 第一步 ...

  7. 1-redis使用笔记

    1.清空当前redis数据库缓存FLUSHDB flushdb 2.清空整个redis缓存FLUSHALL flushall 3.设置 SET w3ckey redis 4.获取 GET w3ckey ...

  8. ERROR: Cannot uninstall 'chardet'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.

    pip 安装 docker库报错: ERROR: Cannot uninstall 'chardet'. It is a distutils installed project and thus we ...

  9. python进程不能并行的原因,进程阻塞

    上图红色框的写法进程会阻塞,并不能实现多进程.这种写法不需要调用start方法也会执行. 注意:正常写法是上图红框下面的代码,即可实现多进程.

  10. 逗号分隔的字符串转成表格参与IN条件查询

    返回值为'1,2,3,4,5,6,7',是一个字符串,如果要用IN 查询的话sql认为这是一个完整的字符串,需要将内容分隔转换变成table 定义函数如下: create Function sysfS ...