coreseek增量索引

1、在多数情况下，因为Coreseek索引速度高达10MB/s，所以只需要创建一个索引源即可满足需求，但是在数据量随时激增的大型应用中（如SNS、评论系统等），单一的索引源将会给indexer造成极大的性能负荷

2、增量索引能够在一定程度上提升Coreseek索引性能，降低CPU使用率。增量索引的原理非常简单，即使用“主索引+增量索引”的方式创建索引。其中主索引存放放50%以上的数据量，增量索引表通常只需要存放较近插入的数据即可（增量索引表允许有多个索引表组成）。增量索引是通过主从素银继承实现的，继承的格式为“增量索引:父索引”，如以下代码所示：

#主索引
source main
{

}

#生成索引
index main
{

}

# 增量索引
source delta:main
{

}
#delta
index delta:main
{

}
#全局index定义
indexer
{
　　mem_limit = 128M
}
#searchd服务定义
searchd
{

}

　　通过继承，增量索引配置就拥有了主索引全部配置信息。淡然也可以重新设置增量索引的配置信息，这些配置信息将覆盖主索引配置项。如以下代码所示：

#源定义
source mysql
{
    type                    = mysql

    sql_host                = localhost
    sql_user                = test
    sql_pass                = root
    sql_db                    = kp_account
    sql_port                = 3306
    sql_query_pre            = SET NAMES utf8

    sql_query                = SELECT goods_id, goods_id as gid, goods_name, add_time FROM fc_goods where goods_id < 10
                                                              #isql_query第一列id需为整数
                                                              #title、content作为字符串/文本字段，被全文索引
    sql_attr_uint            = gid           #从SQL读取到的值必须为整数
    sql_attr_timestamp        = add_time #从SQL读取到的值必须为整数，作为时间属性

    sql_query_info_pre      = SET NAMES utf8                                        #命令行查询时，设置正确的字符集
    sql_query_info            = SELECT * FROM documents WHERE id=$id #命令行查询时，从数据库读取原始数据信息
}

#index定义
index mysql
{
    source            = mysql             #对应的source名称
    path            = /Data/apps/coreseek/var/data/mysql #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...
    docinfo            = extern
    mlock            = 0
    morphology        = none
    min_word_len        = 1
    html_strip                = 0

    #中文分词配置，详情请查看：http://www.coreseek.cn/products-install/coreseek_mmseg/
    #charset_dictpath = /usr/local/mmseg3/etc/ #BSD、Linux环境下设置，/符号结尾
    charset_dictpath = /Data/apps/mmseg3/etc/
    #charset_dictpath = etc/                             #Windows环境下设置，/符号结尾，最好给出绝对路径，例如：C:/usr/local/coreseek/etc/...
    charset_type        = zh_cn.utf-8
}

# 增量索引
source mysql1:mysql
{
    sql_query_pre = SET NAMES utf8
    sql_query = SELECT goods_id, goods_id as gid, goods_name, add_time FROM fc_goods where goods_id >= 10
}
#mysql1定义
index mysql1:mysql
{
    source = mysql1
    path = /Data/apps/coreseek/var/data/mysql1
    charset_dictpath = /Data/apps/mmseg3/etc/
    charset_type = zh_cn.utf-8
}

#全局index定义
indexer
{
    mem_limit            = 128M
}

#searchd服务定义
searchd
{
    listen                  =   9312
    read_timeout        = 5
    max_children        = 30
    max_matches            = 1000
    seamless_rotate        = 0
    preopen_indexes        = 0
    unlink_old            = 1
    pid_file = /Data/apps/coreseek/var/log/searchd_mysql.pid  #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...
    log = /Data/apps/coreseek/var/log/searchd_mysql.log        #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...
    query_log = /Data/apps/coreseek/var/log/query_mysql.log #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...
}

　　上述配置文件定义了一个mysql主索引和一个mysql1增量索引，为了方便演示，这里讲主索引数据范围限制为id<10的数据；而在mysql1增量索引中限制id>=10的数据，这样就实现了主从索引（即增量索引）。在合并主从索引前，首先需要生成增量索引，命令如下：

[root@localhost ~]# /Data/apps/coreseek/bin/indexer -c /Data/apps/coreseek/etc/csft_mysql.conf mysql1 --rotate // 生成增量索引

　　增量索引生成之后

[root@localhost ~]# /Data/apps/coreseek/bin/indexer -c /Data/apps/coreseek/etc/csft_mysql.conf --merge mysql mysql1 --rotate  // 合并主从索引

　　这样就完成了增量索引的配置。

，只需要使用merge选项讲增量索引表合并到主索引表即可。