一, 前言   

1,研究coreseek的动机

   我有一个自己的笔记博客,经常在上面做一些技术文章分析。在查询一些文章的时候,以前只能将要查询的内容去mysql中用like模糊匹配。在文章多了的情况下,这样做法效率肯定不行。于是我把目标投向了中文搜索插件coreseek,并成功的把它使用到了我的项目当中。

效果图:

希望通过这篇分析,让有兴趣的同学少走些弯路。

2,概念介绍

  sphinx是开源的搜索引擎,它支持英文的全文检索。但英文的天然分词符是空格,而中文则有比较复杂的分词要求。中国人提供了一个可供企业使用的,基于Sphinx的中文全文检索引擎。也就是说Coreseek实际上的内核还是Sphinx。但其最大的不同是coreseek有一个中文分词利器mmseg。

3,环境介绍

  系统:Ubuntu

  http服务:Apache/2.2.22

  Mysql:  Ver 14.14 Distrib 5.5.41

  PHP:  PHP 5.3.10

  二, 下载并安装Coreseek   

安装步骤

下载coreseek-3.2.14.tar.gz,并放置在/usr/local/src

首先,为了避免安装中出现依赖包缺失,你需要补一下血

apt-get install make gcc g++ automake libtool mysql-client libmysqlclient15-dev libxml2-dev libexpat1-dev

上面那个命令你执行就行,不然可能会因为软件包不够新出现各种奇葩问题。比如我就更新了159M的软件包。(我在遇到各种坑后才回头补的血)

1,安装mmseg分词模块

cd /usr/local/src

tar zxvf coreseek-3.2..tar.gz #解压

cd coreseek-3.2.

cd mmseg-3.2.

./bootstrap #输出的warning信息可以忽略,如果出现error则需要解决

./configure --prefix=/usr/local/mmseg3 #配置

make #编译

make install #安装

1.1)可能遇到的问题和解决办法:
在执行./bootstrap时出现./bootstrap: 27: ./bootstrap: autoconf: not found 的错误,

原因:因为没有安装automake 工具, (ubuntu 10.04)用下面的命令安装好就可以了。

sudo apt-get install autoconf automake libtool

1.2)可能遇到的问题:在安装分词模块 mmseg ,编译安装到最后,出现annot find input file: src/Makefile.in      的错误
然后查了一下,只找到解决办法,如下:

aclocal //是一个perl 脚本程序,它的定义是:“aclocal - create aclocal.m4 by scanning configure.ac”

libtoolize --force //运行后有一个错误,不用管它。
automake --add-missing
autoconf
autoheader
make clean

然后在重新编译
./configure --prefix=/usr/local/mmseg3
make && make install
编译安装成功

总结:其实这个报错原因我也没查出来。反正按照解决办法就成功了,谁若知道拜托请留言,谢谢。

2、安装CoreSeek

cd /usr/local/src

cd coreseek-3.2.

cd csft-3.2.

sh buildconf.sh    #输出的warning信息可以忽略,如果出现error则需要解决

./configure --prefix=/usr/local/coreseek  --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql  #配置

make  #编译
make install #安装

3,测试mmseg分词、coreseek搜索、MySQL数据源

cd /usr/local/src

cd coreseek-3.2.14

cd testpack

cat /usr/local/src/coreseek-3.2.14/testpack/var/test/test.xml    #此时应该正确显示中文,如下图所示

/usr/local/mmseg3/bin/mmseg  -d  /usr/local/mmseg3/etc  /usr/local/src/coreseek-3.2.14/testpack/var/test/test.xml

/usr/local/coreseek/bin/indexer -c /usr/local/src/coreseek-3.2.14/testpack/etc/csft.conf --all

/usr/local/coreseek/bin/search -c /usr/local/src/coreseek-3.2.14/testpack/etc/csft.conf 网络搜索

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx-min.conf.dist

/usr/local/coreseek/bin/indexer -c /usr/local/src/coreseek-3.2.14/testpack/etc/csft.conf --all --rotate  #启动服务,更新索引

如图,且无报错。则说明你的coreseek已经能够正常运行了。

3.1)可能遇到的问题与解决办法:

在输入/usr/local/coreseek/bin/indexer -c etc/csft.conf --all,报xmlpipe2 support NOT compiled in. To use xmlpipe2, install missing错误

原因:

缺少xmlpipe2库,解决:

apt-get install expat-*

然后重新编译coreseek,记得make clean

4,coreseek配置和使用

cp  /usr/local/src/coreseek-3.2./testpack/etc/csft_mysql.conf  /usr/local/coreseek/etc/csft_mysql.conf  #拷贝MySQL数据源配置文件

ln -s  /usr/local/coreseek/etc/csft_mysql.conf  /etc/csft_mysql.conf  #添加软连接

vim  /etc/csft_mysql.conf  #编辑,修改

 三, 修改Coreseek配置文件   

以我自己的配置文件为例:

/usr/local/coreseek/etc/csft_mysql.conf

#索引源定义
source mysql
{
type = mysql
sql_host = localhost
sql_user =xxxx
sql_pass =xxxx
sql_db =xxxx
sql_port =
sql_query_pre = SET NAMES utf8
sql_query = SELECT id,id,uid,title,data FROM notebook_notepad
#sql_query第一列id需为整数
#title、data作为字符串/文本字段,被全文索引
sql_attr_uint = id #从SQL读取到的值必须为整数
#sql_attr_timestamp = time #从SQL读取到的值必须为整数,作为时间属性
sql_attr_uint = uid sql_query_info_pre = SET NAMES utf8 #命令行查询时,设置正确的字符集
sql_query_info = SELECT * FROM notebook_notepad WHERE id=$id #命令行查询时,从数据库读取原始数据信息
} #index定义
index mysql
{
source = mysql #对应的source名称
path =/usr/local/coreseek/var/data/mysql #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...
docinfo = extern
mlock =
morphology = none
min_word_len =
html_strip = #中文分词配置,详情请查看:http://www.coreseek.cn/products-install/coreseek_mmseg/
charset_dictpath = /usr/local/mmseg3/etc/ #BSD、Linux环境下设置,/符号结尾
#charset_dictpath = etc/ #Windows环境下设置,/符号结尾,最好给出绝对路径,例如:C:/usr/local/coreseek/etc/...
charset_type = zh_cn.utf-
} #全局index定义
indexer
{
mem_limit = 128M
} #searchd服务定义
searchd
{
listen =
read_timeout =
max_children =
max_matches =
seamless_rotate =
preopen_indexes =
unlink_old =
pid_file =/usr/local/coreseek/var/log/searchd_mysql.pid #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...
log =/usr/local/coreseek/var/log/searchd_mysql.log #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...
query_log =/usr/local/coreseek/var/log/query_mysql.log #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...
}

这样搜索的话就会从索引文件中查出id,uid,title,data字段。

OK,配置完成以后,重启Coreseek 服务就能从生产你想要的查询索引,以后你就可以摆脱mysql的桎梏,什么中文,英文都可以,还自带分词。怎么样,是不是打开了新世界的大门。

下面讲一下重建索引可能出错的地方,以及解决办法。有兴趣的同学看一下,否则可以跳到下一节:PHP测试Coreseek 。

重建索引时报错误:WARNING: failed to open pid_file '/usr/local/coreseek/var/log/searchd_mysql.pid'.

解决方法:
试着停止一下coreseek服务
/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf --stop 停止服务

然后重启
/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf 启动服务

再次建立索引
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all 建立索引

如果提示:FATAL: failed to lock /usr/local/coreseek/var/data/xxxx.spl: Resource temporarily unavailable, will not index. Try --rotate option.

则尝试重建索引
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate 重建索引

 四, PHP测试Coreseek   

1,将sphinxapi.php放到测试目录下

cp  /usr/local/src/coreseek-3.2.14/testpack/api/sphinxapi.php ./

vim test.php

    header("Content-type: text/html; charset=utf-8");
//require("./ ");
$s = new SphinxClient;
$s->setServer("127.0.0.1", 9312);
//SPH_MATCH_ALL, 匹配所有查询词(默认模式); SPH_MATCH_ANY, 匹配查询词中的任意一个; SPH_MATCH_EXTENDED2, 支持特殊运算符查询
$s->setMatchMode(SPH_MATCH_ALL);
$s->setMaxQueryTime(30); //设置最大搜索时间
$s->SetArrayResult(false); //是否将Matches的key用ID代替
$s->SetSelect ( "*" ); //设置返回信息的内容,等同于SQL
$s->SetRankingMode(SPH_RANK_BM25);
$s->SetLimits ( 0, 30, 1000, 0 ); //设置结果集偏移量 SetLimits
$res = $s->query('coreseek','mysql','--single-0-query--'); #[coreseek]关键字,[mysql]数据源source $err = $s->GetLastError();
echo '<pre>';
var_dump($res);
var_dump($res['matches']);
var_export($err);
echo '</pre>';

php5 test.php

运行结果:matches为匹配后的结果集

 五, Coreseek在Thinkphp中的使用   

1,Sphinx扩展安装安装

Coreseek官方教程中建议php使用直接include一个php文件进行操作,事实上php有独立的sphinx模块可以直接操作coreseek(coreseek就是sphinx!)已经进入了php的官方函数库,而且效率更高!但php模块依赖于libsphinxclient包。我是按照以下这篇文章的步骤安装了Sphinx扩展。

感谢:http://blog.csdn.net/e421083458/article/details/21529969

[第一步] 安装依赖libsphinxclient

# cd /var/install/coreseek-4.1-beta/csft-4.1/api/libsphinxclient/
# ./configure --prefix=/usr/local/sphinxclient configure: creating ./config.status
config.status: creating Makefile
config.status: error: cannot find input file: Makefile.in #报错configure失败 //处理configure报错
编译过程中报了一个config.status: error: cannot find input file: src/Makefile.in这个的错误,然后运行下列指令再次编译就能通过了:
# aclocal
# libtoolize --force
# automake --add-missing
# autoconf
# autoheader
# make clean //从新configure编译
# ./configure # make && make install

[第二步] 安装sphinx的PHP扩展

http://pecl.php.net/package/sphinx
# wget http://pecl.php.net/get/sphinx-1.3.0.tgz
# tar zxvf sphinx-1.3..tgz
# cd sphinx-1.3.
# phpize
# ./configure --with-php-config=/usr/bin/php-config --with-sphinx=/usr/local/sphinxclient
# make && make install
# cd /etc/php.d/
# cp gd.ini sphinx.ini
# vi sphinx.ini extension=sphinx.so # service php-fpm restart

安装完PHP的Sphinx扩展后,就可以直接使用$coreseek = new SphinxClient();而无需引入源文件了。

简单说一下我在TP里使用coreseek查询,并高亮关键词的思路:

1,通过sphinx查出id,uid的集合
2,然后$sql = "select * from post where id in($ids)";$res = mysql_query($sql);获取到数据库的真实数据
3,用BuildExcerpts将title和data的关键字高亮,然后分页展示

关键代码:

     $where = array();
$where['uid']=$uid;
if(!empty($search)){ //有需要查找的内容,则去 coreseek 忠查出对应的id
$coreseek = new \SphinxClient();
$coreseek->setServer("127.0.0.1", 9312);
//SPH_MATCH_ALL, 匹配所有查询词(默认模式); SPH_MATCH_ANY, 匹配查询词中的任意一个; SPH_MATCH_EXTENDED2, 支持特殊运算符查询
$coreseek->setMatchMode(SPH_MATCH_ALL);
$coreseek->setMaxQueryTime(30); //设置最大搜索时间
$coreseek->SetArrayResult(false); //是否将Matches的key用ID代替
$coreseek->SetSelect ( "*" ); //设置返回信息的内容,等同于SQL
$coreseek->SetLimits ( 0, 30, 1000, 0 ); //设置结果集偏移量 SetLimits
$res = $coreseek->query($search,'mysql','--single-0-query--');
$key = array_keys($res['matches']);
$where['id']=array('in',$key);
$coreseek->close();
}else{ }
//获取总数据条数
$total=$mod->where($where)->count();

高亮的关键代码:

     if(!empty($search)){
$page->parameter['search']=$search;
//代码高亮
$opt = array("before_match"=>"<font style='font-weight:bold;color:#f00'>","after_match"=>"</font>");
$coreseek1 = new \SphinxClient();
$coreseek1->setServer("127.0.0.1", 9312);
$coreseek1->SetMatchMode(SPH_MATCH_ALL);
$i=0;
$tags_title=array();
foreach($info as $key=>$row){
$tags_title[]=$row['title'];
}
$replace_title=$coreseek1->BuildExcerpts($tags_title,'mysql',$search,$opt);
foreach($info as $key=>&$row){
$info[$key]['title']=$replace_title[$key];
}
$coreseek1->close();
}

OK,至此,coreseek已经能够在TP里完美运行了。这篇分享的文章也可以画上句号了。以上是我一步步安装时的细节,记录下怕以后自己忘记,也希望能给感兴趣的同学一些帮助。文章信息量偏大,如果有哪些疏漏,万望指正!

coreseek (sphinx)+ Mysql + Thinkphp搭建中文搜索引擎详解的更多相关文章

  1. Coreseek + Sphinx + Mysql + PHP构建中文检索引擎

    首先明确几个概念 Sphinx是开源的搜索引擎,它支持英文的全文检索.所以如果单独搭建Sphinx,你就已经可以使用全文索引了.但是往往我们要求的是中文索引,怎么做呢?国人提供了一个可供企业使用的,基 ...

  2. coreseek+sphinx+mysql+thinkphp整合

    1.安装coreseek 1.1首先升级或安装系统依赖库 yum install make gcc g++ automake libtool mysql-client libmysqlclient15 ...

  3. MySQL Cluster 配置文件(config.ini)详解

    MySQL Cluster 配置文件(config.ini)详解 ################################################################### ...

  4. 【转】jumpserver 堡垒机环境搭建(图文详解)

    jumpserver 堡垒机环境搭建(图文详解)   摘要: Jumpserver 是一款由python编写开源的跳板机(堡垒机)系统,实现了跳板机应有的功能.基于ssh协议来管理,客户端无需安装ag ...

  5. 基于CentOS6.5下snort+barnyard2+base的入侵检测系统的搭建(图文详解)(博主推荐)

    为什么,要写这篇论文? 是因为,目前科研的我,正值研三,致力于网络安全.大数据.机器学习研究领域! 论文方向的需要,同时不局限于真实物理环境机器实验室的攻防环境.也不局限于真实物理机器环境实验室的大数 ...

  6. 基于Windows7下snort+apache+php 7 + acid(或者base) + adodb + jpgraph的入侵检测系统的搭建(图文详解)(博主推荐)

    为什么,要写这篇论文? 是因为,目前科研的我,正值研三,致力于网络安全.大数据.机器学习.人工智能.区域链研究领域! 论文方向的需要,同时不局限于真实物理环境机器实验室的攻防环境.也不局限于真实物理机 ...

  7. Shodan搜索引擎详解及Python命令行调用

    shodan常用信息搜索命令 shodan配置命令 shodan init T1N3uP0Lyeq5w0wxxxxxxxxxxxxxxx //API设置 shodan信息收集 shodan myip ...

  8. mysql中event的用法详解

    一.基本概念mysql5.1版本开始引进event概念.event既“时间触发器”,与triggers的事件触发不同,event类似与linux crontab计划任务,用于时间触发.通过单独或调用存 ...

  9. MYSQL常用内置函数详解说明

    函数中可以将字段名当作变量来用,变量的值就是该列对应的所有值:在整理98在线字典数据时(http://zidian.98zw.com/),有这要一个需求,想从多音字duoyinzi字段值提取第一个拼音 ...

随机推荐

  1. atitit。ocr框架类库大全 attilax总结

    atitit.ocr框架类库大全 attilax总结 Tesseract Asprise JavaOCR 闲来无事,发现百度有一个OCR文字识别接口,感觉挺有意思的,拿来研究一下. 百度服务简介:文字 ...

  2. java 线程协作 yield()

    yield():方法的定义 调用yield方法会让当前线程交出CPU权限,让CPU去执行其他的线程. 但是yield不能控制具体的交出CPU的时间,另外,yield方法只能让拥有相同优先级的线程有获取 ...

  3. Jenkins的系统设置

    1.登录Jenkins进入以下界面: 2.点击 系统管理 3.点击 系统设置 (下图的系统设置是已经设置好的) 4.这里设置主要设置 Jenkins URL (这里我是测试的所以使用默认的)与 邮件的 ...

  4. Leetcode 69 Sqrt(x) 二分查找(二分答案)

    可怕的同时考数值溢出和二分的酱油题之一,常在各种小公司的笔试中充当大题来给你好看... 题意很简单,在<二分查找综述>中有描述. 重点:使用简单粗暴的long long来避免溢出,二分均方 ...

  5. 开源IM工程“蘑菇街TeamTalk”的现状:一场有始无终的开源秀

    1.前言 随着云IM的发展,已吸引越来越多有IM需求的APP接入.但考虑到云IM无论从商业模式还是运营模式上,还需经过多年的沉淀,才可能真正实现客户与服务商的运营和服务良性循环的双赢局面.在此之前,加 ...

  6. win环境安装python爬虫框架scrapy

    #官网下载python for windows #https://www.python.org/downloads/ #安装后在“计算机->属性->高级系统设置->环境变量-> ...

  7. ssh(sturts2_spring_hibernate) 框架搭建之hibernate2

    一.今天要进行解答的是对上次hibernate1进行进一步的完善,这次第一是进一步使用spring注入一个SessionFactory实例,避免了自己new实例:第二是应用数据库池(c3p0). 二. ...

  8. 仿Java的AtomicMarkableReference的AtomicMarkablePointer(C++)

    //@author: Zou Xiaohang //@describe: this class is like AtomicMarkableReference which is in java con ...

  9. git代码回滚:Reset、Checkout、Revert的选择

    代码回滚:Reset.Checkout.Revert的选择 Zhongyi Tong edited this page on Dec 8, 2015 · 5 revisions Pages 19 Ho ...

  10. UWP开发入门(二十三)——WebView

    本篇讨论在UWP开发中使用WebView控件时常见的问题,以及一些小技巧. WebView是实际开发中常用的控件,很多大家抱怨的套网页的应用都是通过WebView来实现的.这里要澄清一个问题,套网页的 ...