sphinx实时索引和高亮显示

时间 2014-06-25 14:50:58  linux技术分享 -欧阳博客

上次介绍了coreseek与sphinx的区别，并详细记录了安装coreseek文档说明，以及给php加上sphinx模块，详细内容请参考我写的coreseek详解这篇文档，这次主要介绍sphinx是如何做到实时索引.首先配置进入到coreseek配置文件目录，对原始配置文件进行配制，这里介略说下coreseek配制文件，主要分为主数据源，增量数据源，主索引，增量索引，索引器配制、以及还有守护进程配制。如果应用在大型系统上还会涉及到分布式索引，和增量分布式索引，由于分布式索引过于复杂，这里就不说.下面贴出我在项目中用到的sphinx配制文件

  
##主数据源

source main

{

  type					= mysql

  sql_host				= localhost

  sql_user				= root

  sql_pass				=

  sql_db					= test

  sql_port				= 3306	# optional, default is 3306

  sql_sock				= /tmp/mysql.sock

   sql_query_pre			= SET NAMES utf8

#	 sql_query_pre			= SET SESSION query_cache_type=OFF

  sql_query_pre = replace into sph_counter select 1,max(id) from post

  sql_query=select id,title,content from post where id <=(select max_doc_id from sph_counter where count_id = 1)

  sql_ranged_throttle	= 0

  sql_query_info		= SELECT * FROM post WHERE id=$id

}

#增量数据源

source delta : main

{

  sql_query_pre=set names utf8

  sql_query=select id,title,content from post where id >(select max_doc_id from sph_counter where count_id = 1)

}

#主索引

index main

{

  source			= main

  path			= /usr/local/coreseek/var/data/main

  docinfo			= extern

  mlock			= 0

  morphology		= none

  min_word_len		= 1

  charset_type		= zh_cn.utf-8

  charset_dictpath	= /usr/local/mmseg/etc/

  html_strip				= 0

}

#增量索引

index delta : main

{

  source=delta

  path			= /usr/local/coreseek/var/data/delta

#	morphology		= stem_en

}

##索引器

indexer

{

  mem_limit			= 128M

}

###守护进程设置

searchd

{

  log					= /usr/local/coreseek/var/log/searchd.log

  query_log			= /usr/local/coreseek/var/log/query.log

  read_timeout		= 5

  client_timeout		= 300

  max_children		= 30

  pid_file			= /usr/local/coreseek/var/log/searchd.pid

  max_matches			= 1000

  seamless_rotate		= 1

  preopen_indexes		= 0

  unlink_old			= 1

  mva_updates_pool	= 1M

  max_packet_size		= 8M

  max_filters			= 256

  max_filter_values	= 4096

}

上面请注意我的sql语句的写法，这里是一个核心，也是决定sphinx能否配置成功的一个关键,下面贴出sph_counter和post表结构,这里做下说明sph_count表是与sphinx实时索引相关的表

  
CREATE TABLE `post` (

  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,

  `title` varchar(254) NOT NULL,

  `content` text,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=42 DEFAULT CHARSET=utf8;

CREATE TABLE `sph_counter` (

  `count_id` int(10) unsigned NOT NULL AUTO_INCREMENT,

  `max_doc_id` int(11) DEFAULT NULL,

  PRIMARY KEY (`count_id`)

) ENGINE=MyISAM AUTO_INCREMENT=2 DEFAULT CHARSET=utf8

下面通过一段程序介绍shpinx如何实现高显示和实时索引

  
<html>

  <head>

    <title>spinx</title>

    <meta charset="utf-8" />

  </head>

  <body>

    <form action="find.php" method="post">

      <input type="text"  name="search"/>

      <input type="submit" value="提交">

    </form>

  </body>

</html>
  
header("content-type:text/html;charset=utf-8");

  $keyword = $_POST['search'];

  $sphinx = new SphinxClient();

  $sphinx->SetServer("localhost",9312);

  $sphinx->SetMatchMode(SPH_MATCH_ANY);

  $result=$sphinx->query("$keyword","*");

  $key = array_keys($result['matches']);

  $ids = implode(',',$key);

  $conn = mysql_connect('localhost','root','')or die('mysql connect failed');

  mysql_select_db('test');

  mysql_set_charset('utf8',$conn);

  $sql = "select * from post where id in($ids)";

  $res = mysql_query($sql);

  $opt = array("before_match"=>"<font style='font-weight:bold;color:#f00'>","after_match"=>"</font>");

  while($row=mysql_fetch_assoc($res)){

    echo '<pre>';

                //这里为sphinx高亮显示

    $rows = $sphinx->buildExcerpts($row,"main",$keyword,$opt);

    print_r($rows);

  }

        $sphinx->close();

运行之后结果展示

做到这里以经完成了一大半，但还没有做到实时索引，假设数据库表里面的数据增加就没有办法搜索到新增的数据,这里写了一个shell脚本 main.sh

  
#!/bin/bash

 /usr/local/coreseek/bin/inderer main --rotate >>/usr/local/coreseek/var/log/main.log

脚本delta.sh

  
#!/bin/bash

/usr/local/coreseek/bin/inderer delta --rotate >>/usr/local/coreseek/var/log/delta.log

然后将这两个脚本放在linux定时任务器每一分钟执行一次,代码如下

  
*/5 * * * * /usr/local/coreseek/init/delta.sh

00 03 * * * /usr/local/coreseek/init/main.sh

完毕，另外在说一点，sphinx操作的表必须要有主键。

sphinx实时索引和高亮显示的更多相关文章

  1. Sphinx 实时索引

    index rt { type = rt rt_mem_limit = 512M path = /usr/local/sphinx/data/rt rt_field = title rt_field ...

  2. Sphinx实时索引

    数据库中的数据很大,然后我有些新的数据后来加入到数据库中,也希望能够检索到,全部重新建立索引很消耗资源,这样需要用到“主索引+增量索引”的思路来解决,这个模式实现的基本原理是设置两个数据源和两个索引. ...

  3. sphinx 增量索引 实现近实时更新

    一.sphinx增量索引的设置   数据库中的已有数据很大,又不断有新数据加入到数据库中,也希望能够检索到.全部重新建立索引很消耗资源,因为我们需要更新的数据相比较而言很少.例如.原来的数据有几百万条 ...

  4. Sphinx 增量索引更新

    是基于PHP API调用,而不是基于sphinxSE.现在看来sphinxSE比API调用更简单的多,因为之前没有想过sphinxSE,现在先把API的弄明白.涉及到的:sphinx 数据源的设置,简 ...

  5. sphinx 增量索引 及时更新、sphinx indexer索引合成时去旧和过滤办法(转)

    一.sphinx增量索引的设置    数据库中的已有数据很大,又不断有新数据加入到数据库中,也希望能够检索到.全部重新建立索引很消耗资源,因为我们需要更新的数据相比较而言很少.例如.原来的数据有几百万 ...

  6. Coreseek:部门查询和增量索引代替实时索引

    1.行业调查 索引系统需要通过主查询来获取所有的文档信息,一个简单的实现是整个表的数据到内存,但是这可能会导致整个表被锁定,并且使其它操作被阻止(例如:在MyISAM格款式上INSERT操作).同时, ...

  7. Coreseek:区段查询及增量索引取代实时索引

    1.区段查询 索引系统须要通过主查询来获取所有的文档信息,一种简单的实现是将整个表的数据读入内存,可是这可能导致整个表被锁定并使得其它操作被阻止(比如:在MyISAM格式上的INSERT操作),同一时 ...

  8. sphinx增量索引使用

    sphinx在使用过程中如果表的数据量很大,新增加的内容在sphinx索引没有重建之前都是搜索不到的. 这时可以通过建立sphinx增量索引,通过定时更新增量索引,合并主索引的方式,来实现伪实时更新. ...

  9. sphinx增量索引和主索引来实现索引的实时更新

    项目中文章的信息内容因为持续有新增,而文章总量的基数又比较大,所以做搜索的时候,用了主索引+增量索引这种方式来实现索引的实时更新. 实现原理: 1. 新建一张表,记录一下上一次已经创建好索引的最后一条 ...

随机推荐

  1. CentOS 通过yum安装web环境

    以前有过记录用过linux安装包来安装,但是需要手动配置环境.这次是用yum 来安装web环境,就可以不需要手动配置环境. 1,安装mysql 通过yum安装mysql 输入:rpm -qa | gr ...

  2. openGPS.cn - 高精度IP定位原理，定位误差说明

    [ip定位历史] 关于IP定位,最早是通过运营商实现,每个运营商申请到的ip段,在某个范围内使用. 因此早期只能是国家为单位的基础数据. 对于比较大的国家,就进一步划分,比如,中国某通讯公司(不打广告 ...

  3. GCD之信号量机制二

    在前面GCD之信号量机制一中介绍了通过信号量设置并行最大线程数,依此信号量还可以防止多线程访问公有变量时数据有误,下面的代码能说明. 1.下面是不采用信号量修改公有变量的值 1 2 3 4 5 6 7 ...

  4. 翻译 | 使用A-Frame打造WebVR版《我的世界》

    原文地址:Minecraft in WebVR with HTML Using A-Frame 原文作者:Kevin Ngo 译者:Felix 校对:阿希 我是 Kevin Ngo,一名就职于 Moz ...

  5. 我的第一个python web开发框架（1）——前言

    由于之前经验不是很丰富,写的C#系统太过复杂,所以一直想重写,但学的越多越觉得自己懂的越少,越觉的底气不足.所以一直不敢动手,在内心深处对自己讲,要静下心来认真学习,继续沉淀沉淀.这两年多以来找各种机 ...

  6. Redisson分布式锁的简单使用

    一:前言 我在实际环境中遇到了这样一种问题,分布式生成id的问题!因为业务逻辑的问题,我有个生成id的方法,是根据业务标识+id当做唯一的值! 而uuid是递增生成的,从1开始一直递增,那么在同一台机 ...

  7. GitHub Desktop客户端打开文件乱码问题解决方案

    今天在使用GitHub Desktop客户端的时候,发添加本地仓库后文件内容显示为乱码. 1.现象  如下图所示: 2.原因分析 后来分析得知原来是由于编码不统一造成 的. 具体来说,我在window ...

  8. Lowbit Sum 规律

    Lowbit Sum Time Limit: 2000/1000MS (Java/Others) Memory Limit: 128000/64000KB (Java/Others) SubmitSt ...

  9. Linux 独立安装subversion-1.8.18

    一.所需软件包 1.apr-1.4.6.tar.gz 下载地址:http://apr.apache.org/   2.apr-util-1.4.1.tar.gz 下载地址:http://apr.apa ...

  10. ch7-列表渲染(v-for key 数组更新检测 显示过滤/排序结果)

    1 说明 我们用 v-for 指令根据一组数组的选项列表进行渲染. v-for 指令需要以 item in items 形式的特殊语法, items 是源数据数组并且 item 是数组元素迭代的别名. ...