数据表

1、documents

CREATE TABLE `documents` (

`id` int(13) NOT NULL auto_increment,

`group_id` int(11) NOT NULL,

`group_id2` int(11) NOT NULL,

`date_added` datetime NOT NULL,

`title` varchar(255) NOT NULL,

`content` text NOT NULL,

PRIMARY KEY  (`id`),

KEY `title` (`title`),

FULLTEXT KEY `content` (`content`)

) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=500006 ;

2、Sphinx

CREATE TABLE `sphinx` (

`id` int(13) NOT NULL,

`weight` int(11) NOT NULL,

`query` varchar(255) NOT NULL,

KEY `Query` (`query`)

) ENGINE=SPHINX DEFAULT CHARSET=utf8;

本次测试，在sphinx.conf中共建立三个索引。

1、dramx   对 documents表的title、content字段均建立索引。

2、dramx_title  对 documents表的title字段建立索引。

3、dramx_content  对 documents表的content字段建立索引。

三个索引在具体测试时，分别被用到。

程序调用Sphinx全文检索引擎有两种方式：

一、Php调用 API

二、安装SphinxSE.

安装方法：

1、  在官网下载mysql-5.0.45-sphinxse-r871-win32.zip解压。

2、  停掉本地mysql所有服务。并将解压后的文件覆盖到mysql相应目录。

3、  启动mysql ,建立一个至少含有三个字段的表(sphinx)，字段数据类型依次是int、int、varchar，

Storage Engine选择sphinx即可。

4、  查询时结合表sphinx进行联合查询。

下面先将php+mysql和 Php+ Sphinx 通过like 、order by 、group by进行测试比较。最后单独给出使用第二种方法SphinxSE的查询测试。

测试环境:

内存：1GB  、CPU：intel pentium(R) dual  CPU E2140

数据量：50万条

测试项目

Php+Mysql

Php + Sphinx 全文检索引擎

所花时间(秒)

代码

所花时间

代码

Title like ‘%Fm5%’

0.93

mysql_query('set names utf8');

$sql = "select title  from  documents where  title  like '%Fm5%'";

$start = getmicrotime();

$result = mysql_query($sql) or die(mysql_error());

$end = getmicrotime();

print mysql_num_rows($result).'<br>';

print $end-$start;

0.012

$cl = new SphinxClient ();

//设置连接Sphinx主机名与端口

$start = getmicrotime();

$cl->SetServer('localhost',3312);

$cl->SetMatchMode(SPH_MATCH_ALL);

//搜索模式均采用匹配所有查询词模式

$cl->SetLimits(0,100000);

$res = $cl->Query('Fm5', 'dramx_title');

$end = getmicrotime();

print_r($res);

print $end-$start;

Content Like ‘%中国LED照明市场%’

11.75

mysql_query('set names utf8');

$sql = "select title  from  documents where  content  like '%中国LED照明市场%'";

$start = getmicrotime();

$result = mysql_query($sql) or die(mysql_error());

$end = getmicrotime();

print mysql_num_rows($result).'<br>';

print $end-$start;

0.020

$cl = new SphinxClient ();

//设置连接Sphinx主机名与端口

$start = getmicrotime();

$cl->SetServer('localhost',3312);

$cl->SetMatchMode(SPH_MATCH_ALL);

$cl->SetLimits(0,100000);

$res = $cl->Query('中国LED照明市场', 'dramx_content');

$end = getmicrotime();

print_r($res);

print $end-$start;

MATCH (content) AGAINST ('无线网卡厂商')

0.93

mysql_query('set names utf8');

$sql = "select title  from documents where MATCH (content) AGAINST ('无线网卡厂商')";

$start = getmicrotime();

$result = mysql_query($sql) or die(mysql_error());

$end = getmicrotime();

print mysql_num_rows($result).'<br>';

print $end-$start;

0.020

$cl = new SphinxClient ();

//设置连接Sphinx主机名与端口

$start = getmicrotime();

$cl->SetServer('localhost',3312);

$cl->SetMatchMode(SPH_MATCH_ALL);

$cl->SetLimits(0,100000);

$res = $cl->Query('无线网卡厂商', 'dramx_content');

$end = getmicrotime();

print_r($res);

print $end-$start;

MATCH (content) AGAINST ('產業資訊') 并按照 id 排序（Order By id desc）

1.50

mysql_query('set names utf8');

$sql = "select title  from documents where MATCH (content) AGAINST ('產業資訊')  order  by  id  desc";

$start = getmicrotime();

$result = mysql_query($sql) or die(mysql_error());

$end = getmicrotime();

print mysql_num_rows($result).'<br>';

print $end-$start;

0.031

$cl = new SphinxClient ();

//设置连接Sphinx主机名与端口

$start = getmicrotime();

$cl->SetServer('localhost',3312);

$cl->SetMatchMode(SPH_MATCH_ALL);

$cl->SetSortMode(SPH_SORT_EXTENDED, 'id desc');

$cl->SetLimits(0,100000);

$res = $cl->Query('產業資訊', 'dramx');

$end = getmicrotime();

print_r($res);

print $end-$start;

MATCH (content) AGAINST ('专题报道') 并根据group_id分组(Group By group_id )

1.01

mysql_query('set names utf8');

$sql = "select title  from documents where MATCH (content) AGAINST ('专题报道')  group  by  group_id";

$start = getmicrotime();

$result = mysql_query($sql) or die(mysql_error());

$end = getmicrotime();

print mysql_num_rows($result).'<br>';

print $end-$start;

0.081

$cl = new SphinxClient ();

//设置连接Sphinx主机名与端口

$start = getmicrotime();

$cl->SetServer('localhost',3312);

$cl->SetMatchMode(SPH_MATCH_ALL);

$cl->SetGroupBy('group_id', SPH_SORT_ATTR_DESC,"@group  desc ");

$cl->SetLimits(0,100000);

$res = $cl->Query('专题报道台', 'dramx');

$end = getmicrotime();

print_r($res);

print $end-$start;

Content Like ‘%中国LED照明市场%’  order by id desc

52.54

mysql_query('set names utf8');

$sql = "select title  from documents where content  like '%中国LED照明市场%'  order   by  id  desc";

$start = getmicrotime();

$result = mysql_query($sql) or die(mysql_error());

$end = getmicrotime();

print mysql_num_rows($result).'<br>';

print $end-$start;

0.031

$cl = new SphinxClient ();

//设置连接Sphinx主机名与端口

$start = getmicrotime();

$cl->SetServer('localhost',3312);

$cl->SetMatchMode(SPH_MATCH_ALL);

$cl->SetSortMode(SPH_SORT_EXTENDED, 'id desc');

$cl->SetLimits(0,100000);

$res = $cl->Query(中国LED照明市场', 'dramx');

$end = getmicrotime();

print_r($res);

print $end-$start;

Content Like ‘%国际Dram报价平台%’  group by group_id  desc

40.05

$sql = "select title  from documents where content  like '%中国LED照明市场%'  group   by  group_id";

$start = getmicrotime();

$result = mysql_query($sql) or die(mysql_error());

$end = getmicrotime();

print mysql_num_rows($result).'<br>';

print $end-$start;

0.081

$cl = new SphinxClient ();

//设置连接Sphinx主机名与端口

$start = getmicrotime();

$cl->SetServer('localhost',3312);

$cl->SetMatchMode(SPH_MATCH_ALL);

$cl->SetGroupBy('group_id', SPH_SORT_ATTR_DESC,"@group  desc ");

$cl->SetLimits(0,100000);

$res = $cl->Query('国际Dram报价平台', 'dramx');

$end = getmicrotime();

print_r($res);

print $end-$start;

针对php+mysql的查询，mysql-nt进程占用CPU的峰值最高到50%, 一般在20%之间，而php+Sphinx由于查询时根本没有用到mysql引擎而是查询自身的索引引擎，所以，在查询上CPU的占用可以忽略。

SphinxSE性能测试

测试项目

SphinxSE

所花时间（秒）

代码

Title  包含 ‘Dramexchange 国际Dram报价平台’

0.045

mysql_query('set names utf8');

$sql = "select c.* from documents as c,sphinx as t where c.id=t.id and t.query='@title 国际Dram报价平台;mode=extended'";

$start = getmicrotime();

$result = mysql_query($sql) or die(mysql_error());

$end = getmicrotime();

print mysql_num_rows($result).'<br>';

print $end-$start;

Content  包含  国际Dram报价平台

0.043

mysql_query('set names utf8');

$sql = "select c.* from documents as c,sphinx as t where c.id=t.id and t.query='@content 国际Dram报价平台;mode=extended'";

$start = getmicrotime();

$result = mysql_query($sql) or die(mysql_error());

$end = getmicrotime();

print mysql_num_rows($result).'<br>';

print $end-$start;

Title、Content 包含无线网卡厂商

0.016

mysql_query('set names utf8');

$sql = "select c.* from documents as c  inner  join   sphinx as t  on  c.id=t.id  where  t.query='包含无线网卡厂商'";

$start = getmicrotime();

$result = mysql_query($sql) or die(mysql_error());

$end = getmicrotime();

print mysql_num_rows($result).'<br>';

print $end-$start;

Title、Content 包含’中国LED照明市场’并按照group_id排序

0.052

mysql_query('set names utf8');

$sql = "select c.* from documents as c  inner  join   sphinx as t  on  c.id=t.id where t.query='中国LED照明市场;mode=extended;sort=extended:group_id desc'";

$start = getmicrotime();

$result = mysql_query($sql) or die(mysql_error());

$end = getmicrotime();

print mysql_num_rows($result).'<br>';

print $end-$start;

Title、Content 包含’中国LED照明市场’并按照group_id 分组

0.052

mysql_query('set names utf8');

$sql = "select c.* from documents as c  inner  join   sphinx as t  on  c.id=t.id where t.query='中国LED照明市场;mode=extended;groupby=attr:group_id'";

$start = getmicrotime();

$result = mysql_query($sql) or die(mysql_error());

$end = getmicrotime();

print mysql_num_rows($result).'<br>';

print $end-$start;

谢谢！

Sphinx全文检索引擎测试的更多相关文章

  1. sphinx全文检索引擎

    今天刚刚学习了一下,就直接分享上去,有些还没有接触,如果有问题请指正,谢谢 sphinx是什么? Sphinx是一个全文检索引擎.主要为其他应用提供高速.低空间占用.高结果 相关度的全文搜索功能. S ...

  2. centos7下搭建sphinx全文检索引擎

    Sphinx是一个基于SQL的全文检索引擎,可以结合MySQL,PostgreSQL做全文搜索,它可以提供比数据库本身更专业的搜索功能,使得应用 程序更容易实现专业化的全文检索.Sphinx特别为一些 ...

  3. Sphinx全文检索

    全文检索 一.生活中的数据总体分为: 结构化数据:指具有固定格式或有限长度的数据,如数据库,元数据等. 非结构化数据:指没有固定格式或不定长的数据,如邮件,word文档等. 非结构化数据还有一种叫法: ...

  4. sphinx全文检索功能 | windows下测试 （一）

    前一阵子尝试使用了一下Sphinx,一个能够被各种语言(PHP/Python/Ruby/etc)方便调用的全文检索系统.网上的资料大多是在linux环境下的安装使用,当然,作为生产环境很有必要部署在* ...

  5. 全文检索引擎 sphinx-coreseek中文索引

    Sphinx是一个基于SQL的全文检索引擎,可以结合MySQL,PostgreSQL做全文搜索,它可以提供比数据库本身更专业的搜索功能,使得应用程序更容易实现专业化的全文检索. Sphinx特别为一些 ...

  6. Sphinx 全文检索

    什么是全文检索: 全文检索是指以文档的全部文本信息作为检索对象的一种信息检索技术.检索的对象有可能是文章的标题,也有可能是文章的作者,也有可能是文章摘要或内容. 简介: Sphinx是由俄罗斯人And ...

  7. Coreseek/sphinx全文检索的了解

    Coreseek/sphinx全文检索的了解 概述: 全文检索是一种将文件里全部文本与检索项匹配的文字资料检索方法,全文检索是将存储于数据库中整本书.整篇文章中的随意内容信息查找出来的检索.它能够依据 ...

  8. Solr全文检索引擎配置及使用方法

    介绍 Solr是一款开源的全文检索引擎,基于lucene.拥有完善的可配置功能界面.具有丰富的查询语言,可扩展,可优化. 下载安装 进入solr官网下载包(这里我使用的版本是8.0) http://w ...

  9. 全文检索引擎在Django中的使用

    Haystack 1.什么是Haystack Haystack是django的开源全文搜索框架(全文检索不同于特定字段的模糊查询,使用全文检索的效率更高 ),该框架支持Solr,Elasticsear ...

随机推荐

  1. hdu 5224 Tom and paper 水题

    Tom and paper Time Limit: 20 Sec  Memory Limit: 256 MB 题目连接 http://acm.uestc.edu.cn/#/contest/show/6 ...

  2. innodb_buffer_pool_size=30G

    Starting program: /usr/local/mysql-5.6.27-linux-glibc2.5-x86_64/bin/mysqld-debug --user=mysql --data ...

  3. Jquery实战——横纵向的菜单

    横纵向的菜单效果,点击纵向菜单显示其子菜单.鼠标指向横菜单的时候.显示其子菜单,鼠标离开,子菜单隐藏. HTML代码: <span style="font-size:18px;&quo ...

  4. TCP/IP具体解释--TCP/UDP优化设置总结&amp; MTU的相关介绍

    首先要看TCP/IP协议,涉及到四层:链路层,网络层.传输层,应用层. 当中以太网(Ethernet)的数据帧在链路层 IP包在网络层 TCP或UDP包在传输层 TCP或UDP中的数据(Data)在应 ...

  5. Basic Messager

    <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title> ...

  6. sqlalchemy: TimeoutError: QueuePool limit of size 5 overflow 10 reached, connection timed out, timeout 30

    mysql建立的连接要及时删除,不然连接池资源耗尽 相关文章参考: http://blog.csdn.net/robinson1988/article/details/4713294 http://b ...

  7. 1644 免费馅饼 题解（c++）

    1644 免费馅饼(巴蜀oj上的编号) 题面:          SERKOI最新推出了一种叫做"免费馅饼"的游戏.         游戏在一个舞台上进行.舞台的宽度为W格,天幕的 ...

  8. 3D 坐标变换 公式 推导

    [ 更新 ]更好的方法见[用抽象代数讨论仿射变换和仿射空间中的坐标变换] ,以下是之前的内容. 以下的推导 结论是正确的,可是过程有点懵. 以下使用行向量: e1=(1,0,0) e2=(0,1,0) ...

  9. JavaScript中的单引号和双引号解决

    在使用JavaScript显示消息或者传递字符数据的时候,经常会碰到数据中夹杂单引号(')或者双引号("),这种语句往往会造成JavaScript报错.对此一般采用/'或者/"的解 ...

  10. 关于vs2013调试的偶然错误发现与总结(vs2013的承载进程)---ShinePans

    当项目的属性选择为 启用 vs2013承载进程 或出现一下错误: 尝试运行项目时出错:未能加载文件或程序集"GroupBoxTest" 或它的某一个依赖项.给定程序集名称" ...