sphinx 注意点

利用sphinx为python项目生成API文档

sphinx可以根据python的注释生成可以查找的api文档,简单记录了下步骤 1:安装 pip install -U Sphinx 2:在需要生成文档的.py文件目录下执行sphinx-apidoc -F -o ./doc ./domain/model/ 在当前目录下新建doc目录,api文档的文件夹就在此目录下,./domain/model/ 表示需要生成api文档的目录. 3:进入doc目录修改conf.py文件设置代码路径为sys.path.insert(0, os.path.ab…

安装PHP sphinx扩展 sphinx-1.1.0/sphinx.c:105:2: error: too few arguments 错误

表现: /home/sphinx-1.1.0/sphinx.c: In function 'php_sphinx_client_read_property':/home/sphinx-1.1.0/sphinx.c:105:2: error: too few arguments to function 'std_hnd->read_property'/home/sphinx-1.1.0/sphinx.c: In function 'zim_SphinxClient_updateAttributes…

【整理】Linux下中文检索引擎coreseek4安装，以及PHP使用sphinx的三种方式(sphinxapi，sphinx的php扩展，SphinxSe作为mysql存储引擎)

一,软件准备 coreseek4.1 (包含coreseek测试版和mmseg最新版本,以及测试数据包[内置中文分词与搜索.单字切分.mysql数据源.python数据源.RT实时索引等测试配置]) Mysql源码包 (必须选择与你已安装mysql的版本一致) 为了避免安装中出现依赖包缺失,你需要打一句鸡血: yum install make gcc g++ gcc-c++ libtool autoconf automake imake mysql-devel libxml2-dev…

coreseek+sphinx+mysql+thinkphp整合

1.安装coreseek 1.1首先升级或安装系统依赖库 yum install make gcc g++ automake libtool mysql-client libmysqlclient15-dev libxml2-dev libexpat1-dev 1.2下载Coreseek3.2.14 解压:tar zxvf coreseek-3.2.14.tar.gz cd coreseek-3.2.14 cd mmseg-3.2.14 #在安装前首先安装mmseg插件 ./configure…

全文检索解决方案（lucene工具类以及sphinx相关资料）

介绍两种全文检索的技术. 1. lucene+ 中文分词(IK) 关于lucene的原理,在这里可以得到很好的学习. http://www.blogjava.net/zhyiwww/archive/2006/07/07/57122.html 本帖主要贴几个关于lucene的工具类. 索引建立 package com.lpm.fanger.search.base; import java.io.File; import java.io.IOException; import java.text.…

如何将Sphinx生成的html文档集成进入Django

参考 http://stackoverflow.com/questions/10594618/django-and-sphinx-how-to-view-the-html-sphinx-generates #step 1:添加URL映射url(r'^docs/(?P<path>.*)$', 'django.views.static.serve', {'document_root': settings.DOCS_ROOT}), url(r'^docs/', 'django.views.stati…

Linux下搭建coreseek(sphinx+mmseg3)全文检索

测试平台:Center OS 1.设置环境,升级/安装系统基础依赖包:m4.autoconf.automake.libtool #设置路径和中文环境: $ export PATH=/usr/local/bin:$PATH $ export LC_ALL=zh_CN.UTF-8 $ export LANG=zh_CN.UTF-8 #下载安装基础依赖包 $ curl -O -L http://mirrors.kernel.org/gnu/m4/m4-1.4.13.tar.gz $ tar -xzvf…

debian下使用Sphinx异常“Could not import extension sphinx.builders.linkcheck (exception: cannot import name SSLError)”的解决

最近使用到Sphinx编译文档,出现如下异常: Extension error:Could not import extension sphinx.builders.linkcheck (exception: cannot import name SSLError) 一开始有点摸不着头脑,明明是不能导入"sphinx.builders.linkcheck",错误信息却是"cannot import name SSLError" 于是使用"-P"参…

［搜索引擎］Sphinx的介绍和原理探索

What/Sphinx是什么定义 Sphinx是一个全文检索引擎. 特性索引和性能优异易于集成SQL和XML数据源,并可使用SphinxAPI.SphinxQL或者SphinxSE搜索接口易于通过分布式搜索进行扩展高速的索引建立(在当代CPU上,峰值性能可达到10 ~ 15MB/秒) 高性能的搜索 (在1.2G文本,100万条文档上进行搜索,支持高达每秒150~250次查询) Why/为什么使用Sphinx 遇到的使用场景遇到一个类似这样的需求:用户可以通过文章标题和文章搜索到一片文…

Sphinx安装配置应用

Sphinx 是由俄罗斯人Andrew Aksyonoff开发的一个全文搜索引擎.意图为其他应用提供高速.地空间占用.高结果相关度的全文搜索功能.Sphinx可以非常容易的与SQL数据库和脚本语言集成.当前系统内置的MysqL和PostgreSQL数据库数据源的支持,也支持从标准输入读取特定格式的xml数据.通过修改源码,可以自行增加新的数据源(例如:其他类型的DBMS的原生支持) 1.Sphinx中文分词中文的全文检索是根据语义来分词,目前大多数数据库尚未支持中文全文检索,如Mysql.Sp…

sphinx应用

sphinx调用原理只需要提交要查询,sphinx将返回唯一的id号 API调用 1.创建连接 $sphinx = new SphinxClient(); $sphinx->SetServer ( 'loclahost', 9312 );//建立连接 $sphinx->SetConnectTimeout(3);//连接超时时间,单位ms,0不限制 $sphinx->SetMaxQueryTime(10);//最大查询时间 $sphinx->SetArrayResult ( t…

Ubuntu下sphinx使用

Ubuntu安装参考文档进入sphinx mysql -h0 -P9306 查询 select * from 索引名…

Sphinx在windows上的安装使用

Sphinx是一个基于SQL的全文检索引擎,可以结合MySQL,PostgreSQL做全文搜索, 它可以提供比数据库本身更专业的搜索功能,使得应用程序更容易实现专业化的全文检索. Sphinx特别为一些脚本语言设计搜索API接口. 特性: 高速索引; 高速搜索 ; 高可用性 ; 提供良好的相关性排名支持分布式搜索: 提供文档摘要生成: 提供从MySQL内部的插件式存储引擎上搜索: 支持每个文档多个全文检索域; 支持每个文档多属性: 支持断词: 支持单字节编码与UTF-8编码: Sphinx在m…

sphinx 配置文件全解析

sphinx的配置文件是在配置的时候最容易出错的了: 我们先要明白几个概念: source:数据源,数据是从什么地方来的. index:索引,当有数据源之后,从数据源处构建索引.索引实际上就是相当于一个字典检索.有了整本字典内容以后,才会有字典检索. searchd:提供搜索查询服务.它一般是以deamon的形式运行在后台的. indexer:构建索引的服务.当要重新构建索引的时候,就是调用indexer这个命令. attr:属性,属性是存在索引中的,它不进行全文索引,但是可以用于过滤和排序.…

sphinx通过增量索引实现近实时更新

一.sphinx增量索引实现近实时更新设置数据库中的已有数据很大,又不断有新数据加入到数据库中,也希望能够检索到.全部重新建立索引很消耗资源,因为我们需要更新的数据相比较而言很少. 例如.原来的数据有几百万条,而新增的只是几千条.这样就可以使用“主索引+增量索引”的模式来实现近乎实时更新的功能. 这个模式实现的基本原理是设置两个数据源和两个索引,为那些基本不更新的数据建立主索引,而对于那些新增的数据建立增量索引.主索引的更新频率可以设置的长一些(例如设置在每天的午夜进行),而增量索引的更新…

discuz sphinx全文检索搜索引擎方案

基于discuz的索引配置文件,这个配置文件比较灵活,可以根据不同的需求来配置 # # linuxTone full index search configure file # source lt_posts { type = mysql sql_host = 127.0.0.1 sql_user = root sql_pass = sql_db = lt_bbs sql_port = 3306 sql_query_pre = SET NAMES utf8 sql_query = SELECT…

[Dynamic Language] 用Sphinx自动生成python代码注释文档

用Sphinx自动生成python代码注释文档 pip install -U sphinx 安装好了之后,对Python代码的文档,一般使用sphinx-apidoc来自动生成:查看帮助mac-abeen:doc_logic abeen$ sphinx-apidoc --helpUsage: sphinx-apidoc [options] -o <output_path> <module_path> [exclude_path, ...] Look recursively in &…

sphinx全文检索安装配置和使用

公司项目刚刚导入大量产品数据,然后发现网站的产品搜索很卡,原本是原生sql的like来做模糊搜索,数据量20W的时候还可以接受,但是上百万就很卡了,所以需要做优化. 经过考虑,打算采用全文检索 sphinx + 数据库中间件(atlas/mycat) 的架构来优化. 我的环境: centos6.5 64位 lnmp1.3一键环境包 CentOS6.4 X64 安装sphinx及sphinx for php扩展安装前请先确定安装了常用的组件,然后在官方网站下载最新的sphinx, yum ins…

Sphinx Search 学习 (一)

参考资料一:(中文)http://www.coreseek.cn/docs/coreseek_3.2-sphinx_0.9.9.html (官方)http://sphinxsearch.com/docs/2.0.9/quick-tour.html (其他)http://www.sphinxsearch.org/sphinx-tutorial http://blog.s135.com/sphinx_search/ (张宴) http://static.181.162.47.78.clients.y…

sphinx索引分析——文件格式和字典是double array trie 检索树，索引存储 – 多路归并排序，文档id压缩 – Variable Byte Coding

1 概述这是基于开源的sphinx全文检索引擎的架构代码分析,本篇主要描述index索引服务的分析.当前分析的版本 sphinx-2.0.4 2 index 功能 3 文件表 4 索引文件结构 4.1 spa 文件存储文档属性,在extern文档信息存储模式下使用. spa文件格式 => 属性值存储 item item item item item docid attr0 attr1 attr mva(spm file position) - spa文件格式 => 在文件的末尾存储每个属性…

sphinx全文检索功能 | windows下测试（一）

前一阵子尝试使用了一下Sphinx,一个能够被各种语言(PHP/Python/Ruby/etc)方便调用的全文检索系统.网上的资料大多是在linux环境下的安装使用,当然,作为生产环境很有必要部署在*nix环境下,作为学习测试,还是windows环境比较方便些. 本文旨在提供一种便捷的方式让Sphinx在windows下安装配置以支持中文全文检索,配置部分在linux下通用. 一.关于Sphinx Sphinx 是一个在GPLv2 下发布的一个全文检索引擎,商业授权(例如, 嵌入到其他程序中)需…

sphinx,coreseek安装

sphinx是国外的一款搜索软件. coreseek是在sphinx的基础上,增加了中文分词功能,换句话说,就是支持了中文. Coreseek发布了3.2.14版本和4.1版本,其中的3.2.14版本是2010年发布的,它是基于Sphinx0.9.9搜索引擎的.而4.1版本是2011年发布的,它是基于Sphinx2.0.2的.Sphinx从0.9.9到2.0.2还是有改变了很多的,有很多功能,比如sql_attr_string等是在0.9.9上面不能使用的. 可以同时安装sphinx,cores…

强制更新索引indexer --all --rotate合并索引indexer --merge index1 index2 --rotate No fields in schema - will not index问题 1.source中配置sql_attr_string = stitle的字段不会进行全文索引 2.index rt需要定义,rt_field = title, rt_field = content 增量索引(使用indexer --all --rota…

Sphinx的配置和使用

项目中用到了,昨天老大又给讲了讲,我感觉这玩意真是强大.想把一些功能以很小的代价做好,第三方的工具是必须要掌握的. 1. 我的开发环境在Windows上,下载了sphinx-2.2.6-release-win32.zip.解压缩~ 2. 主要就是一个配置文件,我们要仔细讲这个配置文件: 配置文件的主要结构是 source <SOURCE>{} index <INDEX>{ source = <SOURCE> } ... indexer{} searchd{} 3. 貌…

Sphinx : 高性能SQL全文检索引擎

Sphinx的特点快速创建索引:3分钟左右即可创建近100万条记录的索引,并且采用了增量索引的方式,重建索引非常迅速. 闪电般的检索速度:尽管是1千万条的大数据量,查询数据的速度也在毫秒级以上,2-4G的文本量中平均查询速度不到0.1秒. 为很多脚本语言设计了检索API,如PHP,Python,Perl,Ruby等,因此你可以在大部分编程应用中很方便地调用Sphinx的相关接口. 为MySQL设计了一个存储引擎插件,因此如果你在MySQL上使用Sphinx,那简直就方便到家了. 支持分布式搜索…

sphinx的配置

## Sphinx configuration file sample## WARNING! While this sample file mentions all available options,# it contains (very) short helper descriptions only. Please refer to# doc/sphinx.html for details.# #################################################…