sphinx笔记

【sphinx笔记】的更多相关文章

sphinx笔记下载中文版coreseek包 1:解压后,将etc下的mysql.conf文件复制一份放到上级目录下,改名为sphinx.conf 2:配置文件: 2.1:source配置数据源 source goods 你要为那些数据建索引,比如,为php39数据库中的p39—goods表为数据源 sql_db = php39 sql_query 主查询,为那些数据建索引,就用一条语句他她们取出来例如:select id, name,title from table 为这三个字段减索引…

sphinx随笔记了一下

sphinx笔记一:下载中文版coreseek包1:解压后,将etc下的mysql.conf文件复制一份放到上级目录下,改名为sphinx.conf2:配置文件: 2.1:source配置数据源source goods 你要为那些数据建索引,比如,为php39数据库中的p39-goods表为数据源sql_db = php39 sql_query 主查询,为那些数据建索引,就用一条语句他她们取出来例如:select id, name,title from table 为这三个字段减索引知识点:…

【转】文档与笔记利器 reStructuredText 和 Sphinx

关于制作文档和笔记这种事,我已经纠结了很久,网上解决方案也一大推,我试过几样,ScrapBook 和 Zotero,编辑不太方便,同步麻烦.Google Note 过于格式简单,现在也不更新了,Google Docs又有点杀鸡用牛刀.还有传得很神奇的 Evernote 跟 Onenote,我压根没兴趣去用. 因为我的笔记大多都是自己写出来,整理出来的,就是精简成自己能看得懂的几段文字而已.我的要求无非这几样:主要是纯文本.工具开源.能同步和备份. 选择纯文本保存,我需要一个预定义格式,让笔记看起…

小白的linux笔记11：放弃gitbook，转战Sphinx

gitbook生成的html目录不折叠且链接失效装好了gitbook和nodejs,本以为可以安心的做电子书了. 谁想到gitbook慢的一P,而且导出来的html目录不折叠,最关键的是链接有问题,用不了,无语. 目录折叠可以用一个插件toggle-chapters.或者用这个作者的方法. 而链接用不了,很少有记录有人处理过这个问题.这里有一个可以用,但是要每次都处理,而且他的目录居然是每次点击都要刷新加载,太慢了,不符合潮流啊 .https://blog.csdn.net/yageeart/…

Sphinx学习笔记2

因为网站搜索的需要,启动了一个搜索引擎项目,其实也算不上完整的搜索引擎,需求很简单,如下: 1)搜索产品名.类别名.品牌名.副标题.关键字等字段 2)数据量目前为13000左右,未来可能在5万左右,超出10万的可能性不大 3)搜索必须精确 4)搜索结果需要按照一定的规则排序 5)搜索结果可以按条件过滤可选的产品主要有3种,sphinx.solr.ElasticSearch,其中sphinx是基于C++的,体积小,运行速度快,分布式查询较困难,查询…

Sphinx学习笔记（一）

最近负责一个项目,需要用到全文检索,我的环境大体如下: 1.数据保存在MySQL中 2.需要支持中文检索 3.尽可能的简单选择了Sphinx,至于solr和Elasticsearch,看主页的介绍,它们对分布式.均衡等方面的支持非常好,只不过它们的安装包太大了,用起来挺不方便的,所以才放弃了它们,不过等有机会还可以研究一下. 基本步骤如下: 1. 安装:Sphinx的主页是http://sphinxsearch.com/,目前版本为2.…

sphinx搜索笔记

架构图: 安装sphinx,见文章http://my.oschina.net/ptk/blog/495435 sphinx关键的配置文件.在里面写查询的sql. 两个关键命令:indexer生成查询索引.searchd是后台进程.命令要添加上这个配置文件的位置. sphinx主要和两个服务打交道,一个就是mysql服务,当然要从mysql数据中获取源数据的.再一个就是调用程序,一些api什么的.比如使用php调用. 所以配置文件中出现的两个监听端口,一个就是和mysql通信的.一个就是监听来和自…

sphinx通过增量索引实现近实时更新

一.sphinx增量索引实现近实时更新设置数据库中的已有数据很大,又不断有新数据加入到数据库中,也希望能够检索到.全部重新建立索引很消耗资源,因为我们需要更新的数据相比较而言很少. 例如.原来的数据有几百万条,而新增的只是几千条.这样就可以使用“主索引+增量索引”的模式来实现近乎实时更新的功能. 这个模式实现的基本原理是设置两个数据源和两个索引,为那些基本不更新的数据建立主索引,而对于那些新增的数据建立增量索引.主索引的更新频率可以设置的长一些(例如设置在每天的午夜进行),而增量索引的更新…

coreseek (sphinx)+ Mysql + Thinkphp搭建中文搜索引擎详解

一, 前言 1,研究coreseek的动机我有一个自己的笔记博客,经常在上面做一些技术文章分析.在查询一些文章的时候,以前只能将要查询的内容去mysql中用like模糊匹配.在文章多了的情况下,这样做法效率肯定不行.于是我把目标投向了中文搜索插件coreseek,并成功的把它使用到了我的项目当中. 效果图: 希望通过这篇分析,让有兴趣的同学少走些弯路. 2,概念介绍 sphinx是开源的搜索引擎,它支持英文的全文检索.但英文的天然分词符是空格,而中文则有比较复杂的分词要求.中国人提供…

sphinx 增量索引实现近实时更新

一.sphinx增量索引的设置数据库中的已有数据很大,又不断有新数据加入到数据库中,也希望能够检索到.全部重新建立索引很消耗资源,因为我们需要更新的数据相比较而言很少.例如.原来的数据有几百万条,而新增的只是几千条.这样就可以使用“主索引+增量索引”的模式来实现近乎实时更新的功能. 这个模式实现的基本原理是设置两个数据源和两个索引,为那些基本不更新的数据建立主索引,而对于那些新增的数据建立增量索引.主索引的更新频率可以设置的长一些(例如设置在每天的午夜进行),而增量索引的更新频率,我们可…

sphinx在c#.net平台下使用（一）

Sphinx是由俄罗斯人Andrew Aksyonoff开发的一个可以结合MySQL,PostgreSQL全文检索引擎.意图为其他应用提供高速.低空间占用.高结果相关度的全文搜索功能.是做站内全文搜索的一把利器. sphinx已经出现很多年,并不是一个新鲜技术,但如今仍被广泛使用者.但由于IT技术的不断创新,在圈子中又出现了几款用于全文检索的新技术,如lucene就是一款与之媲美的工具,但相对而言,它的建立索引的速度却远远不如sphinx.次文不介绍sphinx的如何优越,主要介绍一下我在使用…

Sphinx 增量索引更新

是基于PHP API调用,而不是基于sphinxSE.现在看来sphinxSE比API调用更简单的多,因为之前没有想过sphinxSE,现在先把API的弄明白.涉及到的:sphinx 数据源的设置,简单shell脚本的编写,以及简单crontab的使用一.sphinx增量索引的设置数据库中的数据很大,然后我有些新的数据后来加入到数据库中,也希望能够检索到.全部重新建立索引很消耗资源,因为我们需要更新的数据相比较而言很少.例如.原来的数据有几百万条,而新增的只是几千条.看到的资料是使用“主索引+…

Elasticsearch学习笔记

Why Elasticsearch? 由于需要提升项目的搜索质量,最近研究了一下Elasticsearch,一款非常优秀的分布式搜索程序.最开始的一些笔记放到github,这里只是归纳总结一下. 首先,为什么要使用Elasticsearch?最开始的时候,我们的项目仅仅使用MySQL进行简单的搜索,然后一个不能索引的like语句,直接拉低MySQL的性能.后来,我们曾考虑过sphinx,并且sphinx也在之前的项目中成功实施过,但想想现在的数据量级,多台MySQL,以及搜索服务本身HA,还有后…

sphinx 增量索引及时更新、sphinx indexer索引合成时去旧和过滤办法(转)

一.sphinx增量索引的设置数据库中的已有数据很大,又不断有新数据加入到数据库中,也希望能够检索到.全部重新建立索引很消耗资源,因为我们需要更新的数据相比较而言很少.例如.原来的数据有几百万条,而新增的只是几千条.这样就可以使用“主索引+增量索引”的模式来实现近乎实时更新的功能. 这个模式实现的基本原理是设置两个数据源和两个索引,为那些基本不更新的数据建立主索引,而对于那些新增的数据建立增量索引.主索引的更新频率可以设置的长一些(例如设置在每天的午夜进行),而增量索引的更新频率,我们…

文档整体解决方案(readthedocs、github 、sphinx)使用

这里是总结了一下,用的工具或者平台:readthedocs.github .sphinx. 使用这三个工具即可轻松创建高效的文档管理库,可以用来翻译,水平再高一点可以写书. readthedocs 文档托管的平台,能够和常用的GIT阵营的github,HG阵营的Bitbucket,关于这两个平台的讨论比较文章可以参考. github 代码托管 sphinx 文档书写利器,使用的是reStructuredText格式,reStructuredText简明教程. 下面说说书写方法及托管流程在这里注…

Windows下配置sphinx+reStructuredText详解

最近有朋友想在windows下做个人笔记,没有找到顺手的工具,问我有什么好的工具推荐.正好前两天在网上看到一款做文档的利器sphinx+reStructText,当时在ubuntu下搭了下环境试了试,做笔记真的非常方便.今天在windows下试了试,遇到一些问题,但总算成功了,现整理如下. 简介 1 reStructuredText是什么? reStructuredText是扩展名为.rst的纯文本文件,含义为”重新构建的文本“,是python编程语言的Docutils项目的一部分..rst文…

sphinx+reStructuredText制作文档

1 spinx简介 Sphinx 是一种文档工具,它可以令人轻松的撰写出清晰且优美的文档, 由 Georg Brandl 在BSD 许可证下开发. 新版的Python文档就是由Sphinx生成的,并且它已成为Python项目首选的文档工具,同时它对 C/C++ 项目也有很好的支持; 并计划对其它开发语言添加特殊支持. 本站当然也是使用 Sphinx 生成的,它采用reStructuredText! Sphinx还在继续开发. 下面列出了其良好特性,这些特性在Python官方文档中均有体现: 丰…

SQL反模式学习笔记17 全文搜索

目标:全文搜索使用SQL搜索关键字,同时保证快速和精确,依旧是相当地困难. SQL的一个基本原理(以及SQL所继承的关系原理)就是一列中的单个数据是原子性的. 反模式:模式匹配使用Like 或者正则表达式. 缺点:(1)无法使用索引,进行全表遍历,非常耗时,性能极低. (2)有时候会返回医疗之外的结果.select * from bugs where description like '%one%', 返回结果可能是money.prone.lonely. 正则表达式可能会为单词边界提供一个模…

Linux学习笔记-Linux系统简介

Linux学习笔记-Linux系统简介 UNIX与Linux发展史 UNIX是父亲,Linux是儿子. UNIX发行版本操作系统公司硬件平台 AIX IBM PowerPC HP-UX HP PA-RISC Solaris Sun SPARC Linux Red Hat Linux,Ubantu Linux IA(Intel,AMD,Cyrix,RISE...) Linux发展历史和发行版本 Linux主要发展历史 Linux诞生于1991年,芬兰大学生李纳斯和后续的众多爱好者共同完成,是…

安装sphinx报错（undefined reference to `libiconv_open' 、undefined reference to `libiconv'、undefined reference to `libiconv_close'、make[1]: * No rule to make target `all'. Stop. 、make: * [all-recursive

(为知笔记copy过来格式有变,希望对遇到此问题的童鞋有帮助) 具体错误: Thank you for choosing Sphinx! [root@vm-vagrant csft-4.1]# make && make install Making all in src make[1]: Entering directory `/home/wwwroot/softsrc/coreseek-4.1-beta/csft-4.1/src' /bin/sh svnxrev.sh .. make a…

php面试题9（看的时候就应该随手截图做笔记的）

php面试题9(看的时候就应该随手截图做笔记的) 一.总结看的时候就应该随手截图做笔记的二.php面试题9 一.选择题:1.下面哪个表达式不能将两个字符串$s1 和$s2 串联成一个单独的字符串?( )A．$s1+$s2 B.“{$s1}{$s2}” C.$s1.$s2D.implode(‘’,array($s1,$s2)) E.以上所有的方法都能实现2.下面的脚本运行以后,$array 数组所包含的值是什么?( ) $array =array(‘1’,’1’)…

python学习笔记：建立一个自己的搜索引擎

写学习笔记是我学习python以来养成的一个习惯,每学习一个知识点,便整理成文字记录下来.搜索引擎大家经常都有在使用,国内外也很很多搜索引擎平台. Google搜索引擎建立至今已经快20年了,之后全球各类大大小小类似的搜索引擎也陆续出现.消亡.国内目前以百度为大,搜狗.360.必应等也势在必争.搜索引擎技术也发展的相当成熟,同时也就出现了很多开源的搜索引擎系统.比如,Solr.Lucene.Elasticsearch.Sphinx等. 本文以sphinx search为例来介绍如何打造自己的搜索…