在我们php开发中如何使用sphinx技术? 答:对应MySQL数据库中的字段,就是将字段中的中文信息拆分成多个词语,然后对这些词语建立索引.以后查询的时候,先去查询这些索引文件,然后返回这些满足条件的记录的主键id,然后根据主键id查询MySQL数据库,返回记录.     什么是sphinx?(百度百科) 注意:对于sphinx来说,单表千万条记录,响应的时间都是毫秒级别的. 注意:默认sphinx只支持英文和俄文 官网: http://sphinxsearch.com/   由于Sphinx…

Sphinx是由俄罗斯人Andrew Aksyonoff开发的一个可以结合MySQL,PostgreSQL全文检索引擎.意图为其他应用提供高速.低空间占用.高结果 相关度的全文搜索功能.是做站内全文搜索的一把利器. sphinx已经出现很多年,并不是一个新鲜技术,但如今仍被广泛使用者.但由于IT技术的不断创新,在圈子中又出现了几款用于全文检索的新技术,如lucene就是一款与之媲美的工具,但相对而言,它的建立索引的速度却远远不如sphinx.次文不介绍sphinx的如何优越,主要介绍一下我在使用…

网上配置文档众多,但是对着他们的文档来做老是出问题,于是花了点时间研究了一下,写成总结,方便以后查阅.也希望学习sphinx的朋友能少走弯路.Coreseek的安装请参考:http://blog.chinaunix.net/uid-20639775-id-3261834.html. 一.sphinx的配置 sphinx配置文件结构介绍 Sphinx的配置文件结构如下: Source 源名称1{ #添加数据源,这里会设置一些连接数据库的参数比如数据库的IP.用户名.密码等 #设置sql_query…

需求描述 mysql中,每一个文档都有多个标签,查询时可以筛选一个标签也可以筛选同时拥有多个标签的文档. 数据示例 文档 标签 1 1,2,3,4,5 2 2,3,4,5,6 3 3,4,5,6,7 4 4,5,6,7,8 5 5,6,7,8,9 注意:这里将文档id和标签tagid的对应关系存入了fy_content_tag表,一个id对应多条tagid记录 查询要求 1.查出拥有标签2的文档2.查出同时拥有标签2,3,4的文档 使用sphinx解决需求 1.配置shpinx mva多值属性…

网上配置文档众多,但是对着他们的文档来做老是出问题,于是花了点时间研究了一下,写成总结,方便以后查阅.也希望学习sphinx的朋友能少走弯路.Coreseek的安装请参考:http://blog.chinaunix.net/uid-20639775-id-3261834.html. 一.sphinx的配置 sphinx配置文件结构介绍 Sphinx的配置文件结构如下: Source 源名称1{ #添加数据源,这里会设置一些连接数据库的参数比如数据库的IP.用户名.密码等 #设置sql_query…

1.无法加载模块 FILE: D:\wamp64\www\www.test_shop.com\ThinkPHP\Library\Think\Dispatcher.class.php LINE: 178 到/Common/config.php文件,添加以下   'MODULE_ALLOW_LIST' => array('Home','Admin'),  2.系统常量无法读取,输出原型,如:__PUBLIC__.__APP__等 加上U方法:U(__APP__),实在不行只能硬编码绝对路径了 或者在…

一.  Sphinx简介 Sphinx是由俄罗斯人Andrew Aksyonoff开发的一个全文检索引擎.意图为其他应用提供高速.低空间占用.高结果 相关度的全文搜索功能.Sphinx可以非常容易的与SQL数据库和脚本语言集成.当前系统内置MySQL和PostgreSQL 数据库数据源的支持,也支持从标准输入读取特定格式 的XML数据. Sphinx的特性如下: a)  高速的建立索引(在当代CPU上,峰值性能可达到10 MB/秒); b)  高性能的搜索(在2 – 4GB 的文本数据上,平均每…

参考资料一:(中文)http://www.coreseek.cn/docs/coreseek_3.2-sphinx_0.9.9.html (官方)http://sphinxsearch.com/docs/2.0.9/quick-tour.html (其他)http://www.sphinxsearch.org/sphinx-tutorial http://blog.s135.com/sphinx_search/ (张宴) http://static.181.162.47.78.clients.y…

因为网站搜索的需要,启动了一个搜索引擎项目,其实也算不上完整的搜索引擎,需求很简单,如下:     1)搜索产品名.类别名.品牌名.副标题.关键字等字段     2)数据量目前为13000左右,未来可能在5万左右,超出10万的可能性不大     3)搜索必须精确     4)搜索结果需要按照一定的规则排序     5)搜索结果可以按条件过滤     可选的产品主要有3种,sphinx.solr.ElasticSearch,其中sphinx是基于C++的,体积小,运行速度快,分布式查询较困难,查询…

最近负责一个项目,需要用到全文检索,我的环境大体如下:       1.数据保存在MySQL中     2.需要支持中文检索     3.尽可能的简单       选择了Sphinx,至于solr和Elasticsearch,看主页的介绍,它们对分布式.均衡等方面的支持非常好,只不过它们的安装包太大了,用起来挺不方便的,所以才放弃了它们,不过等有机会还可以研究一下.       基本步骤如下:    1. 安装:Sphinx的主页是http://sphinxsearch.com/,目前版本为2.…

介绍两种全文检索的技术. 1.  lucene+ 中文分词(IK) 关于lucene的原理,在这里可以得到很好的学习. http://www.blogjava.net/zhyiwww/archive/2006/07/07/57122.html 本帖主要贴几个关于lucene的工具类. 索引建立 package com.lpm.fanger.search.base; import java.io.File; import java.io.IOException; import java.text.…

前一阵子尝试使用了一下Sphinx,一个能够被各种语言(PHP/Python/Ruby/etc)方便调用的全文检索系统.网上的资料大多是在linux环境下的安装使用,当然,作为生产环境很有必要部署在*nix环境下,作为学习测试,还是windows环境比较方便些. 本文旨在提供一种便捷的方式让Sphinx在windows下安装配置以支持中文全文检索,配置部分在linux下通用. 一.关于Sphinx Sphinx 是一个在GPLv2 下发布的一个全文检索引擎,商业授权(例如, 嵌入到其他程序中)需…

最近在很多地方都可以看到Python的身影,尤其在人工智能等科学领域,其丰富的科学计算等方面类库无比强大.很多身边的哥们也提到Python非常的简洁方便,比如用Django搭建一个见得网站只需要半天时间即可,因此也吸引了我不小的兴趣.之前相亲认识过一个姑娘是做绿色环保建筑设计行业的,提过她们的建筑物的建模也是使用Python,虽然被女神给拒绝了,但学习还是势在必行的,加油. 这部分只涉及python比较基础的知识,如复杂的面向对象.多线程.通信等知识会放在之后的深入学习中介绍,因此整个学习过程也…

此次演示的环境是:win7系统,64位,php5.4.x,apache sphinx,斯芬克斯(英语不好的同学可以直接读这个音),意狮身人面像 特点:创建索引速度快,3分钟左右能创建100万条记录的索引:检索速度快,1000万的记录检索速度在毫秒级上:为很多脚本语言设计了检索API:专门为php设计了存储引擎插件. 1. 去 sphinx官网 下载一个版本,在 http://sphinxsearch.com/downloads/archive/页面下载以前的版本.我下载是 Win64 binar…

转一篇火人论坛那边的一份学习文档,我简单排一下版,希望对入门者有帮助. 感谢China Yang,这份文档也帮助我快速入了门. 和我一起学 Asphyre Sphinx Framework v1.0.0 China Yang Http://www.huosoft.com/bbs/ : ID:Installxp 前言少序 当我准备用业余时间开始写这段文字,当你准备在Library Path里添上Asphyre的Source文件夹.那么我们一起学习的旅程就开始了,我会把我学习的过程写在这里,希望有一…

为什么需要进行全文搜索呢? 一个表中有a.b.c多个字段.我们使用sql进行like搜索的时候,往往只能匹配某个字段.或者是这样的形式:a LIKE “%关键词%”or b LIKE “关键词” 这样子根本没法实现全文搜索,如果需要搜索整个表中所有出现过关键词”手机”的商品,一般要匹配商品的标题字段.而如果商品描述中出现”手机”关键词,则没法去匹配. 全文搜索,就是不限制搜索某个字段,是对数据库中所有的内容做匹配,是全文级别的搜索.是针对所有内容都进行匹配.这需要预先建立好索引数据结构.比如记录…

Github上PHP资源汇总大全,php学习的好资料 国外程序员ziadoz 在Github上收集整理了PHP的各种资源,内容包括模板.框架.数据库.安全等方面的库和工具.汇总了各种PHP资源,供各位PHP学习者和程序员参考.英文原文:https://github.com/ziadoz/awesome-php 依赖管理 ——用于依赖管理的包和框架Composer/Packagist : 一个包和依赖管理器Composer Installers:  一个多框架Composer库安装器Pickle:…

redis的一些介绍,麻烦阅读前面的几篇文章,想对redis的详细实现有所了解,强力推荐<redis设计与实现>(不仅仅从作者那儿学习到redis的实现,还有项目的管理.思想等,作者可能比你我都年轻欧).如果阅读了上面的文档,激起你对redis的强力好奇,那么就只能阅读源码了.不管是在校学生,还是已工作的,redis的代码都值得阅读.我们可以了解如何编写一个工程可用软件,可以学习一些开源常用软件,通过redis丰富的数据结构,可以熟悉大学学习的那点儿数据结构,可以了解如何实现一个自己高效的网络…

tablib简介 ----------- Tablib is a format-agnostic tabular dataset library, written in Python. Tablib 是一个格式未知的表格操作库,使用python编写,目前(2014-06-11)支持如下格式:Excel .JSON .YAML .HTML.TSV .CSV的导入/导出,及修改操作.实现方法是使用各种数据格式的python支持库(大多是各种格式的有明支持库)导入数据成list(列表,python 内…

最近有朋友想在windows下做个人笔记,没有找到顺手的工具,问我有什么好的工具推荐.正好前两天在网上看到一款做文档的利器sphinx+reStructText,当时在ubuntu下搭了下环境试了试,做笔记真的非常方便.今天在windows下试了试,遇到一些问题,但总算成功了,现整理如下. 简介 1  reStructuredText是什么? reStructuredText是扩展名为.rst的纯文本文件,含义为”重新构建的文本“,是python编程语言的Docutils项目的一部分..rst文…

我也做了php一段时间了.从技术层面上解释吧.   深入学习任何的东西都要有个体系.   1 完整的学习整个体系结构.解决有什么的问题.   推荐看看这个.http://www.open-open.com/lib/view/open1350874733117.html 然后找一本系统的看看.   耐心的看下去.   2 能做什么? 你可以在开源中国中找一些简单的开源应用看一看.有时自己写个简单的.比如php框...  3 为什么?你能思考为什么这么做.那么你就能根据实际的需求去开发一些应用.比如…

注:本文是@黑夜路人的旧文,假设PHP程序员基础不是非常扎实,简单梳理了每个阶段PHP程序员的技术要求,来帮助很多PHP程序做对照设定学习成长目标.再次分享,共勉,欢迎补充. 第一阶段:基础阶段(基础PHP程序员) 重点:把LNMP搞熟练(核心是安装配置基本操作) 目标:能够完成基本的LNMP系统安装,简单配置维护:能够做基本的简单系统的PHP开发:能够在PHP中型系统中支持某个PHP功能模块的开发. 时间:完成本阶段的时间因人而异,有的成长快半年一年就过了,成长慢的两三年也有. 1.Linux…

本文将指导你如何在自己的Mac上部署Theano + Keras的深度学习开发环境. 如果你的Mac不自带NVIDIA的独立显卡(例如15寸以下或者17年新款的Macbook.具体可以在"关于本机->系统报告->图形卡/显示器"里查看),那么你可能无法在这台Mac上使用GPU训练深度学习模型.不过这并不值得遗憾.事实上,我在自己的Macbook上(15-inch,Early 2013,NVIDIA GeForce GT 650M 1024 MB)做了一个简单的测试:在mni…

今天刚刚学习了一下,就直接分享上去,有些还没有接触,如果有问题请指正,谢谢 sphinx是什么? Sphinx是一个全文检索引擎.主要为其他应用提供高速.低空间占用.高结果 相关度的全文搜索功能. Sphinx可以非常容易的与SQL数据库和脚本语言集成. 当前系统内置MySQL和PostgreSQL 数据库数据源的支持,也支持从标准输入读取特定格式 的XML数据. 通过修改源代码,用户可以自行增加新的数据源(例如:其他类型的DBMS 的原生支持) Sphinx的特性? 高速的建立索引(在当代CP…

关于制作文档和笔记这种事,我已经纠结了很久,网上解决方案也一大推,我试过几样,ScrapBook 和 Zotero,编辑不太方便,同步麻烦.Google Note 过于格式简单,现在也不更新了,Google Docs又有点杀鸡用牛刀.还有传得很神奇的 Evernote 跟 Onenote,我压根没兴趣去用. 因为我的笔记大多都是自己写出来,整理出来的,就是精简成自己能看得懂的几段文字而已.我的要求无非这几样:主要是纯文本.工具开源.能同步和备份. 选择纯文本保存,我需要一个预定义格式,让笔记看起…

1 spinx简介 Sphinx 是一种文档工具,它可以令人轻松的撰写出清晰且优美的文档, 由 Georg Brandl 在BSD 许可证下开发. 新版的Python文档 就是由Sphinx生成的,并且它已成为Python项目首选的文档工具,同时它对 C/C++ 项目也有很好的支持; 并计划对其它开发语言添加特殊支持. 本站当然也是使用 Sphinx 生成的,它采用reStructuredText! Sphinx还在继续开发. 下面列出了其良好特性,这些特性在Python官方文档中均有体现: 丰…

1. Spark Overview(spark概述) Apache spark是一个快速和通用的集群计算系统.它提供了Java,Scala,Python和R的高级APIs,以及支持通用执行图的优化引擎.它也支持一系列高级工具,包括用于SQL的Spark SQL.结构化数据处理.用于机器学习的MLlib,用于图形处理的GraphX以及Spark Streaming. 2. Downloading(下载) 从项目网址的下载页面下载Spark.这个文档是Spark 2.2.1版本的.Spark使用HD…

sphinx(SQL Phrase Index),查询词组索引. 定义:Sphinx是一个全文检索引擎. 特性: 1.高速索引 (在新款CPU上,近10 MB/秒); 2.高速搜索 (2-4G的文本量中平均查询速度不到0.1秒); 3.高可用性 (单CPU上最大可支持100 GB的文本,100M文档); 4.提供良好的相关性排名 支持分布式搜索: 提供文档摘要生成: 5.提供从MySQL内部的插件式存储引擎上搜索 支持布尔,短语, 和近义词查询: 6.支持每个文档多个全文检索域(默认最大32个)…

PHP开发程序员的学习路线 兄弟连PHP培训,简单为大家梳理了每个阶段PHP程序员的技术要求,来帮助很多PHP程序做对照设定学习成长目标. 第一阶段:基础阶段(基础PHP程序员) 重点:把LNMP搞熟练(核心是安装配置基本操作) 目标:能够完成基本的LNMP系统安装,简单配置维护:能够做基本的简单系统的PHP开发:能够在PHP中型系统中支持某个PHP功能模块的开发. 时间:完成本阶段的时间因人而异,有的成长快半年一年就过了,成长慢的两三年也有. 1.Linux 基本命令.操作.启动.基本服务配置…

目标:全文搜索 使用SQL搜索关键字,同时保证快速和精确,依旧是相当地困难. SQL的一个基本原理(以及SQL所继承的关系原理)就是一列中的单个数据是原子性的. 反模式:模式匹配 使用Like 或者正则表达式. 缺点:(1)无法使用索引,进行全表遍历,非常耗时,性能极低. (2)有时候会返回医疗之外的结果.select * from bugs where description like '%one%', 返回结果可能是money.prone.lonely. 正则表达式可能会为单词边界提供一个模…