ElasticSearch 基于的lucene开发的搜索服务技术;天生支持分布式; Es的结构 gatway:存储层,所有的数据可以存储在本地(多个es节点形成分布式存储),hdfs输出位置,共享文件等 分布式lucene框架:把lucene缺少的分布式支持,做成一个基于lucene的框架 ES自定义功能:ES自己的功能实现,例如关闭,打开索引,设置索引的读写权限等 功能插件:实现集群的管理,形成各种自定义插件,discovery自动发现功能 传输协议:支持http协议,支持thrift(AVR…

背景 随着公司业务的高速发展以及数据爆炸式的增长,当前公司各产线都有关于搜索方面的需求,但是以前的搜索服务系统由于架构与业务上的设计,不能很好的满足各个业务线的期望,主要体现下面三个问题: 不能支持对语句级别的搜索,大量业务相关的属性根本无法实现 没有任何搜索相关的指标评价体系 扩展性与维护性特别差 基于现状,对行业内的搜索服务做出充分调研,确认使用ElasticSearch做底层索引存储,同时重新设计现有搜索服务,使其满足业务方对维护性.定制化搜索排序方面的需求. 整体技术架构 沪江搜索服务底…

一.前言 本系列文章最终目标是为了快速搭建一个简易可用的搜索服务.方案并不一定是最优,但实现难度较低. 二.背景 近期公司在重构老系统,需求是要求知识库支持全文检索. 我们知道普通的数据库 like 方式效果及性能都不好,所以另寻出路,确定通过 Elasticsearch (下文简称「 ES 」)搜索引擎实现. 三.技术选型 因公司之前购买了阿里云的ES服务且版本为 5.5.3 ,下文选用的技术框架均基于此版本. ① Elasticsearch 5.5.3 一个基于Lucene的搜索服务器,提供…

前言 这两天需要对接一个新的搜索业务,由于测试机器还没到位,所以就自己创造条件,通过在Windows上安装VM虚拟机,模拟整套环境,从而能快速进入核心业务的开发测试状态中. 系统环境安装配置 虚拟机VMware Workstation Pro 12 云盘下载地址:https://pan.baidu.com/s/1hrWx76k 序列号:FF1JR-AZGE6-480UP-1PPXV-W38TA Centos7 minimal镜像iso 下载地址:http://mirror.bit.edu.cn/…

[阿里云产品公测]高大上的搜索服务OpenSearch,你值得拥有! 作者:阿里云用户trcher ​ 一.前言: 在OpenSearch没出来之前,就一直想给网站做个搜索功能,虽然网站本身自带搜索功能,但是程序自身的搜索功能太弱了,根本不能达到自己想要和客户想要的效果,况且网站数据一天天在增加,搜索功能的升级是必然的.随着互联网的发展,大数据和云时代的来临,搜索引擎怎么变身?这个时候阿里云的开放搜索服务OpenSearch划破深邃黑夜一般横空出世,震撼着众多站长的敏感神经. 二.体验:1.申请…

开放搜索服务系统架构:从系统.平台到开放服务 搜索是各类网站和数据类APP的标配功能.目前开发者一般基于开源搜索系统,例如ElasticSearch.Solr.Sphinx等自己搭建搜索服务,系统定制.开发和维护成本都非常高.云搜索是一种结构化数据搜索托管服务,开发者将数据上传至云端,云端进行数据处理和索引构建,开发者再通过API使用云端搜索服务.云搜索极大降低了搜索服务使用门槛,也极大降低开发运维成本.开放搜索服务OpenSearch是阿里巴巴研发的一款云搜索服务,允许开发者对索引结构.数据处…

一.前言 上篇介绍了 ES 的基本概念及环境搭建,本篇将结合实际需求介绍整个实现过程及核心代码. 二.安装 ES ik 分析器插件 2.1 ik 分析器简介 GitHub 地址:https://github.com/medcl/elasticsearch-analysis-ik 提供两种分词模式:「 ik_max_word 」及「 ik_smart 」 分词模式 描述 ik_max_word 会将文本做最细粒度的拆分,比如会将"中华人民共和国国歌"拆分为"中华人民共和国,中华…

版权声明:本文为博主原创文章,未经博主同意不得转载. https://blog.csdn.net/iefreer/article/details/34917729 当前主流搜索引擎在解决互联网技术创意这个垂直领域的搜索上存在例如以下几个问题:1. 实时性问题:收录延迟,信息过时,竞价维度干扰度高:2. 语言问题:国外一线资源获取不到:3. 交互性问题:搜索结果平面.不具社交属性.缺乏互动.4. 数据冗余:不同来源的内容高度反复.踏得网致力于解决上述问题,成为一个具有创新形态的(垂直+社交+即时)…

引言: 由于近期网上盛传”百度搜索引擎已死“的消息,引发个人对于搜索引擎的思考.百度作为最大的中文搜索引擎,确实有着很大声誉,再加上本地化的优势,正成为国人们的首选,但是作为一名技术开发人员,使用搜索引擎的频率较高,以至获取到所需的知识.个人使用体验来说百度一下的商业广告太多,感觉更适用于国内生产厂商.贸易商:而Google搜索则不一样,Google特有的匹配度技术.网页相关度分析技术,提供的检索结果更优质,而且无广告,因此使用起来更简洁.好用.我们可以根据各自的生活.工作.学习的需要, 选择一…

目前时间是:2017-01-24 本文不涉及activemq的安装 需求 activemq实时传递数据至服务 elasticsearch做索引 对外开放查询接口 完成全文检索 环境 jdk:1.8 spirng boot:1.4.3.RELEASE elasticsearch:2.4.3 activemq:5.13.2 ES插件 head:版本好像无太大差别 能查数据就行 analysis-ik:1.10.3 search-guard-2:2.4.3.9 search-guard-ssl:2.4…

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/AAkVdzmkgdBisuQZldsnvg 英文原文:https://qbox.io/blog/elasticsearch-search-tuning-part-2 作者:Adam Vanderbush 译者:杨振涛 目录 预索引数据 映射 避免使用脚本 强制合并只读索引 Elasticsearch搜索调优权威指南,是QBOX在其博客上发布的系列文章之一,本文是该系列的第二篇,主要介绍了索引预处理…

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/qwkZKLb_ghmlwrqMkqlb7Q英文原文:https://qbox.io/blog/elasticsearch-search-tuning-5-0-ultimate-guide作者:Adam Vanderbush译者:杨振涛 目录 文档建模 全局序列号和延迟 多代关系 为文件系统缓存分配内存 Elasticsearch搜索调优权威指南,是QBOX在其博客上发布的系列文章之一,本文是该系列…

近日,在AWS re:Invent全球大会上,亚马逊发布了五项新的基于机器学习的人工智能 (AI) 服务. 这五项服务包括机器学习驱动的企业搜索.代码审核与分析.欺诈检测.医疗转录和 AI 预测的人工审核,旨在让更多开发者应用机器学习,创造更好的终端用户体验. 五项服务的具体内容如下: Amazon Kendra 重塑企业搜索,它利用自然语言处理及其它机器学习技术,将企业内部的多个数据孤岛统一起来,始终如一地为常见查询提供高质量的结果,而不是以随机的链接列表响应关键字查询 Amazon Code…

章节 Elasticsearch 基本概念 Elasticsearch 安装 Elasticsearch 使用集群 Elasticsearch 健康检查 Elasticsearch 列出索引 Elasticsearch 创建索引 Elasticsearch 创建和查询文档 Elasticsearch 删除索引 Elasticsearch 修改数据 Elasticsearch 更新文档 Elasticsearch 删除文档 Elasticsearch 批处理 Elasticsearch 搜索数据…

本文主要介绍 ElasticSearch 搜索相关的知识,首先会介绍下 URI Search 和 Request Body Search,同时也会学习什么是搜索的相关性,如何衡量相关性. Search API 我们可以把 ES 的 Search API 分为两大类,第一类是 URI Search,用 HTTP GET 的方式在 URL 中使用查询参数已达到查询的目的:另一类为 Request Body Search,可以使用 ES 提供的基于 JSON 格式的格式更加完备的查询语言 Query…

高德地图-搜索服务-POI搜索 之前公司项目收货地址仿饿了么的收货地址,结果发现自己实现的关键字搜索和周边搜索,搜索到的poi列表跟饿了么的并不完全一样,后来考虑了下,应该是搜索的范围.类型之类的设置的不一样.后来搜索了下,也的确是这样,,现在记录下来,留给自己也留给大家. 关键字搜索 周边搜索 区域搜索 高德地图 Android SDK 提供了千万级别的POI(Point Of Interesting,兴趣点)的搜索. 目前支持关键字搜索.周边搜索.指定区域搜索的同步.异步方法.搜索返回 PO…

前言 在博文中 解读大型网站的演变过程  浅谈 举家搬迁静态文件到CDN 博文中都有涉及CDN,这次我们来详细讲解下CDN的架构 简介 CDN是构建在网络之上的内容分发网络,依靠部署在各地的边缘服务器,通过中心平台的负载均衡.内容分发.调度等功能模块,使用户就近获取所需内容,降低网络拥塞,提高用户访问响应速度和命中率.CDN的关键技术主要有内容存储和分发技术. CDN的基本原理是广泛采用各种缓存服务器,将这些缓存服务器分布到用户访问相对集中的地区或网络中,在用户访问网站时,利用全局负载技术将用户…

转载:http://constforce.blog.163.com/blog/static/163881235201201211843334/ 一.配置SharePoint Foundation搜索 1. 进入:管理中心 > 应用程序管理 > 服务应用程序 > 管理服务器上的服务,确认“SharePoint Foundation 搜索”服务已启动,并点击名称链接进入配置界面.在配置界面配置“内容访问帐”及“ 索引计划”.2. 进入:管理中心 > 应用程序管理 > 数据库 &g…

solr,什么是solr,就是你要吃的东西“馊了”,不能吃了,out of date~ 嘛...开个玩笑,发音就是‘搜了’,专门用于搜索的一个开源框架,lunce就不说了,不好用,麻烦 来讲讲solr吧 目前最新更新的是6.0,4月7-8号更新的,哥不太喜欢用新出来的版本,多多少少会有bug,centos7出来后我至今使用的是6.5(实在无法忍受7啊...西吧) 6.0我也试着装了,但是会报错,日志文件找不到,自己新建一个也不行,去官方的jira看看,发现的确有这么一个bug,但是已经close…

GPRS 锁定 本词条由“科普中国”百科科学词条编写与应用工作项目 审核 . GPRS(General Packet Radio Service)是通用分组无线服务技术的简称,它是GSM移动电话用户可用的一种移动数据业务,属于第二代移动通信中的数据传输技术.GPRS可说是GSM的延续.GPRS和以往连续在频道传输的方式不同,是以封包(Packet)式来传输,因此使用者所负担的费用是以其传输资料单位计算,并非使用其整个频道,理论上较为便宜.GPRS的传输速率可提升至56甚至114Kbps.[1] …

神马小说--- 使用opensearch打造高性能搜索服务 [使用背景] 神马小说是最早使用opensearch的用户,和opensearch一起成长.目前神马小说每天2亿搜索pv,1000w 用户.产品形态分全网sc,垂搜,app三大块. opensearch在使用中表现稳定可靠,每天平均latency 40ms,平均qps 2500. [使用过程] 神马小说团队有着资深的搜索背景,在小说产品刚起步的时候,面临着自己搭建引擎或者选用opensearch的基础方向问题.当时选择opensearc…

原文:SharePoint 2013 禁用搜索服务 前言,在SharePoint2013中,对于硬件需求的提升,让我们虚机里安装总是一筹莫展,尤其开启了搜索服务以后,对于内存的消耗就更加严重,尤其对于我们开发者来说,搜索服务并不是必须开启的,所以,我们需要禁用掉不需要的服务,来减轻开发环境的压力. 首先对比一下是否开启搜索对于服务器内存的压力 特别要说,笔记本配置Dell1464,CPU:I5 M430,内存:4GB ddr3 1333 X2条. 不开启搜索时任务管理器,内存占用46%,机器运行…

原文:SharePoint 2013 配置启用搜索服务 1.安装完毕SharePoint 2013,新建网站集,点击搜索,出现如下错误(因为没配置,别激动). 2.尝试启动服务器场中的服务之SharePoint Server Search,提示新建搜索应用程序. 3.新建搜索应用程序,如下图,选择Search Service Application. 4.填写服务应用程序名称,见名知义就好. 5.新建应用程序池,也要见名知义,要不以后不好区分. 6.新建搜索服务应用程序池,可以和上面的一样,要是…

原文:[高德地图API]从零开始学高德JS API(四)搜索服务——POI搜索|自动完成|输入提示|行政区域|交叉路口|自有数据检索 摘要:地图服务,大家能想到哪些?POI搜素,输入提示,地址解析,公交导航,驾车导航,步行导航,道路查询(交叉口),行政区划等等.如果说覆盖物Marker是地图的骨骼,那么服务,就是地图的气血.有个各种各样的地图服务,我们的地图应用才能变得有血有肉,活灵活现.第四篇拆成了几个要点,本篇主要讲搜索服务.包括周边搜索,关键词搜索,范围搜索,搜索提示(自动完成,输入提示)…

在SharePoint的使用中,经常会遇到某些服务创建失败,某些服务删除不成功的情况.这里,我们就遇到了搜索服务创建失败,然后删除也不成功,使用管理中心的UI无法删除,PowerShell命令也无法删除,经过很长时间的排错,终于找到解决方法. 1. 以Farm管理员身份登录SharePoint服务器,以管理员身份打开SharePoint Management PowerShell,执行以下命令获取Search Service Application的ID,特别要说的是命令一定要注意空格 Get-…

1.安装完毕SharePoint 2013,新建网站集,点击搜索,出现如下错误(因为没配置,别激动). 2.尝试启动服务器场中的服务之SharePoint Server Search,提示新建搜索应用程序. 3.新建搜索应用程序,如下图,选择Search Service Application. 4.填写服务应用程序名称,见名知义就好. 5.新建应用程序池,也要见名知义,要不以后不好区分. 6.新建搜索服务应用程序池,可以和上面的一样,要是新建记得不要和上面重名. 7.新建Search Serv…

当我们使用Windows Server 2016尝试从开始菜单或基于Windows Server 2016的计算机上的Cortana 搜索时,我们不会收到任何结果或不一致的结果. 原因 默认情况下, Windows Server 2016中的Windows搜索服务设置为"  已禁用".这是因为在某些情况下(如使用群集共享卷(CSV)和运行远程桌面会话主机(RDSH)),卷的索引可能会导致问题多个同时会话. 步骤: 如果您计划将Windows Server 2016用作客户端桌面计算机,…

分享人:广州华软 星尘 一. 前言 SharePoint 2013集成了Fast搜索,相对于以前版本搜索的配置有了一些改变,在安装部署Sharepoint 2013时可以选择默认创建搜索服务,但有时候会遇到搜索服务异常可能需要重新创建搜索服务,创建搜索服务并最终在Sharepoint 2013网站中应用大致步骤如:新建搜索服务应用程序.关联Web应用程序.创建内容源.完全爬网.创建爬网计划. 二. 目录 1.新建搜索服务应用程序 2.关联Web应用程序 3.创建内容源 4.完全爬网 5.创建爬网…

一次 ElasticSearch 搜索优化 1. 环境 ES6.3.2,索引名称 user_v1,5个主分片,每个分片一个副本.分片基本都在11GB左右,GET _cat/shards/user 一共有3.4亿文档,主分片总共57GB. Segment信息:curl -X GET "221.228.105.140:9200/_cat/segments/user_v1?v" >> user_v1_segment user_v1索引一共有404个段: cat user_v1_s…

一.前言 上篇介绍了搜索结果高亮的实现方法,本篇主要介绍搜索结果相关性排序优化. 二.相关概念 2.1 排序 默认情况下,返回结果是按照「相关性」进行排序的--最相关的文档排在最前. 2.1.1 相关性排序(默认) 在 ES 中相关性评分 由一个浮点数表示,并在搜索结果中通过「 _score 」参数返回,默认是按照 _score 降序排列. 2.1.2 按照字段值排序 使用「 sort 」参数实现,可指定一个或多个字段.然而使用 sort 排序过于绝对,它会直接忽略文档本身的相关度,因此仅适合在…