最近稍微研究了一下ElasticSearch(下文简称ES),所谓可扩展的开源弹性搜索解决方案,跟同事笑称,如果它作为SQL SERVER的话,我的了解还在基本的select语句上,当然学习它也是一个积累知识的过程,闲言少叙,书归正传,今天简单将里面中的基础的两个查询总结一下,有不对的地方欢迎各位指出. 刚刚接触ES的时候,发现他的搜索确实很快,不像SQL Server 的like查询,他还能通过解析用户搜索的词汇,通过相关系数(score)都给你查出来,当然SQLServer 也有全文搜索,这…

我们以一个查询的示例开始,我们在student这个type中存储了一些学生的基本信息,我们分别使用match和match_phrase进行查询. 首先,使用match进行检索,关键字是“He is”: GET /test/student/_search { "query": { "match": { "description": "He is" } } } 执行这条查询,得到的结果如下: { , "timed_out…

样例数据集 这是编造的JSON格式银行客户账号信息文档,文档schema如下: { “account_number”: 0, “balance”: 16623, “firstname”: “Bradshaw”, “lastname”: “Mckenzie”, “age”: 29, “gender”: “F”, “address”: “244 Columbus Place”, “employer”: “Euron”, “email”: “bradshawmckenzie@euron.com”, “…

一.ElasticSearch搜索介绍 1.ElasticSearch搜索方式主要分为以下两种: 1).URI Search:此种查询主要是使用Http的Get方法,在URL中使用查询参数进行查询: 如:http://localhost:9200/kibana_sample_data_ecommerce/_search?q=customer_first_name:Jim 这条URL中,q表示查询的内容,用来搜索名叫Jim的客户.用Postman进行查询,搜索结果如下图所示: 2).Request…

1,创建mapping: PUT /news_website { "mappings": { "news" : { "properties" : { "title" : { "type": "text", "analyzer": "ik_max_word", "fields": { "suggest" : {…

Elasticsearch 简介 Elasticsearch(ES)是一个基于Lucene 构建的开源分布式搜索分析引擎,可以近实时的索引.检索数据.具备高可靠.易使用.社区活跃等特点,在全文检索.日志分析.监控分析等场景具有广泛应用. lucene Lucene介绍与入门使用 Lucene.Net API Elasticsearch 中文社区:https://elasticsearch.cn/article/ Elasticsearch 官方文档:https://www.elastic.co/…

本文主要介绍 ElasticSearch 搜索相关的知识,首先会介绍下 URI Search 和 Request Body Search,同时也会学习什么是搜索的相关性,如何衡量相关性. Search API 我们可以把 ES 的 Search API 分为两大类,第一类是 URI Search,用 HTTP GET 的方式在 URL 中使用查询参数已达到查询的目的:另一类为 Request Body Search,可以使用 ES 提供的基于 JSON 格式的格式更加完备的查询语言 Query…

一次 ElasticSearch 搜索优化 1. 环境 ES6.3.2,索引名称 user_v1,5个主分片,每个分片一个副本.分片基本都在11GB左右,GET _cat/shards/user 一共有3.4亿文档,主分片总共57GB. Segment信息:curl -X GET "221.228.105.140:9200/_cat/segments/user_v1?v" >> user_v1_segment user_v1索引一共有404个段: cat user_v1_s…

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/qwkZKLb_ghmlwrqMkqlb7Q英文原文:https://qbox.io/blog/elasticsearch-search-tuning-5-0-ultimate-guide作者:Adam Vanderbush译者:杨振涛 目录 文档建模 全局序列号和延迟 多代关系 为文件系统缓存分配内存 Elasticsearch搜索调优权威指南,是QBOX在其博客上发布的系列文章之一,本文是该系列…

ElasticSearch搜索 最基础的搜索: curl -XGET http://localhost:9200/_search 返回的结果为: { "took": 2, "timed_out": false, "_shards": { "total": 16, "successful": 16, "failed": 0 }, "hits": { "tota…

一.背景 这周在使用Elasticsearch搜索的时候遇到一个,对于同一个搜索请求,会出现top50返回结果和排序不一致的问题.那么为什么会出现这样的问题? 后来通过百度和google,发现这是因为Elastcisearch的分布式搜索特性导致.Elasticsearch在搜索时,会循环的选择主分片和其副本中的一个来计算和返回搜索结果,而由于主分片和副本中相关统计信息的不同,从而导致了同一个搜索串的评分的不一致,进而导致排序不一样.而造成这种主分片和副本统计信息不一致的具体原因,是因为文档删除…

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/AAkVdzmkgdBisuQZldsnvg 英文原文:https://qbox.io/blog/elasticsearch-search-tuning-part-2 作者:Adam Vanderbush 译者:杨振涛 目录 预索引数据 映射 避免使用脚本 强制合并只读索引 Elasticsearch搜索调优权威指南,是QBOX在其博客上发布的系列文章之一,本文是该系列的第二篇,主要介绍了索引预处理…

参考自: http://how2j.cn/k/search-engine/search-engine-springboot/1791.html?p=78908 工具版本: elasticsearch 6.2.2. kibana 6.2.2,  下载地址: elasticsearch.kibana 下载demo 1.kotlin版springboot项目创建 访问https://start.spring.io/, 创建项目demo(maven + kotlin + springboot 2.1.7…

章节 Elasticsearch 基本概念 Elasticsearch 安装 Elasticsearch 使用集群 Elasticsearch 健康检查 Elasticsearch 列出索引 Elasticsearch 创建索引 Elasticsearch 创建和查询文档 Elasticsearch 删除索引 Elasticsearch 修改数据 Elasticsearch 更新文档 Elasticsearch 删除文档 Elasticsearch 批处理 Elasticsearch 搜索数据…

章节 Elasticsearch 基本概念 Elasticsearch 安装 Elasticsearch 使用集群 Elasticsearch 健康检查 Elasticsearch 列出索引 Elasticsearch 创建索引 Elasticsearch 创建和查询文档 Elasticsearch 删除索引 Elasticsearch 修改数据 Elasticsearch 更新文档 Elasticsearch 删除文档 Elasticsearch 批处理 Elasticsearch 搜索数据…

分词测试 分词后倒排索引结果:可以通过http://127.0.0.1:9200/_analyze 测试 { "analyzer":"ik_max_word", "text":"我爱广州小蛮腰" } match匹配 1.match会条件分词去索引里面找 命中一个满足就返回 插入2条测试数据 文档1: 我爱广州小小蛮腰 文档2: 我爱成都 索引 文档 我 [文档1,位置0-1][文档2,位置0-1] 爱 [文档1,位置1-2][…

上面我们已经介绍了Elasticsearch的一些基本操作,这篇文章属于进阶篇,我们一起来学习. 前面我们创建了sdb和user文档,现在我们来看如何查询user中所有的文档呢? GET /sdb/user/_search 此时输出入下: { "took" : 3, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "…

简单搜索 GET请求很easy--你能轻松获取你想要的文档.让我们来进一步尝试一些东西.比方简单的搜索! 我们尝试一个最简单的搜索所有员工的请求: GET /megacorp/employee/_search 接下来.让我们搜索姓氏中包括"jake"的员工. 要做到这一点,我们将在命令行中使用轻量级的搜索方法. 这样的方法常被称作查询字符串(query string)搜索.由于我们像传递URL參数一样去传递查询语句: GET /megacorp/employee/_search? q=…

在Elasticsearch全文检索中,我们用的比较多的就是Multi Match Query,其支持对多个字段进行匹配.Elasticsearch支持5种类型的Multi Match,我们一起来深入学习下它们的区别. 5种类型的Multi Match Query 直接从官网的文档上摘抄一段来: best_fields: (default) Finds documents which match any field, but uses the _score from the best field…

cross_fields类型采用了一种以词条为中心(Term-centric)的方法,这种方法和best_fields及most_fields采用的以字段为中心(Field-centric)的方法有很大的区别. 它将所有的字段视为一个大的字段,然后在任一字段中搜索每个词条. operator:operator设为了and,表示所有的词条都需要出现: minimum_should_match:表示文本匹配度,控制搜索精度,向下取整. 相比most_fields与best_fields,解释起来可能…

首先从ES的支持的字段说起,ES文档中字段有多种类型 官方文档. 这几个比较常用: text,keyword,integer,float,boolean,object,geo_point(地理坐标),geo_shape(描述地理区域),date. 注:不要以为date只能表示 2015-01-01 这种类型,2015/01/01 12:10:30这种类型也一样可以,不像MySQL里面时间还分很多种细分的类型,ES就一个date类型. 注意:这里没有列出array,在ES中,array不是一种单独…

学完本课题,你应达成如下目标: 掌握ES搜索API的规则.用法. 掌握各种查询用法 搜索API 搜索API 端点地址 GET /twitter/_search?q=user:kimchy GET /twitter/tweet,user/_search?q=user:kimchy GET /kimchy,elasticsearch/_search?q=tag:wow GET /_all/_search?q=tag:wow GET /_search?q=tag:wow 搜索的端点地址可以是多索引多m…

这篇介绍稍多,篇幅可能有点多,下面会针对一些重要的点做一些小测试 搜索返回文档解析 hits搜索返回的结果中最重要的一部分其中包含了 索引信息(_index,_type,_index,_source,_score),_source又是其中我们最需要的东西,里面包含了查询的整个文档的内容,默认返回10个文档,这块可以结合分页处理 took显示查询花费的时间 shards查询的数据实际都检索了几个分区,这块跟关系型数据库中的表分区差不多,mysql 中的 partitions 通过执行计划查看可以看…

在使用 Elasticsearch 进行全文搜索时,搜索结果默认会以文档的相关度进行排序,如果想要改变默认的排序规则,也可以通过sort指定一个或多个排序字段. 但是使用sort排序过于绝对,它会直接忽略掉文档本身的相关度(根本不会去计算).在很多时候这样做的效果并不好,这时候就需要对多个字段进行综合评估,得出一个最终的排序. function\_score在 Elasticsearch 中function_score是用于处理文档分值的 DSL,它会在查询结束后对每一个匹配的文档进行一系列的重…

Cross Cluster Search简介 cross-cluster search功能允许任何节点作为跨多个群集的federated client(联合客户端),与tribe node不同的是cross-cluster search节点并不会加入remote cluster(远程集群),而是用轻量的方法连接到remote cluster,以便执行federated search(联合搜索) Remote cluster 要使用cross-cluster search之前需要先了解remote…

这里主要是一些简单的ElasticSearch的搜索功能,复杂的搜索,比如过滤,聚合等以后单独在写 1. 搜索全部 GET book/_search 直接搜索全部,下面是对搜索结果的详细介绍:默认情况下,是查询出来10条数据,并且按照score的由高到低顺序排列的(因为搜索全部,这里没有score,当条件搜索的时候,会出现.) 2. 单条件搜索 条件查询分为两类: match:match查询的时候,elasticsearch会根据你给定的字段提供合适的分析器,将查询语句分词之后去匹配含有分词之后…

一.基于词项与全文的搜索 1.词项 Term(词项)是表达语意的最小单位,搜索和利用统计语言模型进行自然语言处理都需要处理Term. Term的使用说明: 1)Term Level Query:Term Query.Range Query.Exists Query.Prefix Query.Wildcard Query: 2)在ES中,对于Term查询的输入是不做分词处理的,会将输入作为一个整体,在倒排索引中查找准确的词项,并且使用相关度算分公式为每个包含该词项的文档进行相关度算分: 3)通过C…

一.复合查询 1.在ElasticSearch中,有Query和Filter两种不同的Context.Query Context进行了相关性算分,Filter Context不需要进行算分,同时可以利用Cache,获取更好的性能. 2.bool Query:一个布尔查询,是一个或者多个查询子句的组合,总共有四种类型的子句,其中2种影响算分,2种不影响算分. 布尔查询也涉及相关性算分,因为匹配的子句越多,相关性算分越高.对于布尔查询中的每个查询子句计算得出的算分会被合并到总的相关性算分中. 子查询…

1.本地安装elasticsearch服务,具体过程见上一篇文章(安装和配置elasticsearch服务集群) 2.修改项目中pom文件,引入搜索相关jar包 <!-- elasticsearch相关jar包开始 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</a…

一.创建测试数据 1.创建一个index curl -X PUT http://127.0.0.1:9200/student?pretty -H "Content-Type: application/json" -d '{ "settings": { "number_of_shards": 1, "number_of_replicas": 0 }, "mappings": { "_source&q…