深入理解ElasticSearch 介绍: 本书涵盖了Elasticsearch的许多中高级功能,并介绍了缓存.ApacheLucene库以及监控等模块的内部运作机制.其中,还涉及一些实用案例,比如配置Elasticsearch参数.使用监控API等. 目录: 前言 第1章 Elasticsearch简介1 1.1 Apache Lucene简介1 1.1.1 熟悉Lucene2 1.1.2 Lucene的总体架构2 1.1.3 分析数据4 1.1.4 Lucene查询语言5 1.2 何为Ela

书目 <深入理解ElasticSearch>拉斐尔·酷奇,马雷克·罗戈任斯基[著]张世武,余洪森,商旦[译] 机械工业出版社,2016.1 本系列包括以下8篇笔记 第01章 ElasticSearch简介 第02章 查询DSL进阶 第03章 底层索引控制 第04章 分布式索引架构 第05章 管理ElasticSearch 第06章 故障处理 第07章 改善用户搜索体验 第08章 ElasticSearch Java API 参考资料 [1]Elasticsearch索引的父子关系(index

1.es与MySQL的概念对比 2.概念理解 2.1 Index : 一个索引即是文档的集合 2.2 Document : 一个文档即是一个可被索引的基础单元信息,一条记录: 2.3 Replicas : 索引一份或多份存储,可以理解成冗余存储以防数据丢失: 2.4 shards : 一个索引被截断若干小片存储,每个片就是一个shard. 参考:http://www.dataguru.cn/thread-608747-1-1.html https://www.cnblogs.com/keving

1.多节点监控 2.类似war功能部署,tomcat即可使用 3.免费 4.ElasticHQ supports all major version of Elasticsearch from version 2.x, 5.x, 6.x

以下是官网手册(部分)(v5.1) 直接直接看官网手册 https://www.elastic.co/guide/en/elasticsearch/reference/5.1/search-aggregations-metrics-top-hits-aggregation.html Top hits Aggregationedit A top_hits metric aggregator keeps track of the most relevant document being aggreg

理解二次评分 二次评分是指重新计算查询返回文档中指定个数文档的得分,es会截取查询返回的前N个,并使用预定义的二次评分方法来重新计算他们的得分 小结 有时候,我们需要显示查询结果,并且使得页面上靠前文档的顺序能受到一些额外的规则控制,但遗憾的是,我们并不能通过二次评分来实现,也许有些读者会想到window-size参数,然而实际上这个参数与返回列表中靠前文档并无关系,他只是制定了每个分片应该返回的文档数,而且window_size不能小于页面大小 二次评分功能并不能与排序一起使用,这是因为排序发

1.为什么使用查询模版 让应用程序开发者只需要把查询传递给elasticsearch,而不需要考虑查询语句的构造.查询DSL语法.查询结果过滤等细节知识. 2.使用版本5.1,查询模版在5.6中发生变化.注意.官网地址  https://www.elastic.co/guide/en/elasticsearch/reference/5.1/search-template.html 3.注册查询模版 方法一:使用配置文件,需要copy到集群所有节点 You can register search

计算文档得分的因子: 文档权重(document boost):索引期赋予某个文档的权重值 字段权重(field boost):查询期赋予某个文档的权重值 协调因子(coord):基于文档中词项个数的协调因子,一个文档命中率查询中的词项越多,得分越高 逆文档频率(inverse document frequency):一个基于词项的因子,用来告诉评分公式该词项还有多么罕见,评分公式利用该因子,为包含罕见词项的文档加权 长度范数(length norm):每字段的基于词项个数的归一化因子(在索引期

Lucene的概念 document:以json的形式体现,搜索和搜索的主要载体 field:document的一个部分 term(词项):代表文本中的一个词 token(词条):term在field中的一次出现,包括词项的文本.开始和结束的偏移.词条类型 inverted index(倒排索引):将词项映射到文档.倒排索引是面向词项,而不是面向文档的. segmeng:每个索引由多个段组成,创建后不再修改,文档被删除后,删除信息单独保存在一个文档中,而段本身并没有修改. segmengs me

1.标准查询 query match _all query:"搜索字符串" operator:or 2.多匹配查询+区分权重 query multi_match "query":"搜索字符串" fields:["title^100","text^10","-all"]        针对字段进行加权 3.引入短语查询 query bool must multi_match "q

1.使用“建议”的方法:在query body的json结构体中,增加suggest节点:或者使用特殊的REST端点 2.es自带有多个不同的suggest实现,用来纠正用户的拼写错误及创建自动补全等功能 3.如果索引中文档较少,则可能找不到合适建议的结果 4.有三种那个suggester:term suggester,phrase suggester,complete suggester(自动完成) 5.使用suggest REST端点 POST 'localhost:9200/myindex

一.对象类型 1.mapping定义文件 "title":{ "type":"text" }, "edition":{ "type":"object", "properties":{ "isbn":{ "type":"text" } } } 2.索引数据 "title":"tit

区分按字段为中心的查询.词条为中心的查询 注意高频词项被高得分词项(冷僻的词项)取代的问题 1.best_fields :适用于多字段查询且查询相同文本:得分取其中一个字段的最高分.可通过tie_breaker(取值0-1)将低得分字段的分数引入的最终得分中.best_fields可与dis_max查询互换.ES内部转换为dis_max查询 operator(此查询中慎用).minimum_should_match 作用于每个字段的子查询内部中. 例如: "query":"c

1.如何分类,略.个人不接受书中的分类方法,建议采用官网上的分类方法 2.term查询,可以模拟No-SQL数据库

1.过滤器不影响文档得分 2.过滤的唯一目的是用特定筛选条件来缩小结果范围:而查询不仅缩小结果范围,还会影响文档的得分 3.过滤器运行更加高效(因为不用计算得分) 4.通常过滤器使用Bits接口,返回DocIdSet数据结构,通过二进制进行位运算 5.不是所有的过滤器都是用Bits结构,如数值区间过滤器.脚本过滤器.地理位置过滤器 6.与或非过滤器不使用Bits 7.布尔过滤器使用Bits,尽可能使用布尔过滤器. 8.过滤结构不依赖于查询,可以将过滤结果轻易缓存起来供后续查询使用.但不是所有的过

Elasticsearch in Action(英文版).pdfElasticsearch实战 in action(中文版).pdfElasticsearch技术解析与实战.pdfElasticsearch大数据搜索引擎.pdfELK Stack权威指南 第2版.pdf深入理解ElasticSearch.pdfElasticsearch服务器开发(第2版).pdf下载地址:链接:https://pan.baidu.com/s/187VZdqhCtWep4-_uuh5uyA提取码:ceiq 更多下

Elasticsearch服务器开发(第2版) 介绍: ElasticSearch是一个开源的分布式搜索引擎,具有高可靠性,支持非常多的企业级搜索用例.ElasticsearchHadoop作为一个完美的工具,用来连接Elasticsearch和Hadoop的生态系统.通过Kibana技术,ElasticsearchHadoop很容易从Hadoop生态系统中获得大数据分析的结果. 本书全面介绍ElasticsearchHadoop技术用于大数据分析以及数据可视化的方法.内容共分7章,包括Hado

Elasticsearch服务器开发(第2版) 介绍: <Elasticsearch服务器开发(第2版)>这一版针对Elasticsearch的新版本更新了内容,增加了第1版中遗漏的重要内容.本书首先介绍如何启动和运行Elasticsearch.Elasticsearch的基本概念,以及如何以最基本的方式索引和搜索数据.接下来,本书讨论了Querydsl查询语言,通过它可以创建复杂的查询并过滤返回的结果.此外,本书还展示了如何使用切面技术(faceting)基于查询结果来计算汇总数据,如何使用

   笔者在实际生产环境中经常遇到一些大文件的检索,例如一些书籍内容,PDF文件等.今天这篇博客主要来探讨下如何提升ES在检索大文件的一些性能,经验有限,算是一个小小的总结吧! 1.大文件是多大? ES建立索引完成全文检索的前提是将待检索的信息导入Elaticsearch. 项目中,有时候需要将一些扫描件.PDF文档.Word.Excel.PPT等文档内容导入Elasticsearch. 比如:将<深入理解Elasticsearch>这边书导入ES,而这边书的全文内容被识别后的大小可能为3MB

1.题记 2018年3月初,萌生了一个想法:对Elasticsearch相关的技术书籍做拆解阅读,该想法源自非计算机领域红火已久的[樊登读书会].得到的每天听本书.XX拆书帮等. 目前市面上Elasticsearch的中文书籍就那么基本,针对ES5.X以上的三本左右:国外翻译有几本,都是针对ES1.X,2.X版本,其中<深入理解Elasticsearch>还算比较经典. 拆书的目的: 1)梳理已有的Elasticsearch知识体系: 2)拾遗拉在角落的Elasticsearch知识点: 3)