1.es的分布式架构原理(es是如何实现分布式)? elasticsearch设计的理念就是分布式搜索引擎,底层其实还是基于lucene的.核心思想就是在多台机器上启动多个es进程实例,组成了一个es集群.es中存储数据的基本单位是索引,这个索引可以拆分成多个shard,每个shard存储部分数据. 接着就是这个shard的数据实际是有多个备份,就是说每个shard都有一个primary shard,负责写入数据,但是还有几个replica shard.primary shard写入数据之后,会…

elasticsearch专栏:https://www.cnblogs.com/hello-shf/category/1550315.html 一.预备知识 1.1.索引不可变 看到这篇文章相信大家都知道es是倒排索引,不了解也没关系,在我的另一篇博文中详细分析了es的倒排索引机制.在es的索引过程中为了满足一下特点,落盘的es索引是不可变的. 不需要锁.如果从来不需要更新一个索引,就不必担心多个程序同时尝试修改. 一旦索引被读入文件系统的缓存(译者:在内存),它就一直在那儿,因为不会改变.只要…

elasticsearch专栏:https://www.cnblogs.com/hello-shf/category/1550315.html 一.集群健康 Elasticsearch 的集群监控信息中包含了许多的统计数据,其中最为重要的一项就是集群健康,它在 status 字段中展示为 green . yellow 或者 red. 在kibana中执行:GET /_cat/health?v 1 epoch timestamp cluster status node.total node.dat…

elasticsearch专栏:https://www.cnblogs.com/hello-shf/category/1550315.html 一.预备知识 在对document的curd进行深度分析之前,我们不得不了解以下几个小的知识点,不了解一下几个知识点我们将很难理解document是如何进行增删改查的. 1.1.路由(索引)与primary shard不可变 大家有没有考虑过这个问题,当你索引一个文档,它被存储在单独一个主分片上.Elasticsearch是如何知道文档属于哪个分片的呢?…

elasticsearch专栏:https://www.cnblogs.com/hello-shf/category/1550315.html 一.倒排索引(Inverted Index)简介 在关系数据库系统里,索引是检索数据最有效率的方式.但对于搜索引擎,它并不能满足其特殊要求,比如海量数据下比如百度或者谷歌要搜索百亿级的网页,如果使用类似关系型数据库使用的B+树索引,可想而知其对cpu的计算能力要求得有多高.其次关系型数据库中一般存储的都是结构化的数据,数据格式都是一定的,操作上一般也都是…

elasticsearch专栏:https://www.cnblogs.com/hello-shf/category/1550315.html 一.深度分页方式from + size es 默认采用的分页方式是 from+ size 的形式,在深度分页的情况下,这种使用方式效率是非常低的,比如我们执行如下查询 GET /student/student/_search { "query":{ "match_all": {} }, "from":50…

转自:https://www.cnblogs.com/hello-shf/p/11543408.html elasticsearch入门篇   elasticsearch专栏:https://www.cnblogs.com/hello-shf/category/1550315.html 一.elasticsearch背后有趣的故事 许多年前,一个刚结婚的名叫 Shay Banon 的失业开发者,跟着他的妻子去了伦敦,他的妻子在那里学习厨师. 在寻找一个赚钱的工作的时候,为了给他的妻子做一个食谱搜…

Windows下ELK-5.4.3环境搭建 一.概述 ELK官网 https://www.elastic.co ELK由Elasticsearch.Logstash和Kibana三部分组件组成: Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash是一个完全开源的工具,它可以对你的日志进行收集.分析,并将其存储供以后使用 kibana 是一个开源和免费的工具,它可以…

新版Elasticsearch 7.3 和 Spring Boot 2.1.7 集成演示项目       第一个项目:演示Elasticsearch 6.4.3 和Spring Boot 2.1.7集成 基于spring-data-elasticsearch 组件,实现和Spring Boot 2.1.7的集成.…

最近我们公司因业务发展较快,不少服务遇到了一些瓶颈,影响最大的就是数据量的暴增带来的搜索效率的问题.虽然建立索引以及利用好缓存可以有效地缓解该问题,但是随着业务的发展,业务的复杂度也逐渐提升,原有的技术已经不足以支撑这日渐庞大的业务需求了,例如我想要模糊搜索某一个商品,但搜索的词不一定是商品的名称,也可能是商品的描述.简介,而且还要支持多个关键字搜等等.这些瓶颈不是光靠代码优化能够解决的,所以我们决定搭一个ES搜索服务来解决现有的业务瓶颈. 由于之前的工作对这块也没有太过深入地接触,所以我决定从…