本文翻译自Elasticsearch官方指南的life inside a cluster一章. ES就是为高可用和可扩展而生的. 扩展能够通过购置性能更强的server(垂直扩展或者向上扩展,Vertical Scale/Scaling Up),亦或是通过购置很多其它的server(水平扩展或者向外扩展,Horizontal Scale/Scaling Out)来完毕. 虽然ES可以利用更强劲的硬件.垂直扩展毕竟还是有它的极限.真正的可扩展性来自于水平扩展 - 通过向集群中加入很多其它的节点来分…

上一章节我介绍了Elasticsearch安装与运行,本章节及后续章节将全方位介绍 Elasticsearch 的工作原理 在这个章节中,我将会再进一步介绍 cluster . node . shard 等常用术语,Elastisearch 的扩容机制, 以及如何处理硬件故障的内容. 1.分布式特性 Elasticsearch 可以横向扩展至数百(甚至数千)的服务器节点,同时可以处理PB级数据.Elasticsearch 天生就是分布式的,并且在设计时屏蔽了分布式的复杂性. Elasticsea…

    一个运行中的 Elasticsearch 实例称为一个 节点,而集群是由一个或者多个拥有相同 cluster.name 配置的节点组成, 它们共同承担数据和负载的压力.当有节点加入集群中或者从集群中移除节点时,集群将会重新平均分布所有的数据.     当一个节点被选举成为 主 节点时, 它将负责管理集群范围内的所有变更,例如增加.删除索引,或者增加.删除节点等. 而主节点并不需要涉及到文档级别的变更和搜索等操作,所以当集群只拥有一个主节点的情况下,即使流量的增加它也不会成为瓶颈. 任何节…

  LVS的工作机制 LVS里Director本身不响应请求,只是接受转发请求到后方,Realservers才是后台真正响应请求. LVS 工作原理基本类似DNAT,又不完全相像,它是一种四层交换,默认情况下通过用户请求的地址和端口来判断用户的请求,从而转发到后台真正提供服务的主机,而判断这种请求的是通过套接字来实现,所以四层就可以实现. 而且这个转发的过程对用户而言是透明的(简单的讲,就是用户访问DR的IP,而DR转发给RSS,而用户不知道这个过程) LVS的工作模式: 1.DNAT 2.直接…

剖析Elasticsearch集群系列涵盖了当今最流行的分布式搜索引擎Elasticsearch的底层架构和原型实例. 本文是这个系列的第一篇,在本文中,我们将讨论的Elasticsearch的底层存储模型及CRUD(创建.读取.更新和删除)操作的工作原理. Elasticsearch是当今最流行的分布式搜索引擎,GitHub. SalesforceIQ.Netflix等公司将其用于全文检索和分析应用.在Insight,我们用到了Elasticsearch的诸多不同功能,比如: 全文检索 比如找…

数据操作与REST API(Data manipulation with REST API) ElasticSearch REST API可用于各种任务.多亏了它,我们可以管理索引,更改实例参数,检查节点和集群状态,索引数据和搜索它.此时此刻,我们将专注于使用 CRUD(create-retrieve-update-delete)API的一部分,允许我们以使用NOSQL数据库类似的方式来使用 ElasticSearch. REST是什么?(What is REST?) 在继续各种操作描述之前,说…

​一.引言 随着腾讯云 Elasticsearch 云产品功能越来越丰富,ES 用户越来越多,云上的集群规模也越来越大.我们在日常运维工作中也经常会遇到一些由于前期集群规划不到位,导致后期业务增长集群规模大了之后带来的各种各样的集群可用性及稳定性问题. 这里列举下其中比较典型的几种集群规划问题: 节点规格规划问题:集群数量很大,但是每个节点的配置很低: 索引分片规划问题:索引很小,但是设置了几十个分片,或者索引很大,只设置了两三个分片: 分片数量规划问题:集群中包含 10万+ 的分片. 正所谓磨…

ElasticSearch共有两个配置文件,都位于config目录下,分别是elasticsearch.yml和logging.yml,其中,elasticsearch.yml 用来配置ElasticSearch服务器.配置选项分为静态设置和动态设置两种.静态设置必须在结点级别(node-level)设置,或配置在elasticsearch.yml配置文件中,或配置在环境变量中,或配置在命令行中,在结点启动之后,静态设置不能修改.集群的名字和结点的名称:cluster.name 和 node.n…

"哔...哔...哗",PagerDuty的报警通知又来了. 可能是因为你又遭遇了节点宕机, 或者服务器机架不可用, 或者整个ElasticSearch集群重启了. 不管哪种情况, 当前集群的状态都成为了RED: 因为当前有些分片不可被指派(到某个节点), 从而导致部分数据不可用. 这种情况总会不期而至, 而你该怎么办!? 在ElasticSearch的早期版本中, 通常需要具有诸如爆破专家般的分析能力的人才能找到问题根源: 分片为何不可用!?. 你需要通过cluster state…

之前在IDC机房线上环境部署了一套ELK日志集中分析系统, 这里简单总结下ELK中Elasticsearch健康状态相关问题, Elasticsearch的索引状态和集群状态传达着不同的意思. 一.  Elasticsearch 集群健康状态一个 Elasticsearch 集群至少包括一个节点和一个索引.或者它 可能有一百个数据节点.三个单独的主节点,以及一小打客户端节点——这些共同操作一千个索引(以及上万个分片).但是不管集群扩展到多大规模,你都会想要一个快速获取集群状态的途径.Cluste…