目录 Elasticsearch时光机 创建快照存储库 清理:删除旧的快照 监控集群状态和健康度 集群健康度API 索引统计API 状态API 节点信息API 节点统计API 集群状态API 挂起任务API 索引段API cat API Elasticsearch时光机 强大数据恢复机制 创建快照存储库 快照保存它创建的时间点上所有跟集群相关的数据,包括集群状态和索引的信息.至少在创建第一个快照之前,必须创建一个快照存储库. 每个存储库有名称区分,应该定义如下内容: name:存储库的唯一名称…

第7章 深入Elasticsearch集群 启动一个Elasticsearch节点时,该节点会开始寻找具有相同集群名字并且可见的主节点.如 果找到主节点,该节点加入一个已经组成了的集群:如果没有找到,该节点成为主节点(如果配 置允许).形成集群和寻找节点的过程称为发现.负责发现的模块有两个主要目的:选出一个主 节点和发现集群中的新节点.本节将讨论如何配置和优化发现模块. 7.1节点发现 7.1.1 发现的类型 默认在没有安装额外插件的情况下,Elasticsearch允许使用zen发现,它提供了…

一.集群规划 搭建一个集群我们需要考虑如下几个问题: 1. 我们需要多大规模的集群? 2. 集群中的节点角色如何分配? 3. 如何避免脑裂问题? 4. 索引应该设置多少个分片? 5. 分片应该设置几个副本? 下面我们就来分析和回答这几个问题 1.我们需要多大规模的集群? 需要从以下两个方面考虑: 1.1 当前的数据量有多大?数据增长情况如何?1.2 你的机器配置如何?cpu.多大内存.多大硬盘容量? 推算的依据: ES JVM heap 最大可以设置32G . 30G heap 大概能处理的数据…

elasticsearch-head是一个elasticsearch的集群管理工具,它是完全由html5编写的独立网页程序,你可以通过插件把它集成到es 插件安装方法1: 1.elasticsearch/bin/plugin -install mobz/elasticsearch-head 2.运行es 3.打开http://localhost:9200/_plugin/head/ 插件安装方法2: 1.https://github.com/mobz/elasticsearch-head下载zi…

Elasticsearch-head是一个elasticsearch的集群管理工具,它是完全由html5编写的独立网页程序,你可以通过插件把它集成到es.或直接下载源码,在本地打开index.html运行它.该工具的git地址是: https://github.com/Aconex/elasticsearch-head 插件安装方法: 1.elasticsearch/bin/plugin -install Aconex/elasticsearch-head 2.运行ES 3.打开http://l…

一.Prometheus介绍之前已经详细介绍了Kubernetes集群部署篇,今天这里重点说下Kubernetes监控方案-Prometheus+Grafana.Prometheus(普罗米修斯)是一个开源系统监控和警报工具,最初是在SoundCloud建立的.自2012年成立以来,许多公司和组织都采用了普罗米修斯,该项目拥有一个非常活跃的开发者和用户社区.它现在是一个独立的开放源码项目,并且独立于任何公司,为了强调该点并澄清项目的治理结构,Prometheus在2016年加入了云计算基金会,成…

转载:http://elasticsearch.cn/article/110 ElasticSearch目前在互联网公司主要用于两种应用场景,其一是用于构建业务的搜索功能模块且多是垂直领域的搜索,数据量级一般在千万至数十亿这个级别:其二用于大规模数据的实时OLAP,经典的如ELKStack,数据规模可能达到千亿或更多. 这两种场景的数据索引和应用访问模式上差异较大,在硬件选型和集群优化方面侧重点也会有所不同.一般来说后一种场景属于大数据范畴,数据量级和集群规模更大,在管理方面也更有挑战. 应Me…

一 Prometheus概述 1.1 Prometheus简介 Prometheus是由SoundCloud公司开发的开源监控系统,是继Kubernetes之后CNCF第2个毕业的项目,在容器和微服务领域得到了广泛应用.Prometheus的主要特点如下: 使用指标名称及键值对标识的多维度数据模型. 采用灵活的查询语言PromQL. 不依赖分布式存储,为自治的单节点服务. 使用HTTP完成对监控数据的拉取. 支持通过网关推送时序数据. 支持多种图形和Dashboard的展示,例如Grafana.…

ES通过设置[节点的名字]和[集群的名字],就能自动的组织相同集群名字的节点加入到集群中,并使很多的技术对用户透明化. 如果用户想要管理查看集群的状态,可以通过一些REST API来实现. 其他的ES文档翻译参考:Elasticsearch文档总结 REST API用途 ES提供了很多全面的API,大致可以分成如下几种: 1 检查集群.节点.索引的健康情况 2 管理集群.节点,索引数据.元数据 3 执行CRUD,创建.读取.更新.删除 以及 查询 4 执行高级的查询操作,比如分页.排序.脚本.聚…

1.问题抛出 1.1 新增节点问题 我的群集具有黄色运行状况,因为它只有一个节点,因此副本保持未分配状态,我想要添加一个节点,该怎么弄? 1.2 删除节点问题 假设集群中有5个节点,我必须在运行时删除2个节点. 那么如何在不影响指数的情况下完成? 我有接近10 Gb/hour的连续数据流,这些数据正在连续写入并索引化. 重新平衡会对此有所影响吗? 本文就从上面两个问题说起,将相关知识点串起来,内容较长,阅读时间5分钟+. 2.知识点 2.1 Master节点的职责 主节点的主要作用之一是确定将哪…