一、前言

    很久没有更新博客,实在对不住大家。从10月份假期以后我就开始优化程序,来应对双11,这段时间确实很忙,不好意思。好在优化效果还不错,我负责的模块在双11期间没有任何大问题,整体效果还是比较好的,直到本周才正真的做到解放。扯淡过后,这里我还是开始我们监控篇,监控有些数据还是要借助于Kibana去观察的,我这边在暂时先放一下Kibana下篇咱们探讨下,这里先只用Kibana去展示下我们监控的数据。我仔细思考了一下,可能这个系列还是不能很快的结束,还有很多很多要说的我感觉,比如Beats、源码方面的东西、还有些实战等等,当然这都是后话,先开始我们今天的主题,

二、Elasticsearch监控

    我们先来说下官方给我们提供接口,通过Kibana看图形化的界面也是通过这些接口实现的,所以我们先要了解这些接口,官方是通过_cat这个接口来提供对Elasticsearch监控的。这个里面包括了我们对集群状况、线程数、索引、节点等等我们想要监控到的指标,接下来我们来看一下这些接口。

    aliases

展示别名有关索引的别名的信息,包括过滤器和路由信息。这个地方我就不给大家展示例子了,因为这是本机环境没有建立别名,大家自己去尝试一下。这里我啰嗦下别名的作用,用来无缝切换索引,为什么要无缝切换索引,每天新增数据太多以后,为了避免数据库和索引里面数据不一样所以这里要每天重建一下索引,这里就是通过别名的方式去实现的。

   allocation

   每个节点上有多少分片以及分片使用了多少磁盘空间;这个format是指定格式,我比较喜欢看见json格式,另外还能指定排序的列,下面的例子会展示;

   

count

查询当前集群和单个索引文档的个数,查询单个索引的话在count后面加上索引的名字;

fielddata

展示每个分片上fielddata当前正在使用的堆内存量;

health

整个集群的健康状况;

indices

查询所有索引的状况,包括副本、文档数目、分配磁盘空间大小、健康状况等等;支持单个或者模糊查询多个索引的状况,后面跟随的s的参数就是可以根据那个列进行排序,可以支持多个列;

master

主节点情况;

nodeattrs

自定义节点的属性,我没有使用过;

nodes

每个节点使用的情况,包括CPU、磁盘空间、内存等等,可以指定想要监控的类型,如下在h后面指定想要监控的类型;

pending_tasks

等待执行任务的列表;

plugins

安装插件的列表;

recovery

查询索引分片恢复的状况,这个当节点出现故障时候才会使用;

repositories

集群中注册的快照的节点;

thread_pool

显示每个节点的线程池统计信息,默认情况下,返回线程池活跃,队列和拒绝统计信息。

shards

显示每个分片详情分布,分片告诉包含那些索引的主和副本、文档、磁盘大小等等信息;

segments

查询每个索引segment的详情,不了解segment的可以去看下前面的文章;

snapshots

查询快照信息;

templates

查询现有版本的信息;

三、使用X-Pack监控

   这里我们监控主要监控Elasticsearch和Logstash,具体安装步骤就参考下官方文档;X-Pack提供很多工具,Monitoring就是用来监控的,这个插件是免费的,我们安装好以后主要来看下我们需要注意的指标,介绍下这个工具的使用,Linux下的安装我就不给大家多说什么,网上一大把,Windows下给大家一个链接看看,这里强调几点:每个节点都必须安装x-pack;配置xpack.security.enabled : false以后可以进行免登陆,接下来我们来下看搭好以后整个Kibana界面;

整体状况:

节点状况:

这个页面可以查看每个索引的对应状况:

这个页面查看节点更详细内存分布:

这个页面查看每个索引的一些状况

另外还可以对Logstash监控更好的方便我们进行调优,现在还有很多基于Grafana去搞监控,做对比等等的,有机会可以搞一波,其实我也想在公司推广一下,办法很多,随意大家玩;

四、结束

  接下来会介绍下Kibana和Beats相关方面的东西,更新的频率也会多一些,又要到年底可以回顾下该年的收获,欢迎大家加群438836709,欢迎大家关注我公众号!

Elastic Stack-Elasticsearch使用介绍(六)的更多相关文章

  1. Elastic Stack之ElasticSearch分布式集群二进制方式部署

    Elastic Stack之ElasticSearch分布式集群二进制方式部署 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 想必大家都知道ELK其实就是Elasticsearc ...

  2. ES 集中式日志分析平台 Elastic Stack(介绍)

    一.ELK 介绍 ELK 构建在开源基础之上,让您能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地对数据进行搜索.分析和可视化. 最近查看 ELK 官方网站,发现新一代的日志采集器 File ...

  3. 集中式日志分析平台 Elastic Stack(介绍)

    一.ELK 介绍 二.ELK的几种常见架构 >>ELK 介绍<< ELK 构建在开源基础之上,让您能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地对数据进行搜索.分析 ...

  4. Elastic Stack(ElasticSearch 、 Kibana 和 Logstash) 实现日志的自动采集、搜索和分析

    Elastic Stack 包括 Elasticsearch.Kibana.Beats 和 Logstash(也称为 ELK Stack).能够安全可靠地获取任何来源.任何格式的数据,然后实时地对数据 ...

  5. Elastic Stack之ElasticSearch分布式集群yum方式搭建

    Elastic Stack之ElasticSearch分布式集群yum方式搭建 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.搜索引擎及Lucene基本概念 1>.什么 ...

  6. Elastic Stack核心产品介绍-Elasticsearch、Logstash和Kibana

    Elastic Stack 是一系列开源产品的合集,包括 Elasticsearch.Kibana.Logstash 以及 Beats 等等,能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地 ...

  7. 浅尝 Elastic Stack (一) Elasticsearch、Kibana、Beats 安装

    Elastic Stack 包括 Elasticsearch.Kibana.Beats 和 Logstash,也称为 ELK Stack.能够安全可靠地获取任何来源.任何格式的数据,然后实时地对数据进 ...

  8. ELK stack elasticsearch/logstash/kibana 关系和介绍

    ELK stack elasticsearch 后续简称ES logstack 简称LS kibana 简称K 日志分析利器 elasticsearch 是索引集群系统 logstash 是日志归集集 ...

  9. Elastic Stack之kibana使用

    Elastic Stack之kibana使用 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客数据流走向:FileBeat ===>Redis  ===>log ...

  10. Elastic stack ——X-Pack安装

    X-Pack是一个Elastic Stack的扩展,将安全,警报,监视,报告和图形功能包含在一个易于安装的软件包中.在Elasticsearch 5.0.0之前,您必须安装单独的Shield,Watc ...

随机推荐

  1. Python项目,VS Code控制台输出乱码问题解决办法

    一.添加系统变量 在window环境变量中,添加环境变量 PYTHONIOENCODING = UTF-8. 二.在文件中设置输出编码 import io import sys sys.stdout ...

  2. java EE中的hello1.java及Annotation(注解)

    一.Annotation(注解) 注解(Annotation)很重要,未来的开发模式都需要注解,注解是java.lang.annotation包,Annotation是从java5引入的,它提供一些不 ...

  3. JS正则表达式匹配域名 网址 URL

    DNS规定,域名中的标号都由英文字母和数字组成,每一个标号不超过63个字符,也不区分大小写字母.标号中除连字符(-)外不能使用其他的标点符号.级别最低的域名写在最左边,而级别最高的域名写在最右边.由多 ...

  4. 【python3基础】相对路径,‘/’,‘./’,‘../’

    python3相对路径 “/” 前有没有 “.” ,有几个“.”,意思完全不一样. “/”:表示根目录,在windows系统下表示某个盘的根目录,如“E:\”: “./”:表示当前目录:(表示当前目录 ...

  5. .NET Core微服务之基于Ocelot实现API网关服务(续)

    Tip: 此篇已加入.NET Core微服务基础系列文章索引 一.负载均衡与请求缓存 1.1 负载均衡 为了验证负载均衡,这里我们配置了两个Consul Client节点,其中ClientServic ...

  6. 【Android Studio安装部署系列】十二、Android studio代码混淆

    版权声明:本文为HaiyuKing原创文章,转载请注明出处! 概述 为什么需要代码混淆呢?原因很简单,你的apk很容易被反编译出来,你写的代码都会被看到,因此我们需要在编译过程中对代码进行一定程度的混 ...

  7. 在github上搭建一个静态的个人网站

    说一下大概步骤 1.创建一个新仓库 仓库名必须是你的用户名+github.io后缀 例:用户名:tom 仓库名就要是:tom.github.io (这里具体步骤可以自己百度一下) 2.创建好仓库我们该 ...

  8. &,^,|,的简化计算与理解

    (全部和2进制有关 , 凡是2的次方数都是独立数列,都要先分解再计算的,该计算方式仅供手工计算理解,电脑会自动进行换算的) (第二个等号后面为2进制的结果,不够位在前面补0,1为真,0为假)   A^ ...

  9. Spring入门(三):通过JavaConfig装配bean

    上一篇博客中,我们讲解了使用组件扫描和自动装配实现自动化装配bean,这也是最好的使用方式. 但是某些场景下,我们可能无法使用自动装配的功能,此时就不得不显式的配置bean. 比如我们引用了一个第三方 ...

  10. 学代码第十七天,JAVA继承

    JANA面向对象的三大特性:封装,继承,多态. 今天学了继承,继承,通俗点说就是子类可以用父类的代码,或重写父类的方法.构造方法.属性 例如我这里要调用父类的方法: 下边有两个测试类,自己分别试一下, ...