一、前言

    主要来讲述一下Kibana使用以及上生产时候的一些配置,要是大家对这块比较感兴趣我到时候也可以在结合Grafana做一些图表方面的介绍,后面等介绍完Beats以后我去阿里云租几台机器,给大家来个ELK方面的实战,然后要是时间充分在和大家一起学习下Elasticsearch源码,废话不多说开始喽;

二、Kibana配置

    主要介绍一些常用的配置,剩下一些冷门的大家可以查看下官方配置;

server.port:

默认值: 5601 该配置指定Kibana 使用的端口号;

server.host:

默认值: "localhost" 指定后端服务器的主机地址;

server.maxPayloadBytes:

默认值: 1048576 服务器请求的最大负载,单位字节;

server.name:

默认值: "主机名" Kibana 实例对外展示的名称;

elasticsearch.url:

默认值: "http://localhost:9200" 用来处理所有查询的 Elasticsearch 实例的 URL ;

kibana.index:

默认值: ".kibana" Kibana 使用 Elasticsearch 中的索引来存储保存的检索,可视化控件以及仪表板。如果没有索引,Kibana 会创建一个新的索引;

elasticsearch.requestTimeout:

默认值: 30000 等待后端或 Elasticsearch 的响应时间,单位微秒,该值必须为正整数;

logging.dest:

默认值: stdout指定 Kibana 日志输出的文件;

以上基本就是常用的甚至一些都用不到,如果大家想启用SSL大家去参考下官方配置,我将这块的都已经默认关闭了;接下来我们主要来介绍下生产线上一些相关方面的配置,之前我们介绍Elasticsearch 的时候只介绍两种主要的节点,还有一个节点类型没有介绍,他就是协调节点,该节点作用负载平衡器,该节点处理传入的HTTP请求,根据需要将操作重定向到群集中的其他节点,并收集并返回结果;我们主要利用这个特性来搭建Kibana生产的部署架构,当然你直接配置也是可以,这个只是推荐,我们主要利用这个节点来协调Kibana 的请求,获取返回我们需要数据,官方有个名字Coordinating only node,整体架构如下图:

    

接下来我们结合上面架构我们需要如何配置Elasticsearch,

1.在与Kibana相同的计算机上安装Elasticsearch客户端节点;

2.通过设置将节点配置为仅协调节点:

node.master: false;

node.data: false;

node.ingest: false;

3.将客户端节点添加到elasticsearch集群;

cluster.name: "my_cluster";

4.配置network.host(对Kibana HTTP连接)和transport.host(需要连接的到集群上的节点):

network.host: localhost;

http.port: 9200;

transport.host: YOUR_IP;

transport.tcp.port: 9300;

5.配置kibana;

elasticsearch.url: "http://localhost:9200";

接下来我们思考下这样架构的好处,协调节点不参与选主环节,减少了选主时间,通过协调节点专门处理监控或者我们需要的一些数据的请求,使其他节点专注于线上请求,提升了效率,要说有什么不好,那就是需要多一台机器;接下来我们来通过Kibana做一些图表;

三、Kibana入门实战

      Elasticsearch集群搭建和Logstash相关下载和安装就不讲解了,我们主要借助Kibana来分析120年奥运会运动员或者国家一些情况,数据我是在这个网址下载的,准确性方面我没去核对,我们主要借助这些数据来学习Kibana就好了。整体流程是通过Logstash讲CSV文件导入到Elasticsearch,然后借助Kibana分析,我把Logstash配置粘贴到下面,通过使用logstash.bat -f ../config/logstash.conf启动起来就可以将文件导入到Elasticsearch中,在启动起来之前我们还需要在Elasticsearch建立模板,当然也可以通过Logstash指定模板这个有兴趣自己百度下,我也将Mapping模板放到下面;

input {

  file{

    path => ["C:/Users/wangt/Desktop/athlete_events.csv"]

    # 设置多长时间检测文件是否修改(单位:秒)
stat_interval => # 监听文件的起始位置,默认是end
start_position => beginning # 设置多长时间会写入读取的位置信息(单位:秒)
sincedb_write_interval =>
}
} filter {
#去除每行记录中需要过滤的NA,替换为空字符串
mutate{
gsub => [ "message", "NA", "" ]
} csv {
# 每行记录的字段之间以,分隔
separator => "," columns => ["name","sex","age","height","weight","team","noc","games","year","season","city","sport","event","medal"] # 过滤掉默认加上的字段
remove_field => ["host", "path","message"]
}
} output {
elasticsearch {
hosts => ["127.0.0.1:9200","127.0.0.1:9201","127.0.0.1:9202"]
index => "olympicawards"
}
}
{
"mappings":{
"doc":{
"properties":{
"@timestamp":{
"type":"date"
},
"@version":{
"type":"keyword"
},
"name":{
"type":"keyword"
},
"sex":{
"type":"keyword"
},
"age":{
"type":"integer"
},
"weight":{
"type":"float"
},
"team":{
"type":"keyword"
},
"noc":{
"type":"keyword"
},
"games":{
"type":"keyword"
},
"year":{
"type":"integer"
},
"season":{
"type":"keyword"
},
"sport":{
"type":"keyword"
},
"event":{
"type":"keyword"
},
"medal":{
"type":"keyword"
}
}
}
}
}

以上就是大家需要的模板,这里不做特别复杂仪表盘等ELK实战的时候我们来做一些比较复杂东西,但是本质上是不变的,只要对DSL足够了解,构建仪表盘都是分分钟的事,我们先来整体介绍下Kibana的整体界面,然后在做一个简单的仪表盘就完成这篇博客;

主要有7大模块,介绍下每个模块的作用:

Discover:以页面的形式展示Elasticsearch中的数据,可以做一些过滤、搜索等等操作;

Visualize:根据Elasticsearch创建可视化的界面;

Dashboard:仪表盘可以将可视化界面组合在一些,类似现在的比较流行的大屏界面一样;

Timelion:时间序列数据可视化工具,按照时间检索数据;

Dev Tools:通过DSL进行查询数据的工具;

Monitoring:监控数据Elasticsearch、Logstash和Beats运行状况的工具;

Management:Kibana管理索引以及一些参数配置地方;

接下来我们使用Visualize和Dashboard做图表,通过Visualize构建相关类型的图表,有如下类型:

选中想要构建类型,通过添加一些类型或者增加一些过滤条件来展示数据;

最终通过保存按钮保存起来,在构建Dashboard时候使用,

点击增加按钮,选择在Visualize保存的图表,然后通过调整位置得到自己想要的界面,最终保存下来;

最终就完成对整个索引信息的图表化展示。

四、结束

     欢迎大家加群438836709,欢迎大家关注我!

Elastic Stack-Kibana使用介绍(七)的更多相关文章

  1. ES 集中式日志分析平台 Elastic Stack(介绍)

    一.ELK 介绍 ELK 构建在开源基础之上,让您能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地对数据进行搜索.分析和可视化. 最近查看 ELK 官方网站,发现新一代的日志采集器 File ...

  2. 集中式日志分析平台 Elastic Stack(介绍)

    一.ELK 介绍 二.ELK的几种常见架构 >>ELK 介绍<< ELK 构建在开源基础之上,让您能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地对数据进行搜索.分析 ...

  3. Elastic Stack(ElasticSearch 、 Kibana 和 Logstash) 实现日志的自动采集、搜索和分析

    Elastic Stack 包括 Elasticsearch.Kibana.Beats 和 Logstash(也称为 ELK Stack).能够安全可靠地获取任何来源.任何格式的数据,然后实时地对数据 ...

  4. Elastic Stack之kibana入门

    为了解决公司的项目在集群环境下查找日志不便的问题,我在做过简单调研后,选用Elastic公司的Elastic Stack产品作为我们的日志收集,存储,分析工具. Elastic Stack是ELK(E ...

  5. Elastic Stack之kibana使用

    Elastic Stack之kibana使用 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客数据流走向:FileBeat ===>Redis  ===>log ...

  6. Elastic Stack核心产品介绍-Elasticsearch、Logstash和Kibana

    Elastic Stack 是一系列开源产品的合集,包括 Elasticsearch.Kibana.Logstash 以及 Beats 等等,能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地 ...

  7. 浅尝 Elastic Stack (一) Elasticsearch、Kibana、Beats 安装

    Elastic Stack 包括 Elasticsearch.Kibana.Beats 和 Logstash,也称为 ELK Stack.能够安全可靠地获取任何来源.任何格式的数据,然后实时地对数据进 ...

  8. Elastic Stack之ElasticSearch分布式集群二进制方式部署

    Elastic Stack之ElasticSearch分布式集群二进制方式部署 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 想必大家都知道ELK其实就是Elasticsearc ...

  9. Elastic stack ——X-Pack安装

    X-Pack是一个Elastic Stack的扩展,将安全,警报,监视,报告和图形功能包含在一个易于安装的软件包中.在Elasticsearch 5.0.0之前,您必须安装单独的Shield,Watc ...

  10. Spring Boot + Elastic stack 记录日志

    原文链接:https://piotrminkowski.wordpress.com/2019/05/07/logging-with-spring-boot-and-elastic-stack/ 作者: ...

随机推荐

  1. kafka集群broker频繁挂掉问题解决方案

    现象:kafka集群频繁挂掉 排查日志:查看日志文件[kafkaServer.out],发现错误日志:ERROR Shutdown broker because all log dirs in /tm ...

  2. Java核心技术第四章——3.对象构造

    重载: 如果多个方法(包含构造方法)有相同的名字.不同的参数,便产生重载.编译器必须挑选出具体执行哪个方法,它通过用各个方法给出的参数类型与特定方法调用所使用的值类型进行匹配挑选出相对应的方法. 如果 ...

  3. JAVA之enum类详解

    目录    一.简介    二.默认枚举类    三.多值枚举类    四.属性和方法    五.构造函数    六.重要方法    七.引用参考 一.简介    1.枚举类代表一组常量:    2. ...

  4. Python爬虫9-request包介绍及应用

    GitHub代码练习地址:1.两种简单get请求方法:https://github.com/Neo-ML/PythonPractice/blob/master/SpiderPrac13_request ...

  5. Redis常用数据类型和事物以及并发

    Redis数据类型 基本类型(String int): 如 set key value .get key 等 所有命令都是按照 key value keys * 可以将全部数据列出,其中后面的 &qu ...

  6. vue项目向小程序迁移调研

    概述 今天调研了一下vue项目怎么向小程序迁移,有些心得,记录下来,供以后开发时参考,相信对其他人也有用. 基本上vue项目向小程序迁移不外乎2种方法,一种是用小程序的web-view组件,另一种是用 ...

  7. 查找第三方银行官方app下载链接探索过程

    需求:最近有个需求,点击按钮,弹出一个所需银行选项的非全屏弹出层,再点击某银行选项,随即跳转到该银行的app下载界面,如下图所示           注:这里只是引用相关银行的链接,不需要做什么逻辑处 ...

  8. C++ 之 简单的五子棋AI程序

    本人是大一新生,寒假无聊,抱着试试看的心态(没有想到可以完成),写了C++的简单五子棋程序,开心.     下面是效果图:     一.首先讲讲大致思路.            五子棋实现的基础:  ...

  9. [.NET跨平台]Jexus独立版本的便利与过程中的一些坑

    本文环境与前言 之前写过一篇相关的文章:在.NET Core之前,实现.Net跨平台之Mono+CentOS+Jexus初体验 当时的部署还是比较繁琐的,而且需要联网下载各种东西..有兴趣的可以看看, ...

  10. Linux权限管理(week1_day5)--技术流ken

    权限概述 Linux系统一般将文件可存/取访问的身份分为3个类别:owner(拥有者).group(和所有者同组的用户).others(其他人,除了所有者,除了同组的用户以及除了超级管理员),且3种身 ...