DevOps元素周期表—2号元素Kibana

Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。

目录

1. 引子
2. ELK快速安装
3. Elasticsearch快速入门
4. SpringBoot整合ELK日志中心

ELK是Elastic公司提供的一套完整的日志收集以及展示的解决方案，也就是我们常说的日志中心，其中E代表Elasticsearch，L代表Logstash，K就是本文的中心Kibana。

Elasticsearch在其中担当了数据源的作用，用于对数据快速搜索定位，这也是Github搜索使用的解决方案。

在超大数据规模的情况下，能够将查询条件匹配然后返回，高亮显示，你应该知道Elasticsearch的强大了。

Logstash的作用是日志收集器，可以将不同来源的日志数据进行处理输出。下图是我的Logstash配置文件logstash.conf，配置分为两个核心模块，input和output，input中是logstash开放的端口5000，用于应用将日志提交给logstash，在output中是logstash处理完日志后将日志输出的地方，可以看到是输出到Elasticsearch，至于下面的用户名密码，如果你的Elasticsearch有设置即填，没有设置则忽略。

Kibana的作用是对Elasticsearch中存储的数据进行数据分析和可视化处理。

Kibana主要的作用是对日志进行可视化处理，同样的还有Grafana，不过Grafana可以指定多种数据源，比如Prometheus，Mysql，Elasticsearch等

一. ELK快速安装

​需要了解的ELK开放端口

• 5000: Logstash TCP input
• 9200: Elasticsearch HTTP
• 9300: Elasticsearch TCP transport
• 5601: Kibana

• 方式一:

  使用docker安装，克隆改仓库https://github.com/deviantony/docker-elk

  在目录下执行docker-compose up。

• 方式二:

  使用同版本的包，此处ELK三个包版本必须相同，以免使用出现问题，我本地都是7.1.0。

  我已经将三个同版本的包打包上传好了，公众号回复【ELK】获得网盘下载地址

  将包解压后，在各个bin目录下执行相应程序即可。

  # ..\elasticsearch-7.1.0\bin  .\elasticsearch.bat
  

  # E:\kibana-7.1.0\bin  .\kibana.bat
  

  类似这样，先启动elasticsearch。

  浏览器访问 localhost:9200，可以看到elasticsearch的启动状态，然后启动kibana，浏览器访问 localhost:5601。

二. Elasticsearch快速入门

Ⅰ. 索引，文档和REST API

1. 文档

• Elasticsearch是面向文档的，文档是所有可搜索数据的最小单位。
  • 日志文件中的日志项
  • 一部电影的具体信息 / 一张唱片的详细信息
  • MP3播放器中的一首歌 / 一篇PDF文档中的具体内容
• 文档会被序列化成JSON格式，保存在ElasticSearch中
  • JSON对象由字段组成
  • 每个字段都有对应的字段类型(字符串/数值/布尔/日期/二进制/范围类型)
• 每个文档都有一个Unique ID
  • 你可以自己指定ID
  • 或者通过Elasticsearch自动生成

2. JSON文档

• 一篇文档包含了一系列字段。类似数据库表中一条记录

• JSON文档，格式灵活，不需要预先定义格式

  • 字段的类型可以指定或者通过ElasticSearch自动推算
  • 支持数组/支持嵌套
    
    

3. 文档的元数据

• 元数据，用于标注文档的相关信息
  • _index 文档所属的索引名
  • _type 文档所属的类型名
  • _id 文档唯一id
  • _source 文档的原始Json数据
  • _all 整合所有字段内容到该字段，已被废除
  • _version 文档的版本信息
  • _score 相关性打分

4. 索引

• Index — 索引是文档的容器，是一类文档的结合

  • Index体现了逻辑空间的概念：每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型
  • Shard体现了物理空间的概念：索引中数据分散在Shard上

• 索引的Mapping与Setting

  • Mapping定义文档字段的类型
  • Setting定义不同的数据分布

• 索引的不同语义

索引（动词）文档到ElasticSearch的索引（名词）中

• 名词：一个ElasticSearch集群中，可以创建很多个不同的索引
• 动词：保存一个文档到ElasticSearch的过程也叫索引(Indexing)
  • ES中创建一个倒排索引的过程
• 名词： 一个B树索引，一个倒排索引

5. Type

• 在7.0之前，一个Index可以设置多个Types
• 6.0开始，Type已经被Deprecated。7.0开始，一个索引只能有一个Type—"_doc"

6. 与关系型数据库类比

RDBMS	ElasticSearch
Table	Index
Row	Document
Column	Filed
Schema	Mapping
SQL	DSL

• 传统关系型数据库与ElasticSearch的区别
  • ElasticSearch — Schemaless / 相关性高 / 高性能全文检索
  • RDMS — 事物性 / Join

7. REST API — 很容易被各种语言调用

8. 一些基本的API

• Indices
  • 创建Index
    • PUT Movies
  • 查看所有Index
    • _cat/indices

// 查看指定索引的相关信息   Mapping/Setting的设置
GET index_name
// 查看指定索引的文档总数
GET index_name/_count
// 查看指定索引的前10条文档
POST index_name/_search

// _cat indices API
// 对索引名称进行通配符查询
GET /_cat/indices/kibana*v&s=index
// 查看索引状态为绿的索引
GET /_cat/indices/v&health=green
// 按照文档个数排序
GET /_cat/indices/v&s=docs.count:desc

Ⅱ. 节点，集群，分片和副本

1. 分布式系统的可用性与扩展性

• 高可用性
  • 服务可用性 — 允许有节点停止服务
  • 数据可用性 — 部分节点丢失，不会丢失数据
• 可扩展性
  • 请求量提示 / 数据的不断增长 (将数据分布到所有节点上)

2. 分布式特性

• ElasticSearch的分布式架构的好处

  • 存储的水平扩容
  • 提升系统的可用性，部分节点停止服务，整个集群的服务不受影响

• Elasticsearch的分布式架构

  • 不同的集群通过不同的名字来区分，默认名字"elasticsearch"
  • 通过配置文件修改，或者在命令行中 -E cluster.name=clustername 进行设定
  • 一个集群可以有一个或多个节点

3. 节点

• 节点是一个Elasticsearch的实例
  • 本质上就是一个JAVA进程
  • 一台机器上可以运行多个Elasticsearch进程，但生产环境一个一机一个
• 每个节点都有名字，通过配置文件，或者启动时通过 -E node.name=nodename进行设定
• 每个节点在启动之后，会分配一个UID，保存在data目录下

4. Master-ekigible nodes 和 Master Node

• 每个节点启动后，默认就是一个Master eligible节点
  • 可以设置node.master: false 禁止
• Master-eligible节点可以参与选主流程，成为Master节点
• 当第一个节点启动时，他会将自己选举为Master节点
• 每个节点上都保存了集群的状态，只有Master节点才能修改集群的状态信息
  • 集群状态，维护了一个集群中，必要的信息
    • 所有的节点信息
    • 所有的索引和其相关的Mapping与Setting信息
    • 分片的路由信息
  • 任意节点都能修改信息会导致数据的不一致性

5. Data Node & Coordinating Node

• Data Node
  • 可以保存数据的节点，叫做Data Node。负责保存分片数据。在数据扩展上起到了至关重要的作用
• Coordinating Node
  • 负责接收Client的请求，将请求发到合适的节点，最终把结果汇聚到一起
  • 每个节点默认都起到Coordinating Node的职责

6. 其他的节点类型

• Hot & Warm Node
  • 不同硬件配置的Data Node，用来实现Hot & Warm架构，降低集群部署的成本
• Machine Learning Node
  • 负责跑机器学习的Job，用来做异常检测
• Tribe Node
  • Tribe Node连接到不同的Elasticsearch集群，并且支持将这些集群当成一个单独的集群处理

7. 配置节点类型

8. 分片（Primary Shard & Replica Shard）

• 主分片，用以解决数据水平扩展的问题。通过主分片，可以将数据发布到集群内所有节点上
  • 一个分片是一个运行的Lucene实例
  • 主分片在索引创建时指定，后续不允许修改，除非Reindex
• 副本，用以解决数据高可用的问题。分片是主分片的拷贝
  • 副本分片数，可以动态调整
  • 增加副本数，还可以在一定程度上提高服务的可用性（读取的吞吐）

9. 分片的设定

• 对于生产环境中分片的设定，需要提前做好容量规划
  • 分片数设置过小
    • 导致后续无法增加节点实现水品扩展
    • 单个分片的数据量太大，导致数据重新分配耗时
  • 分片数设置过大，7.0开始，默认主分片设置成1，解决了over- sharding的问题
    • 影响搜索结果的相关性打分，影响统计结果的准确性
    • 单个节点上过多的分片，会导致资源浪费，同时也会影响性能

10. 查看集群状态

• 使用REST API

  • _cat/nodes
  • _cat/shard

• 使用cerebro

  • 启动访问localhost:9000

Ⅲ. 文档的基本CRUD与批量操作

1. 文档的CRUD

• Index （如果ID不存在，创建新的文档，如果存在，删除原有的再创建，版本会增加）

  PUT my_index/_doc/1
  {
  	"user": "mike",
  	"comment": "hello"
  }
  

• Create

  PUT my_index/_create/1
  {
  	"user": "mike",
  	"comment": "hello"
  }
  POST my_index/_doc(不用指定ID，自动生成)
  {
  	"user": "mike",
  	"comment": "hello"
  }
  

• Read

  GET my_index/_doc/1
  

• Update 文档必须存在，更新字段

  POST my_index/_update/1
  {
  	"user": "mike",
  	"comment": "hello es"
  }
  

• Delete

  DELETE my_index/_doc/1
  

2. Bulk API

支持在一次API调用中，对不同的索引进行操作

• 支持四种类型操作
  • Index
  • Create
  • Update
  • Delete
• 可以在URL中指定Index，也可以在请求的Payload中进行
• 操作中单个操作失败，不影响其他操作
• 返回结果包括了每一条操作执行的结果

POST _bulk
{"index": {"_index": "test", "_id": "1"}}
{"field1": "value1"}
{"delete": {"_index": "test", "_id":"2"}}

3. 批量读取 mget

批量操作，可以减少网络连接所产生的开销，提高性能

GET _mget
{
	"docs": [
	{
		"_index": "user",
		"_id": 1
	},
	{
		"_index": "comment",
		"_id": 1
	}
	]
}

4. 批量查询 msearch

POST my_index/_msearch
{}
{"query": {"match_all":{}, "from":0, "size":10}}
{}
{"query": {"match_all":{}}
{"index": "twitter2"}
{"query": {"match_all":{}}

Ⅳ. 倒排索引

1. 正排与倒排索引

• 目录页，根据目录页索引，正排索引，章名称+页码号
• 根据关键字进行索引到目录页，倒排索引

在搜索引擎中

• 正排索引 — 文档ID到文档内容和单词的关联
• 倒排索引 — 单词到文档ID的关系

2. 倒排索引的核心组成

• 倒排索引包含两个部分
  • 单词词典，记录所有文档的单词，记录单词到倒排列表的关联关系
    • 单词词典一般比较大，可以通过B+树或者哈希拉链法实现，以满足高性能的插入与查询
  • 倒排列表，记录了单词对应的文档结合，由倒排索引项组成
    • 倒排索引项
      • 文档ID
      • 词频TF
      • 位置 — 单词在文档中分词的位置。用于语句搜索
      • 偏移 — 记录单词的开始结束位置，实现高亮显示

3. Elasticsearch的倒排索引

• Elasticsearch的JSON文档中的每个字段，都有自己的倒排索引
• 可以指定对某些字段不做索引
  • 优点： 节省存储空间
  • 缺点：字段无法被搜索

Ⅴ. 通过Analyzer进行分词

1. Analysis与Analyzer

• Analysis — 文本分析是把全文本转换为一系列单词(term/token)的过程，也叫分词

• Analysis是通过Analyzer来实现的

  • 可使用Elasticsearch内置的分析器/或者按需定制分析器

• 除了在数据写入时转换词条，匹配Query语句时也需要用相同的分析器对查询语句进行分析

2. Analyzer的组成

• 分词器是专门处理分词的组件，Analyzer由三部分组成

  • Character Filter，针对原始文本处理，例如去除html / Tokenizer 按照规则切分为单词 / Token Filter 将切分的单词进行加工，小写，删除stopwords，增加同义词

  

3. Elasticsearch内置分词器

4. 使用_analyzer API

• 直接指定Analyzer进行测试

  GET /_analyze
  {
  	"analyzer": "standard",
  	"text": "Mastering Elasticsearch, elasticsearch in Action"
  }
  

• 指定索引字段进行测试

  POST books/_analyze
  {
  	"field": "title",
  	"text": "Mastering Elasticsearch"
  }
  

• 自定义分词进行测试

POST /_analyze
{
	"tokenizer": "standard",
	"filter": ["lowercase"],
	"text": "Mastering Elasticsearch"
}

5. 中文分词

• 中文句子，切分成一个一个词，而不是字

• 英文中，单词有自然空格分隔

• 一句中文，不同上下文有不同理解

  • 这个苹果，不大好吃 / 这个苹果，不大，好吃！

• 安装ICU Analyzer

在elasticsearch的bin目录下执行

elasticsearch-plugin install analysis-icu

提供了Unicode的支持，更好的支持亚洲语言

6. 更多好用的中文分词器

• LK
  • 支持自定义词库，支持热更新分词字典
• THULAC
  • THU Lexuacal Analyzer for Chinese，清华大学自然语言处理和社会人文计算实验室的一套中文分词器

Ⅵ. Search API概览

1. Search API

• URI Search
  • 在URL中使用查询参数
• Request Body Search
  • 使用Elasticsearch提供的，基于JSON格式的更加完备的Query Domain Specific Language(DSL)

2. 指定查询的索引

• /_search 集群上所有的索引
• /index1/_search 索引index1
• /index1,index2/_search 索引index1和2
• /index*/_search 查询index开头的索引

3. Request Body

4. 搜索Response

Ⅶ. URI Search

1. 通过URI query实现搜索

GET /movies/_search?q=2012&df=title&sort=year:desc&from=0&size=10&timeout=1s
{
	"profile": true
}

• q 指定查询语句，使用Query String Syntax
• df 默认字段，不指定时，会对所有字段进行查询
• sort 排序 / from和size用于分页
• profile 可以查看查询是如何被执行的

2. Query String Syntax

• 指定字段 v.s 范查询

  • q=title:2012 / q=2012

    查询title存在2012的，查询存在2012的

• Term v.s Phrase

  • Beautiful Mind 等效于Beautiful OR Mind
  • "Beautiful Mind"，等效于Beautiful AND Mind。Phrase查询，要求前后顺序一致

• 分组与引号

  • title:(Beautiful AND Mind) ---> title:Beautiful title:Mind
  • title="Beautiful Mind" ---> title:Beautiful Mind

• 布尔操作

  • AND / OR / NOT 或者 && / || / !
    • 必须大写
    • title:(matrix NOT reloaded)

• 分组

  • + 表示must
  • -表示must_not
  • title:(+matrix -reloaded)

• 通配符查询（不建议使用，占用内存大，查询效率低）

  • ? 代表1个字符，*代表0或者多个
    • title:mi?d
    • title:be*

• 正则表达

  • title:[bt]oy 匹配boy / toy

• 模糊匹配与近似匹配

  • title:befutifl~1 允许输入错一个
  • title:"lord rings"~2 可以不用相邻，挨着两个

Ⅷ. Request Body Search与Query DSL

1. Request Body Search

• 将查询语句通过HTTP Request Body发送给Elasticsearch

• Query DSL

  POST /movies,404_idx/_search?ignore_unavailable=true
  {
  	"profile": true,
  	"query": {
  		"match_all": {}
  	}
  }
  

2. 使用查询表达式 Match

GET /comments/_doc/_search
{
	"query": {
		"match": {
			"comment": "Last Christmas"
		}
	}
}

GET /comments/_doc/_search
{
	"query": {
		"match": {
			"comment": {
				"query":"Last Christmas",
				"operator": "AND"
			}
		}
	}
}

3. Query String Query

类似URI Query

POST users/_search
{
	"query": {
		"query_string": {
			"default_field": "name",
			"query": "Ruan AND Ming"
		}
	}
}

三. SpringBoot整合ELK日志中心

SpringBoot整合ELK的核心在于将日志发送给logstash的开放端口，常用的方案就是使用logstash提供好的日志上传包。

<dependency>
 <groupId>net.logstash.logback</groupId>
 <artifactId>logstash-logback-encoder</artifactId>
 <version>5.1</version>
</dependency>

添加该依赖，该依赖提供了一个appender类LogstashTcpSocketAppender，是logback日志框架的上报日志需要的类的实现，在logback.xml中添加相应的appender规则即可，指定输出到logstash端口。

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <include resource="org/springframework/boot/logging/logback/base.xml" />

    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>127.0.0.1:5000</destination>
        <!-- 上述端口为elk-docker默认 -->
        <!-- 日志输出编码 -->
        <encoder charset="UTF-8"
                 class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                        "logLevel": "%level",
                        "serviceName": "${springAppName:-}",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger{40}",
                        "rest": "%message"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>

    <root level="INFO">
        <appender-ref ref="LOGSTASH" />
        <appender-ref ref="CONSOLE" />
    </root>

</configuration>

记得将logstash的配置文件也进行修改。

input {
    tcp {
    port => 5000
    codec => json_lines # 上传使用json_lines插件格式化
    }
}

output {
    elasticsearch {
        hosts => "elasticsearch:9200"
    }
}

启动ELK三个应用，然后启动你的SpringBoot应用，就可以在索引管理中看到应用的日志索引了。

然后在管理中创建索引模式，将你的应用索引添加进去，就可以在仪表盘中对日志进行搜索服务了。