ELK 分布式日志实战

一.  ELK 分布式日志实战介绍

　　此实战方案以 Elk 5.5.2 版本为准，分布式日志将以下图分布进行安装部署以及配置。

　　当Elk需监控应用日志时，需在应用部署所在的服务器中，安装Filebeat日志采集工具，日志采集工具通过配置，采集本地日志文件，将日志消息传输到Kafka集群，

我们可部署日志中间服务器，安装Logstash日志采集工具，Logstash直接消费Kafka的日志消息，并将日志数据推送到Elasticsearch中，并且通过Kibana对日志数据进行展示。

二. Elasticsearch配置

1.Elasticsearch、Kibana安装配置，可见本人另一篇博文

https://www.cnblogs.com/woodylau/p/9474848.html 

2.创建logstash日志前，需先设置自动创建索引（根据第一步Elasticsearch、Kibana安装成功后，点击Kibana Devtools菜单项，输入下文代码执行）

PUT /_cluster/settings
{
    "persistent" : {
        "action": {
        "auto_create_index": "true"
        }
    }
}

三. Filebeat 插件安装以及配置

1.下载Filebeat插件 5.5.2 版本

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.5.2-linux-x86_64.tar.gz

2.解压filebeat-5.5.2-linux-x86_64.tar.gz文件至/tools/elk/目录下

 tar -zxvf filebeat-5.5.-linux-x86_64.tar.gz -C /tools/elk/
 cd /tools/elk/
 mv filebeat-5.5.-linux-x86_64 filebeat-5.5.

3.配置filebeat.yml文件

 cd /tools/elk/filebeat-5.5.
 vi filebeat.yml

4.filebeat.yml 用以下文本内容覆盖之前文本

 filebeat.prospectors:
 - input_type: log
   paths:
    # 应用 info日志
     - /data/applog/app.info.log
   encoding: utf-8
   document_type: app-info
   #定义额外字段，方便logstash创建不同索引时所设
   fields:
       type: app-info
   #logstash读取额外字段，必须设为true
   fields_under_root: true
   scan_frequency: 10s
   harvester_buffer_size: 16384
   max_bytes: 10485760
   tail_files: true

 - input_type: log
   paths:
     #应用错误日志
     - /data/applog/app.error.log
   encoding: utf-8
   document_type: app-error
   fields:
       type: app-error
   fields_under_root: true
   scan_frequency: 10s
   harvester_buffer_size: 16384
   max_bytes: 10485760
   tail_files: true

 # filebeat读取日志数据录入kafka集群
 output.kafka:
   enabled: true
   hosts: ["192.168.20.21:9092","192.168.20.22:9092","192.168.20.23:9092"]
   topic: elk-%{[type]}
   worker: 2
   max_retries: 3
   bulk_max_size: 2048
   timeout: 30s
   broker_timeout: 10s
   channel_buffer_size: 256
   keep_alive: 60
   compression: gzip
   max_message_bytes: 1000000
   required_acks: 1
   client_id: beats
   partition.hash:
      reachable_only: true
 logging.to_files: true

5.启动 filebeat 日志采集工具

 cd /tools/elk/filebeat-5.5.
 #后台启动 filebeat
 nohup ./filebeat -c ./filebeat-kafka.yml &

四. Logstash 安装配置

1. 下载Logstash 5.5.2 版本

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.2.tar.gz

2.解压logstash-5.5.2.tar.gz文件至/tools/elk/目录下

 tar -zxvf logstash-5.5..tar.gz -C /tools/elk/
 cd /tools/elk/
 mv filebeat-5.5.-linux-x86_64 filebeat-5.5.

3.安装x-pack监控插件（可选插件，如若elasticsearch安装此插件，则logstash也必须安装）

./logstash-plugin install x-pack

4.编辑 logstash_kafka.conf 文件

 cd /tools/elk/logstash-5.5./config
 vi logstash_kafka.conf

5.配置 logstash_kafka.conf 

input {
   kafka  {
      codec => "json"
      topics_pattern => "elk-.*"
      bootstrap_servers => "192.168.20.21:9092,192.168.20.22:9092,192.168.20.23:9092"
      auto_offset_reset => "latest"
      group_id => "logstash-g1"
    }
}

filter {
   #当非业务字段时，无traceId则移除
   if ([message] =~ "traceId=null") {
      drop {}
   }
}

output {
    elasticsearch {
      #Logstash输出到elasticsearch
       hosts => ["192.168.20.21:9200","192.168.20.22:9200","192.168.20.23:9200"]
       # type为filebeat额外字段值
       index => "logstash-%{type}-%{+YYYY.MM.dd}"
       document_type => "%{type}"
       flush_size => 20000
       idle_flush_time => 10
       sniffing => true
       template_overwrite => false
       # 当elasticsearch安装了x-pack插件，则需配置用户名密码
       user => "elastic"
       password => "elastic"
    }

}

6.启动 logstash 日志采集工具

1 cd /tools/elk/logstash-5.5.2

#后台启动 logstash
2 nohup /tools/elk/logstash-5.5.2/bin/logstash -f /tools/elk/logstash-5.5.2/config/logstash_kafka.conf &

五. 最终查看ELK安装配置结果

1.访问 Kibana, http://localhost:5601,点击 Discover菜单，配置索引表达式，输入 logstash-*,点击下图蓝色按钮，则创建查看Logstash采集的应用日志