filebeat+ELK配置及常用操作
背景介绍
最近工作涉及几台新服务器的日志需要接入ELK系统,配置思路如下:
使用Filebeat收集本地日志数据,Filebeat监视日志目录或特定的日志文件,再发送到消息队列到kafka,然后logstash去获取消费,利用filter功能过滤分析,最终存储到elasticsearch中。
filebeat和flume都具有日志收集功能,不过filebeat更轻量,使用go语言编写占用资源更少,可以有很高的并发,带有内部模块(auditd,Apache,Nginx,System和MySQL),可通过一个指定命令来简化通用日志格式的收集,解析和可视化;flume使用java开发,需要安装java环境,相对会比较重。
当然两者也存在区别:Filebeat收集数据的速度大于写入速度的时候可能出现数据丢失的现象,而flume会在收集数据和写入数据之间做出调整,保证能在两者之间提供一种平稳的数据状态。可以实时的将分析数据并将数据保存在数据库或者其他系统中,不会出现数据丢失的现象。
以下仅记录配置过程及常见的几种排错命令,安装篇会独立一篇做详细介绍。
配置信息
filebeat配置
我是直接yum install filebeat
一键安装的,这里不做具体讲解官网有详细介绍:
https://www.elastic.co/guide/en/beats/filebeat/current/index.html
安装完成后我们以配置采集/var/log/messages为例,配置如下
# egrep -v '#|^$' /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/messages
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 1
setup.kibana:
output.kafka:
hosts: ["10.114.102.30:9092", "10.114.102.31:9092", "10.114.102.32:9092", "10.114.102.33:9092", "10.114.102.34:9092"]
topic: T621_messages
partition.round_robin:
reachable_only: false
required_acks: 1
compression: gzip
processors:
- add_host_metadata:
when.not.contains.tags: forwarded
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_kubernetes_metadata: ~
有几个参数需要注意的:
paths表示需要提取的日志的路径,将日志输出到kafka中,创建topic
- required_acks
0:这意味着生产者producer不等待来自broker同步完成的确认继续发送下一条(批)消息。此选项提供最低的延迟但最弱的耐久性保证(当服务器发生故障时某些数据会丢失,如leader已死,但producer并不知情,发出去的信息broker就收不到)。
1:这意味着producer在leader已成功收到的数据并得到确认后发送下一条message。此选项提供了更好的耐久性为客户等待服务器确认请求成功(被写入死亡leader但尚未复制将失去了唯一的消息)。
-1:这意味着producer在follower副本确认接收到数据后才算一次发送完成。 此选项提供最好的耐久性,我们保证没有信息将丢失,只要至少一个同步副本保持存活。 三种机制,性能依次递减 (producer吞吐量降低),数据健壮性则依次递增。
- json.keys_under_root: true
- json.add_error_key: true
- json.message_key: log
这三行是识别json格式日志的配置,若日志格式不为json格式,需要注释掉,否则收集到的日志为filebeat的错误日志。
kafka配置
kafka原来已经安装并配置好了,这里不再说明具体安装过程,后续会出一篇ELK完整搭建过程。
这里不做重点讲解,可直接查官网:https://kafka.apache.org/documentation/#quickstart
因为有5台配合zookeeper做了集群,选其中一台配置如下:
# egrep -v '#|^$' /home/kafka/kafka/config/server.properties
broker.id=1 #按顺序写,不要乱
listeners=PLAINTEXT://0.0.0.0:9092 #自己的ip
advertised.listeners=PLAINTEXT://10.114.102.30:9092
num.network.threads=24
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka
num.partitions=8
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=48
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=10.114.102.30:2181,10.114.102.31:2181,10.114.102.32:2181,10.114.102.33:2181,10.114.102.34:2181
zookeeper.connection.timeout.ms=6000
auto.create.topics.enable=false
group.initial.rebalance.delay.ms=0
注意:每台服务器除broker.id需要修改之外,其他属性保持一致。
logstash配置
logstash安装也是直接参考官网就可以了
https://www.elastic.co/guide/en/logstash/7.x/index.html
不过有个地方要注意,kafka和logstash的版本兼容问题,以下是kafka使用的版本:
find /home/kafka/kafka/libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'
kafka_2.11-1.1.0.jar
通过查找rpm包可以看到logstash用的是7.8.0
/home/cxhchusr/logstash-7.8.0.rpm
在conf.d
目录下配置消费messages的文件如下
# egrep -v '#|^$' /etc/logstash/conf.d/T621_messages.conf
input {
kafka {
bootstrap_servers => "10.114.102.30:9092,10.114.102.31:9092,10.114.102.32:9092,10.114.102.33:9092,10.114.102.34:9092"
client_id => "T621_messages"
group_id => "T621_messages"
auto_offset_reset => "latest"
consumer_threads => 10
decorate_events => true
topics => ["T621_messages"]
decorate_events => true
type => syslog
}
}
filter{
grok {
match => { "message" => "%{SYSLOGLINE}" }
}
date {
match => [ "logdate", "YYYY-MM-dd HH:mm:ss.SSS" ]
target => "@timestamp"
timezone =>"+00:00"
}
mutate{
remove_field => "logdate"
}
}
output {
elasticsearch {
hosts => ["10.114.102.30:9200", "10.114.102.31:9200", "10.114.102.32:9200", "10.114.102.33:9200", "10.114.102.34:9200"]
index => "t621_messages-%{+YYYY.MM.dd}"
user => caixun
password => "******()90"
}
}
注意:es索引需要全部为小写。
最后启动即可,并加入开机自启动/etc/rc.local
:
nohup /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/ > /dev/null 2>&1 &
kibana创建索引
logstash配置完成后即可在kibana创建索引
创建完成效果如下,表示接入成功:
常用排查命令
配置过程中除了在kafka上创建topic,还需查询topic是否创建成功、消费情况、以及消息处理情况。
以及es是否正常入库并创建了索引。下面列出几个ELK运维常用命令。
kafka常用运维指令
- 查询当前topic列表
/home/kafka/kafka/bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list
- 创建topic
/home/kafka/kafka/bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --create --partitions 10 --replication-factor 1 --topic T621_messages
- topic描述(某topic详细信息)
/home/kafka/kafka/bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic T621_messages
- topic消费情况(测试消息是否正常生产)
发送:/home/kafka/kafka/bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic T621_messages
接收:/home/kafka/kafka/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic T621_messages --from-beginning
- 查看topic堆积情况
/home/kafka/kafka/bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --list ##查看组列表
/home/kafka/kafka/bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group T621_messages ##偏移量
/data/kafka/kafka/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic T621_messages --from-beginning
ES常用运维指令
- 查看ES集群健康情况
curl -u caixxx:"CAIxxx()90" '10.114.102.30:9200/_cluster/health'
- 查看索引存储情况
curl -u caixxx:"CAIxxx()90" '10.114.102.30:9200/_cat/indices?v'
- 查看帮助命令
# curl -u caixun:"CAIXUN()90" '10.114.102.30:9200/_cat'
=^.^=
/_cat/allocation
/_cat/shards
/_cat/shards/{index}
/_cat/master
/_cat/nodes
/_cat/tasks
/_cat/indices
/_cat/indices/{index}
/_cat/segments
/_cat/segments/{index}
/_cat/count
/_cat/count/{index}
/_cat/recovery
/_cat/recovery/{index}
/_cat/health
/_cat/pending_tasks
/_cat/aliases
/_cat/aliases/{alias}
/_cat/thread_pool
/_cat/thread_pool/{thread_pools}
/_cat/plugins
/_cat/fielddata
/_cat/fielddata/{fields}
/_cat/nodeattrs
/_cat/repositories
/_cat/snapshots/{repository}
/_cat/templates
/_cat/transforms
/_cat/transforms/{transform_id}
过滤索引查看消息是否成功存储在es,有的话代表配置成功。
---- 钢铁 648403020@qq.com 2021.08.20
参考鸣谢
官方kafka:http://kafka.apache.org/
filebeat+ELK配置及常用操作的更多相关文章
- JAVA记录-maven JDK配置和常用操作
1.pom.xml加入(JDK编译器配置) <build> <finalName>项目名</finalName> <plugins> <plugi ...
- ELK 架构之 Logstash 和 Filebeat 安装配置
上一篇:ELK 架构之 Elasticsearch 和 Kibana 安装配置 阅读目录: 1. 环境准备 2. 安装 Logstash 3. 配置 Logstash 4. Logstash 采集的日 ...
- nodejs配置及cmd常用操作
一.cmd常用操作 1.返回根目录cd\ 2.返回上层目录cd .. 3.查找当前目录下的所有文件dir 4.查找下层目录cd window 二.nodejs配置 Node.js安装包及源码下载地址为 ...
- vim常用操作技巧与配置
vi是linux与unix下的常用文本编辑器,其运行稳定,使用方便,本文将分两部分对其常用操作技巧和配置进行阐述,其中参考了网上的一些文章,对作者表示感谢 PART1 操作技巧 说明: 以下的例子中 ...
- ELK 架构之 Elasticsearch、Kibana、Logstash 和 Filebeat 安装配置汇总(6.2.4 版本)
相关文章: ELK 架构之 Elasticsearch 和 Kibana 安装配置 ELK 架构之 Logstash 和 Filebeat 安装配置 ELK 架构之 Logstash 和 Filebe ...
- centos LAMP第四部分mysql操作 忘记root密码 skip-innodb 配置慢查询日志 mysql常用操作 mysql常用操作 mysql备份与恢复 第二十二节课
centos LAMP第四部分mysql操作 忘记root密码 skip-innodb 配置慢查询日志 mysql常用操作 mysql常用操作 mysql备份与恢复 第二十二节课 mysq ...
- git常用操作 配置用户信息、拉取项目、提交代码、分支操作、版本回退...
git常用操作 配置用户信息.拉取项目.提交代码.分支操作.版本回退... /********git 配置用户信息************/ git config --global user.name ...
- FILEBEAT+ELK日志收集平台搭建流程
filebeat+elk日志收集平台搭建流程 1. 整体简介: 模式:单机 平台:Linux - centos - 7 ELK:elasticsearch.logstash.kiban ...
- 日志分析工具ELK配置详解
日志分析工具ELK配置详解 一.ELK介绍 1.1 elasticsearch 1.1.1 elasticsearch介绍 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分 ...
随机推荐
- The Different of Python 2.x and 3.x
为了不给Python3.0带入过多的累赘,Python 3.x没有考虑向下兼容 1,print 函数 print语句没有了,取而代之的是print()函数. Python2.7 print " ...
- ROS2学习之旅(13)——创建ROS2 功能包
一个功能包可以被认为是ROS2代码的容器.如果希望能够管理代码或与他人共享代码,那么需要将其组织在一个包中.通过包,可以发布ROS2工作,并允许其他人轻松地构建和使用它. 在ROS2中,创建功能包使用 ...
- DHCP部署与安全
1.DHCP作用 (Dynamic Host Configure Protocol)自动分配ip地址 2.DHCP相关概念 地址池/作用域:(IP.子网掩码.网关.DNS.租期),DHCP协议端口是U ...
- 「BZOJ2839」集合计数
「BZOJ2839」集合计数 题目大意: 一个包含 \(n\) 个数的集合有 \(2^n\) 个子集,从这些子集中取出若干个集合(至少一个),使他们的交集的元素个数恰好为 \(k\),求方案数,答案对 ...
- CSS从入门到喜欢,从喜欢到着魔
如果把网页比作一个人的话,html就是他的骨架,而css是他的皮肤,javascript是神经控制着行动.html,css,javascript都是构建网页的核心技术. CSS简介 css指的是层叠样 ...
- 深度学习之逻辑回归的实现 -- sigmoid
1 什么是逻辑回归 1.1逻辑回归与线性回归的区别: 线性回归预测的是一个连续的值,不论是单变量还是多变量(比如多层感知器),他都返回的是一个连续的值,放在图中就是条连续的曲线,他常用来表示的数学方法 ...
- 高校表白App-团队冲刺第一天
今天要做什么 今天要再次重新的好好学一下Activity的生命周期,简单的写一个Activity,熟悉Activity的线程. 遇到的问题 在点击事件发生时,在activity进行finish()后, ...
- SVN教程(包括小乌龟) 全图解
转载自http://www.cnblogs.com/armyfai/p/3985660.html SVN使用教程总结 SVN简介: 为什么要使用SVN? 程序员在编写程序的过程中,每个程序员都会生成很 ...
- shell脚本(3)-格式化输出
一个程序需要有0个或以上的输入,一个或更多输出 一.echo语法 1.功能:将内容输出到默认显示设备. echo命令功能在显示器上显示一段文字,一般提到提示的作用 2.语法:echo[-ne][字符串 ...
- Maven多模块开发SpringBoot项目自定义第三方依赖版本
参考:官方文档 - Build System of Maven https://blog.didispace.com/books/spring-boot-reference/IX. 'How-to' ...