elk系列2之multiline模块的使用
preface
上回说道了elk的安装以及kibana的简单搜索语法,还有logstash的input,output的语法,但是我们在使用中发现了一个问题,我们知道,elk是每一行为一个事件,像Java这类的输出日志,一个事件占用了好几行,导致elk在处理日志的时候,不能够识别多行日志为一个事件,所以我们在kibana上看的时候,明明是一个事件的日志,却拆分了好几段显示,所以我们针对这类一个事件占用多行的日志,得使用elk另一个模块,multiline模块,这个模块能够合并多行当作一个事件呢,使其在kibana显示的时候,同一个事件在一段。下面我们就看看elk更高级的用法。
下面的操作都是在linux-node1下操作
把多行日志合成一个事件
我们需要使用logstash的input里的multiline模块:https://www.elastic.co/guide/en/logstash/2.3/plugins-filters-multiline.html
参考万官方的配置文档以后,我们自己去配置一下,下面就看下配置文件:
[root@linux-node1 ~]# cat /etc/logstash/conf.d/codec.conf
input{
stdin {
codec => multiline{
pattern => "^\[" # 正则表达式,匹配以[开头的行
negate => true # 布尔值,true表示启用,匹配上干活,
what => "previous" # what这参数意思是说匹配上[后,是取[前面的内容还是后面的内容,我这里写的previous,表示拿去[前面的内容。
}
}
}
filter{
}
output{
stdout{
codec => rubydebug
}
}
配置完成后,启动服务:
[root@linux-node1 conf.d]# /opt/logstash/bin/logstash -f codec.conf
测试下,看是否能够匹配以[开头的行
[root@linux-node1 conf.d]# /opt/logstash/bin/logstash -f codec.conf
Settings: Default pipeline workers: 2
Pipeline main started
asdfasdf
xcfv
sdf
swe
rwer
asdf
[fasdfasdf #只要以[开头的行,都匹配上去了。并且都是[前面的内容。
{
"@timestamp" => "2016-12-08T23:25:14.350Z",
"message" => "asdfasdf\nxcfv\nsdf\nswe\nrwer\nasdf",
"@version" => "1",
"tags" => [
[0] "multiline"
],
"host" => "linux-node1"
}
1111111111
2222222222222
33333333333
44444444444
[ #只要以[开头的行,都匹配上去了。并且都是[前面的内容。
{
"@timestamp" => "2016-12-08T23:25:25.374Z",
"message" => "[fasdfasdf\n1111111111\n2222222222222\n33333333333\n44444444444",
"@version" => "1",
"tags" => [
[0] "multiline"
],
"host" => "linux-node1"
}
下面我们就通过这个模块来说说如何匹配java形式的日志
我们这里使用elasticsearch的日志来做分析,elasticsearch的日志形式就是java 的,它的日志路径是/var/log/elasticsearch/myes.log。
我们之前说过,logstash它会有一个文件专门存它需要读取哪些文件,所以再次启动之前,由于读取的是同一个文件(之前的配置文件也配置成了去读该文件),所以这里需要把logstash的sincedb数据库给删除,这样就能从头开始搜集了。同时在head模块里面,把对应的es-log索引也需要删除。
[root@linux-node1 logstash]# find / -name ".since*"
/root/.sincedb_a9b9fed7edff6fd888ffe131a05b5397
/root/.sincedb_1fb922e15ccea4ac0d028d33639ba3ea
/var/lib/logstash/.sincedb_a9b9fed7edff6fd888ffe131a05b5397
/var/lib/logstash/.sincedb_1fb922e15ccea4ac0d028d33639ba3ea
[root@linux-node1 logstash]# cat /root/.sincedb_a9b9fed7edff6fd888ffe131a05b5397
395042 0 2051 5972 #注意看第一列的数字,其实是日志文件的inode
395128 0 2051 5177
[root@linux-node1 logstash]# ls -li /var/log/elasticsearch/myes.log #-li参数是能够显示文本的inode节点
395042 -rw-r--r--. 1 root root 454310 Dec 9 07:02 /var/log/elasticsearch/myes.log # 第一列就是这个文件的inode节点,和/root/.sincedb_1fb922e15ccea4ac0d028d33639ba3ea 一致。
注意,sincedb记录的是日志文件的inode。
删除elaticsaerch记录了myes.log的sincedb文件,同时也在head的web界面删除es-log的索引,让es重新开始搜集日志。
[root@linux-node1 ~]# rm -f /root/.sincedb_a9b9fed7edff6fd888ffe131a05b5397 # 找到记录了myes.log这个inode的sincedb数据库,删除即可
此时我们修改配置文件,使用multiline模块,配置文件请看下面:
[root@linux-node1 conf.d]# cat /etc/logstash/conf.d/codec.conf
input{
file {
path => ["/var/log/messages","/var/log/secure"]
type => "system-log"
start_position => "beginning"
}
file {
path => "/var/log/elasticsearch/myes.log" # 读取es的j
type => "es-log"
start_position => "beginning"
codec => multiline {
pattern => "^\[" # 正则匹配
negate => true
what => "previous" # 使用[之前的
}
}
}
filter{
}
output{
if [type] == "system-log" {
elasticsearch {
hosts => ["192.168.141.4:9200"]
index => "system-log-%{+YYYY.MM}"
}
}
if [type] == "es-log" {
elasticsearch {
hosts => ["192.168.141.4:9200"]
index => "es-log-%{+YYYY.MM}"
}
}
}
确认无误后,我们启动logstash
[root@linux-node1 ~]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/codec.conf
然后我们同时重启elasticsearch在linux-node1和linux-node2上
[root@linux-node1 ~]# service elasticsearch restart # node1节点
[root@linux-node2 ~]# service elasticsearch restart # node2节点
我们重新打开head模块,访问地址是:http://192.168.141.3:9200/_plugin/head/
可以看到有es-log这个新的索引产生了
我们打开kibana页面,地址是http://192.168.141.3:5601
由于我们配置文件与上一篇博客写的不是一样的,上一篇是以年月日来作为索引,这里是使用年月来作为索引,所以这里需要重新增加一个索引。
然后切换到Discovery模版下,切换到es-log下面
此时我们可以看到java 的日志就是把多行合并成一行了,这样就一个事件一段了,不会把一个事件拆分多行显示了。
elk系列2之multiline模块的使用的更多相关文章
- elk系列2之multiline模块的使用【转】
preface 上回说道了elk的安装以及kibana的简单搜索语法,还有logstash的input,output的语法,但是我们在使用中发现了一个问题,我们知道,elk是每一行为一个事件,像Jav ...
- elk系列6之tcp模块的使用【转】
preface tcp模块的使用场景如下: 有一台服务器A只需要收集一个日志,那么我们就可以不需要在这服务器上安装logstash,我们通过在其他logstash上启用tcp模块,监听某个端口,然后我 ...
- elk系列6之tcp模块的使用
preface tcp模块的使用场景如下: 有一台服务器A只需要收集一个日志,那么我们就可以不需要在这服务器上安装logstash,我们通过在其他logstash上启用tcp模块,监听某个端口,然后我 ...
- elk系列5之syslog的模块使用【转】
preface rsyslog是CentOs系统自带的的一个日志工具,那么我们就配置logstash来接受rsyslog的日志. logstash的syslog模块 linux-node2上操作log ...
- elk系列8之logstash+redis+es的架构来收集apache的日志【转】
preface logstash--> redis --> logstash --> es这套架构在讲究松耦合关系里面是最简单的,架构图如下: 解释下这个架构图的流程 首先前端log ...
- elk系列7之通过grok分析apache日志【转】
preface 说道分析日志,我们知道的采集方式有2种: 通过grok在logstash的filter里面过滤匹配. logstash --> redis --> python(py脚本过 ...
- elk系列1之入门安装与基本操作【转】
preface 我们每天都要查看服务器的日志,一方面是为了开发的同事翻找日志,另一方面是巡检服务器查看日志,而随着服务器数量以及越来越多的业务上线,日志越来越多,人肉运维相当痛苦了,此时,参考现在非常 ...
- elk系列3之通过json格式采集Nginx日志【转】
转自 elk系列3之通过json格式采集Nginx日志 - 温柔易淡 - 博客园http://www.cnblogs.com/liaojiafa/p/6158245.html preface 公司采用 ...
- ELK系列~Nxlog日志收集加转发(解决log4日志换行导致json转换失败问题)
本文章将会继承上一篇文章,主要讲通过工具来进行日志的收集与发送,<ELK系列~NLog.Targets.Fluentd到达如何通过tcp发到fluentd> Nxlog是一个日志收集工具, ...
随机推荐
- unity3d 三分钟实现简单的赛车漂移
提到赛车游戏,大家最关心的应该就是漂移吧?! 从学unity开始,我就一直在断断续续的研究赛车 因为自己技术太烂.悟性太差等原因,我走了不少弯路 也许你会说,网上那么多资料,你不会查啊 是啊!网上一搜 ...
- Node进阶:核心模块http简介
本文摘录自<Nodejs学习笔记>,更多章节及更新,请访问 github主页地址.欢迎加群交流,群号 197339705. http模块概览 大多数nodejs开发者都是冲着开发web s ...
- PHP学习资料分享
PHP有着开源.执行效率高.优化代码运行等特性,功能强大,被广泛运用,很多大型企业网站开发的首选,百度.腾讯.新浪.金山等均采用了PHP开发.学好PHP对网络开发人员而言具有很好的发展前景,市场对PH ...
- 探究JVM——垃圾回收
垃圾回收主要考虑三件事情:哪些内存需要回收?什么时候回收?如何回收? 一.哪些内存需要回收? 堆内存:对于JVM 来说,垃圾回收主要是针对堆内存中的对象实例. 方法区:垃圾收集行为在方法区是比较少出现 ...
- ContentProvider详解
作用:把一个App中的数据库通过Url的形式共享出来,供其他App使用. 首先在App1中创建一个数据库,用SQLiteOpenHelper public class MyOpenHelper ext ...
- XSS attack
<html> <form action="" method="post"> <input type="text" ...
- 【摘抄】将xml注释文档生成网页
config.SetDocumentationProvider(new XmlDocumentationProvider(HttpContext.Current.Server.MapPath(&quo ...
- linux 配置java 环境
下载jdk 并解压到 /usr/local/java/ 目录下 地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-down ...
- Redis集群(五):集群搭建
一.本文目的 演示在一台机器上搭建3主3从的redis集群,通过演示了解redis集群的搭建,使用和注意事项 二.搭建说明 1.同一台机器搭建3主3从的伪集群 ...
- css3-新属性-用户界面
多列:(对文本进行布局,像报纸那样) column-count: 规定元素应该被分隔得列数: column-gap:规定列之间的间距: column-rule: 列与列之间的间隔线: column-w ...