关于Logstash中grok插件的正则表达式例子
一、前言
近期需要对Nginx
产生的日志进行采集,问了下度娘,业内最著名的解决方案非ELK
(Elasticsearch
, Logstash
, Kibana
)莫属。
Logstash
负责采集日志,Elasticsearch
负责存储、索引日志,Kibana
则负责通过Web形式展现日志。
今天,我要说的是Logstash
,它可以从多种渠道采集数据,包括控制台标准输入、日志文件、队列等等,只要你能想到,都可以通过插件的方式实现。
其中,日志源提供的日志格式可能并不是我们想要插入存储介质里的格式,所以,Logstash里提供了一系列的filter来让我们转换日志。
Grok
就是这些filters里最重要的一个插件,下面我就说说它。
二、Grok提供的常用Patterns说明及举例
大多数Linux使用人员都有过用正则表达式来查询机器中相关文件或文件里内容的经历,在Grok里,我们也是使用正则表达式来识别日志里的相关数据块。
有两种方式来使用正则表达式:
- 直接写正则来匹配
- 用Grok表达式映射正则来匹配
在我看来,每次重新写正则是一件很痛苦的事情,为什么不用表达式来一劳永逸呢?
特别提示:Grok表达式很像C语言里的宏定义
要学习Grok的默认表达式,我们就要找到它的具体配置路径,路径如下:
# Windows下路径
[你的logstash安装路径]\vendor\bundle\jruby\x.x\gems\logstash-patterns-core-x.x.x\patterns\grok-patterns
现在对常用的表达式进行说明:
常用表达式
- USERNAME 或 USER
用户名,由数字、大小写及特殊字符(._-)组成的字符串
比如:
1234
、Bob
、Alex.Wong
等
- EMAILLOCALPART
电子邮件用户名部分,首位由大小写字母组成,其他位由数字、大小写及特殊字符(_.+-=:)组成的字符串。注意,国内的QQ纯数字邮箱账号是无法匹配的,需要修改正则
比如:
stone
、Gary_Lu
、abc-123
等
- EMAILADDRESS
电子邮件
比如:
stone@abc.com
、Gary_Lu@gmail.com
、abc-123@163.com
等
- HTTPDUSER
Apache服务器的用户,可以是EMAILADDRESS
或USERNAME
- INT
整数,包括0和正负整数
比如:
0
、-123
、43987
等
- BASE10NUM 或 NUMBER
十进制数字,包括整数和小数
比如:
0
、18
、5.23
等
- BASE16NUM
十六进制数字,整数
比如:
0x0045fa2d
、-0x3F8709
等
- BASE16FLOAT
十六进制数字,整数和小数 - WORD
字符串,包括数字和大小写字母
比如:
String
、3529345
、ILoveYou
等
- NOTSPACE
不带任何空格的字符串 - SPACE
空格字符串 - QUOTEDSTRING 或 QS
带引号的字符串
比如:
"This is an apple"
、'What is your name?'
等
- UUID
标准UUID
比如:
550E8400-E29B-11D4-A716-446655440000
- MAC
MAC地址,可以是Cisco设备里的MAC地址,也可以是通用或者Windows系统的MAC地址 - IP
IP地址,IPv4或IPv6地址
比如:
127.0.0.1
、FE80:0000:0000:0000:AAAA:0000:00C2:0002
等
- HOSTNAME
主机名称 - IPORHOST
IP或者主机名称 - HOSTPORT
主机名(IP)+端口
比如:
127.0.0.1:3306
、api.stozen.net:8000
等
- PATH
路径,Unix系统或者Windows系统里的路径格式
比如:
/usr/local/nginx/sbin/nginx
、c:\windows\system32\clr.exe
等
- URIPROTO
URI协议
比如:
http
、ftp
等
- URIHOST
URI主机
比如:
www.stozen.net
、10.0.0.1:22
等
- URIPATH
URI路径
比如:
//www.stozen.net/abc/
、/api.php
等
- URIPARAM
URI里的GET参数
比如:
?a=1&b=2&c=3
- URIPATHPARAM
URI路径+GET参数
比如:
//www.stozen.net/abc/api.php?a=1&b=2&c=3
- URI
完整的URI
比如:
http://www.stozen.net/abc/api.php?a=1&b=2&c=3
日期时间表达式
- MONTH
月份名称
比如:
Jan
、January
等
- MONTHNUM
月份数字
比如:
03
、9
、12
等
- MONTHDAY
日期数字
比如:
03
、9
、31
等
- DAY
星期几名称
比如:
Mon
、Monday
等
- YEAR
年份数字 - HOUR
小时数字 - MINUTE
分钟数字 - SECOND
秒数字 - TIME
时间
比如:
00:01:23
- DATE_US
美国日期格式
比如:
10-15-1982
、10/15/1982
等
- DATE_EU
欧洲日期格式
比如:
15-10-1982
、15/10/1982
、15.10.1982
等
- ISO8601_TIMEZONE
ISO8601时间格式
比如:
+10:23
、-1023
等
- TIMESTAMP_ISO8601
ISO8601时间戳格式
比如:
2016-07-03T00:34:06+08:00
- DATE
日期,美国日期%{DATE_US}
或者欧洲日期%{DATE_EU}
- DATESTAMP
完整日期+时间
比如:
07-03-2016 00:34:06
- HTTPDATE
http默认日期格式
比如:
03/Jul/2016:00:36:53 +0800
Log表达式
- LOGLEVEL
日志等级
比如:
Alert
、alert
、ALERT
、Error
等
三、创建自己的Grok表达式
在业务领域中,可能会有越来越多的日志格式出现在我们眼前,而Grok的默认表达式显然已无法满足我们的需求(比如用户身份证号、手机号等信息),所以,我们需要自己动手添加些表达式。
表达式 | 正则表达式 | 说明 |
---|---|---|
DATE_CHS | %{YEAR}[./-]%{MONTHNUM}[./-]%{MONTHDAY} | 中国人习惯的日期格式 |
ZIPCODE_CHS | [1-9]\d{5} | 国内邮政编码 |
GAME_ACCOUNT | [a-zA-Z][a-zA-Z0-9_]{4,15} | 游戏账号,首字符为字母,4-15位字母、数字、下划线组成 |
还有很多,需要您在业务中灵活运用!
关于Logstash中grok插件的正则表达式例子的更多相关文章
- 使用logstash的grok插件解析springboot日志
使用logstash的grok插件解析springboot日志 一.背景 二.解决思路 三.前置知识 四.实现步骤 1.准备测试数据 2.编写`grok`表达式 3.编写 logstash pipel ...
- Logstash使用grok插件解析Nginx日志
grok表达式的打印复制格式的完整语法是下面这样的: %{PATTERN_NAME:capture_name:data_type}data_type 目前只支持两个值:int 和 float. 在线g ...
- logstash 中multiline插件的用法
input { stdin { codec =>multiline { charset=>... #可选 字符编码 max_bytes=>... #可选 bytes类型 设置最大的字 ...
- Logstash的grok以及Ruby
logstash的grok插件的用途是提取字段,将非格式的内容进行格式化, input { file { path => "/var/log/http.log" } } fi ...
- Logstash详解之——filter模块-grok插件
1. grok插件:能匹配一切数据,但是性能和对资源的损耗也很大. grok内置字段类型参见: https://blog.csdn.net/cui929434/article/details/9439 ...
- logstash -grok插件语法介绍
介绍 logstash拥有丰富的filter插件,它们扩展了进入过滤器的原始数据,进行复杂的逻辑处理,甚至可以无中生有的添加新的 logstash 事件到后续的流程中去!Grok 是 Logsta ...
- logstash实战filter插件之grok(收集apache日志)
有些日志(比如apache)不像nginx那样支持json可以使用grok插件 grok利用正则表达式就行匹配拆分 预定义的位置在 /opt/logstash/vendor/bundle/jruby/ ...
- logstash中的redis插件
redis作为logstash中的官方broker,既有input插件,还有output插件. redis input插件 data_type属性: 有三种类型, list -> BLPOP - ...
- logstash之Filter插件
Logstash之所以强悍的主要原因是filter插件:通过过滤器的各种组合可以得到我们想要的结构化数据 1:grok正则表达式 grok**正则表达式是logstash非常重要的一个环节**:可以通 ...
随机推荐
- mybatis分页查询需要注意的问题
一般对mybatis的分页查询的关键代码就两行: #currentPage代表当前页,pageSize代表每页的行数 PageHelper.startPage(currentPage, pageSiz ...
- NYOJ 747贪心+dp
蚂蚁的难题(三) 时间限制:2000 ms | 内存限制:65535 KB 难度:4 描述 蚂蚁终于把尽可能多的食材都搬回家了,现在开始了大厨计划. 已知一共有 n 件食材,每件食材有一个美味 ...
- HDU 5942 Just a Math Problem 容斥 莫比乌斯反演
题意:\( g(k) = 2^{f(k)} \) ,求\( \sum_{i = 1}^{n} g(i) \),其中\( f(k)\)代表k的素因子个数. 思路:题目意思很简单,但是着重于推导和简化,这 ...
- Linux系统基本网络配置之ifconfig命令
Linux系统基本网络配置之ifconfig命令 一.Linux系统的网络配置基本包括:网络IP的配置.网关路由的配置.主机DNS的配置.主机名的配置等,本篇注重介绍网络IP的配置. 二.Linux系 ...
- bzoj 2956: 模积和 ——数论
Description 求∑∑((n mod i)*(m mod j))其中1<=i<=n,1<=j<=m,i≠j. Input 第一行两个数n,m. Output 一个整数表 ...
- 剖析 golang 的25个关键字
剖析 golang 的25个关键字 基本在所有语言当中,关键字都是不允许用于自定义的,在Golang中有25个关键字,图示如下: 下面我们逐个解析这25个关键字. var && con ...
- bzoj 3453 数论
首先我们知道对于f(x)来说,它是一个k次的多项式,那么f(x)的通项公式可以表示成一个k+1次的式子,且因为f(x)没有常数项,所以我们设这个式子为 f(x)=Σ(a[i]*x^i) (1<= ...
- BigDecimal的用法详解
BigDecimal 由任意精度的整数非标度值 和32 位的整数标度 (scale) 组成.如果为零或正数,则标度是小数点后的位数.如果为负数,则将该数的非标度值乘以 10 的负scale 次幂. f ...
- ie8下trim失效
1.ie8下使用trim失效 trim可以除去字符串两侧的空白字符,但ie8并不支持 2.解决方案 String.prototype.trim = function () { return this ...
- 广度优先算法(BFS)与深度优先算法(DFS)
一.广度优先算法BFS(Breadth First Search) 基本实现思想 (1)顶点v入队列. (2)当队列非空时则继续执行,否则算法结束. (3)出队列取得队头顶点v: (4)查找顶点v的所 ...