[日志分析]Graylog2进阶通过正则解析Nginx日志

【[日志分析]Graylog2进阶通过正则解析Nginx日志】的更多相关文章

[日志分析]Graylog2进阶通过正则解析Nginx日志

之前分享的 [日志分析]Graylog2采集Nginx日志主动方式这篇文章介绍了Graylog如何通过Graylog Collector Sidecar来采集nginx日志. 由于日志是未经处理的,所以类似$remote_addr $request_time $upstream_addr $upstream_response_time的字段并没有解析出来,而是都显示在默认的message中,很不利于我们今后的分析工作. 为了解决这个问题,就引入了graylog另一个非常强大的功能 Extra…

[日志分析]Graylog2进阶之获取Nginx来源IP的地理位置信息

如果你们觉得graylog只是负责日志收集的一个管理工具,那就too young too naive .日志收集只是graylog的最最基础的用法,graylog有很多实用的数据清洗和处理的进阶用法. 从这期开始我将陆续向大家介绍一些关于graylog的进阶用法,这次讲一下如何通过Geoip库莱获取nginx日志中来源IP的地理位置信息获取来源IP的地理位置信息 (1)在导航栏System/Configurations -> Geo-Location Processor ,点击update按钮…

[日志分析]Graylog2采集Nginx日志主动方式

这次聊一下Graylog如何主动采集Nginx日志,分成两部分: 介绍一下 Graylog Collector Sidecar 是什么如何配置 Graylog Collector Sidecar 采集nginx日志一.首先介绍一下Graylog Collector Sidecar Graylog Collector Sidecar 是一个轻量级的日志采集器,通过访问graylog进行集中式管理,支持linux和windows系统. Sidecar 守护进程会定期访问graylog的REST…

[日志分析]Graylog2采集Nginx日志被动方式

graylog可以通过两种方式采集nginx日志,一种是通过Graylog Collector Sidecar进行采集(主动方式),另外是通过修改nginx配置文件的方式进行收集(被动方式). 这次说一下修改nginx配置文件(被动方式). 被动方式的好处就是nginx将定义好的日志字段以json格式直接发送到graylog的自定义端口中,graylog通过json解析直接将字段提取出来. 优势在于不用配置复杂的正则进行日志字段的解析,极大减少graylog对于cpu的资源占用.如果使用正则解析…

[日志分析]Graylog2采集mysql慢日志

之前聊了一下graylog如何采集nginx日志,为此我介绍了两种采集方法(主动和被动),让大家对graylog日志采集有了一个大致的了解. 从日志收集这个角度,graylog提供了多样性和灵活性,大家可以根据自身场景选择适合自己的一种. 这次要跟大家聊的是如何通过graylog采集mysql慢日志.mysql慢日志的特点就是多行输出,不是那种一行就是一条日志的那种打印方式. 除了采集,我这边还要介绍一下如何通过graylog把慢日志相应的字段提取出来,方便我们进行分析,进而用grafana做成…

Logstash使用grok插件解析Nginx日志

grok表达式的打印复制格式的完整语法是下面这样的: %{PATTERN_NAME:capture_name:data_type}data_type 目前只支持两个值:int 和 float. 在线gork正则的地址:http://grokdebug.herokuapp.com/ Logstash基础正则地址:https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns 也可以在你的安装路径下查找grok-patte…