内容

  • 安装 RVM
  • 安装 Ruby 和 Gems
  • 安装 Rails
  • 安装 jls-grok
  • Ruby grok 解析
  • 调试 grok

迁移到:http://www.bdata-cap.com/newsinfo/1712686.html

注意:不要用 root 执行以下操作。

用 logstash 收集 IIS、tomcat 日志,或是其他时,你需要调试 grok 表达式,每次都需要重新加载文件,然后再把 sincedb 文件全部删除,否则 logstash 不会重复处理文件,很麻烦。

本文主要介绍如何安装 GrokDebuger 环境,再在命令行调试 Grok 表达式。Logstash 是用 Ruby 编写的,而 Ruby 有专门的处理 grok 表达式的 gem。

下面过程有先后顺序。

安装 RVM

rvm(Ruby Version Manager),是一个非常好用的ruby版本管理以及安装工具。

curl -sSL https://get.rvm.io | sudo bash -s stable

参见:http://rvm.io/

参见:https://github.com/rvm/rvm

这步可能要多试几次,不是你的问题,是它们的网络问题。

若不能 sudo ,就自己设置下你用户的权限。

RVM 安装位置自己 FIND 一下。

安装 rvm 后,需要用 rvm 把你当前用户添加到 rvm 组。rvm 会自己创建 rvm 组。

rvm group add rvm "$USER"

 

rvm fix-permissions“$USER”

表示你当前用户,然后重新登录。

在 RVM 下安装 Ruby。


安装 Ruby 和 Gems

rvm install ruby

 

ruby -v

 

gem –v

这步很简单~如果能看到版本信息,就说明成功了~


安装 Rails

gem install rails

若不能访问,则添加淘宝镜像 https://ruby.taobao.org/


安装 jls-grok

gem install jls-grok

这步也很简单~基本不会出问题~


Ruby grok 解析

编写一个 Ruby 脚本,用来调试 Grok 表达式。

require 'rubygems'

 

gem 'jls-grok', '=0.11.2'

 

require 'grok-pure'

 

require 'optparse'

 

require 'json'

 

options = {}

 

ARGV.push('-h') if ARGV.size === 0

 

OptionParser.new do |opts|

 

  opts.banner = 'Run grokdebug at your terminal.'

 

  options[:dirs] = %w(patterns)

 

  options[:named] = false

 

  opts.on('-d DIR1,DIR2', '--dirs DIR1,DIR2', Array, 'Set grok patterns directories. Default: "./patterns"') do |value|

 

    options[:dirs] = value

 

  end

 

  opts.on('-m MESSAGE', '--msg MESSAGE', 'Your raw message to be matched') do |value|

 

    options[:message] = value

 

  end

 

  opts.on('-p PATTERN', '--pattern PATTERN', 'Your grok pattern to be compiled') do |value|

 

    options[:pattern] = value

 

  end

 

  opts.on('-n', '--named', 'Named captures only') do

 

  end

 

end.parse!

 

grok = Grok.new

 

options[:dirs].each do |dir|

 

  if File.directory?(dir)

 

    dir = File.join(dir, "*")

 

  end

 

  Dir.glob(dir).each do |file|

 

    grok.add_patterns_from_file(file)

 

  end

 

end

 

grok.compile(options[:pattern], options[:named])

 

puts JSON.pretty_generate(grok.match(options[:message]).captures())

 


调试 grok

[ln@vcyber myruby]$ ruby grokdebug.rb -m '10.1.1.1' -p '%{IP:client}' 

{ 

  "client": [ 

    "10.1.1.1" 

  ], 

  "IPV6": [ 

    null 

  ], 

  "IPV4": [ 

    "10.1.1.1" 

  ] 

}

 

[ln@vcyber myruby]$ ruby  grokdebug.rb -m '10.1.8.166:8000' -p '%{HOSTPORT:test}' 

{ 

  "test": [ 

    "10.1.8.166:8000" 

  ], 

  "IPORHOST": [ 

    "10.1.8.166" 

  ], 

  "IP": [ 

    "10.1.8.166" 

  ], 

  "IPV6": [ 

    null 

  ], 

  "IPV4": [ 

    "10.1.8.166" 

  ], 

  "HOSTNAME": [ 

    null 

  ], 

  "POSINT": [ 

    "8000" 

  ] 

} 

[ln@vcyber myruby]$

若提示找不到“pattern”,你可以将 logstash 目录底下的复制过来拿来用~

ELK——为调试 Logstash Grok 表达式,安装 GrokDebuger 环境的更多相关文章

  1. ELK 架构之 Logstash 和 Filebeat 安装配置

    上一篇:ELK 架构之 Elasticsearch 和 Kibana 安装配置 阅读目录: 1. 环境准备 2. 安装 Logstash 3. 配置 Logstash 4. Logstash 采集的日 ...

  2. ELK 架构之 Elasticsearch、Kibana、Logstash 和 Filebeat 安装配置汇总(6.2.4 版本)

    相关文章: ELK 架构之 Elasticsearch 和 Kibana 安装配置 ELK 架构之 Logstash 和 Filebeat 安装配置 ELK 架构之 Logstash 和 Filebe ...

  3. ELK 架构之 Logstash 和 Filebeat 配置使用(采集过滤)

    相关文章: ELK 架构之 Elasticsearch 和 Kibana 安装配置 ELK 架构之 Logstash 和 Filebeat 安装配置 ELK 使用步骤:Spring Boot 日志输出 ...

  4. 安装logstash5.4.1,并使用grok表达式收集nginx日志

    关于收集日志的方式,最简单性能最好的应该是修改nginx的日志存储格式为json,然后直接采集就可以了. 但是实际上会有一个问题,就是如果你之前有很多旧的日志需要全部导入elk上查看,这时就有两个问题 ...

  5. ELk(Elasticsearch, Logstash, Kibana)的安装配置

    目录 ELk(Elasticsearch, Logstash, Kibana)的安装配置 1. Elasticsearch的安装-官网 2. Kibana的安装配置-官网 3. Logstash的安装 ...

  6. [elk]logstash grok原理

    logstash语法 http://www.ttlsa.com/elk/elk-logstash-configuration-syntax/ https://www.elastic.co/guide/ ...

  7. ELK系列(一):安装(elasticsearch + logstash + kibana)

    因为公司使用ELK的缘故,这两天尝试在阿里云上安装了下ELK,这里做个笔记,有兴趣的同学可以看下. 先大致介绍下ELK,ELK是三个组件的缩写,分别是elasticsearch.logstash.ki ...

  8. Grok Debugger安装配置

    前言:由于使用ELK对日志进行集中管理,grok表达式无法验证是否正确,所以使用Grok Debugger进行调试,但是由于国外网站上不去(http://grokdebug.herokuapp.com ...

  9. logstash -grok插件语法介绍

      介绍 logstash拥有丰富的filter插件,它们扩展了进入过滤器的原始数据,进行复杂的逻辑处理,甚至可以无中生有的添加新的 logstash 事件到后续的流程中去!Grok 是 Logsta ...

随机推荐

  1. jQuery中.attr()和.prop()的区别

    之前学习jQuery的时候,学习到了两种取得标签的属性值的方法:一种是elemJobj.attr(),另一种是elemJobj.prop().而在学习JS的时候,只有一种方法elemObj.getAt ...

  2. HDU 1165 Eddy's research II (找规律)

    题意:给定一个表达式,然后让你求表达式的值. 析:多写几个就会发现规律. 代码如下: #pragma comment(linker, "/STACK:1024000000,102400000 ...

  3. 混合硬盘的U310重装系统

    最早接触U310 是在半年前,那时候同学在用的就是U310,需要升级Windows 8 依照以往的经验,弄了一张Windows 8的启动U盘,当在选择磁盘的时候居然发现没有可选项!这个有点出乎意料…… ...

  4. tomee 第一个 远程调用 Session Bean

    参考文档 http://tomee.apache.org/ http://download.oracle.com/otndocs/jcp/ejb-3.1-pfd-oth-JSpec/ http://d ...

  5. [转]oracle 10g数据泵之impdp-同时导入多个文件

    要了解impdp,请先了解导出,我之前作过导出的笔记:oracle 10g数据泵之expdp.这两个笔记也许只对程序员有用,通常用于把正式区的数据导入到测试区,对数据库管理员也许帮助不大,他们使用这些 ...

  6. 『TCP/IP详解——卷一:协议』读书笔记——01

    从今日起开始认真研读TCP/IP详解这本经典制作,一是巩固我薄弱的计算机网络知识,二来提高我的假期的时间利用率.将心得与思考记录下来,防止白看-哦耶 2013-08-14 18:47:06 第一章 概 ...

  7. 【转】轮询、长轮询、iframe长连接、web socket

    引自:http://www.cnblogs.com/AloneSword/p/3517463.html http://www.cnblogs.com/wei2yi/archive/2011/03/23 ...

  8. ArcMap 连接SDE 出错“Failed to connect to the specified server. Entry for SDE instance no found in services file.”

    问题描述 环境: ARCMAP 10.0 ARCSDE FOR ORACLE 10.0   在通过用ArcMap 连接ORACLE SDE时出现上面的错.   解决方式 在 C:\Windows\Sy ...

  9. UML中依赖(Dependency)和关联(Association)之间的区别

    一般情况下,使用关联(association)来表示像类中的字段等.这个关系是始终存在的,因此你可以随时针对关联项进行访问调用,例如可以始终从 Customer 对象获取 Order 对象.但事实上它 ...

  10. js promise 风格编程

    使用q 这种方式,极大的避免了回调地狱的情况产生,以后打算长久用这种方式. 再写Nodejs,再也不担心这个问题了. 以下实例,作为连接数据库的公共方法. /** * Created by Think ...