安装logstash及logstash的初步使用-处理DNS日志

安装logstash

需要高版本的java
使用1.4版本的java会有报错
# Can't start up: not enough memory

查询java信息

rpm -qa | grep java

查询yum源内含有的所有java的安装包

yum -y list java*

选择需要的版本

yum install java-xxx-openjdk.x86_64

安装完成后，验证版本

java -verison

下载logstash

cd /opt/soft

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.3.2.tar.gz

解压

tar zxvf logstash-6.3.2.tar.gz

cd logstash-6.3.2

若需要安装插件，可以通过logstash-plugin 来安装

查看可以安装的插件

./bin/logstash-plugin list

./bin/logstash-plugin install pkg_name

安装插件

https://github.com/logstash-plugins/logstash-patterns-core

需要安装gem

yum install -y rubygem #centos6.5

yum install -y gem #centos7

安装完成后，解压github上的插件然后进入目录执行

gem build *.gemspec

会产生一个新的*.gem文件

./bin/logstash-plugin install *.gem

然后就安装成功了

logstash的使用方式

在任意文件夹下创建一个conf文件(这里演示就直接创建在程序目录下了)

touch /opt/soft/logstash/bin/std.conf

vi /opt/soft/logstash/bin/std.conf\

以下是一个实例

需要处理的日志格式:17-Jul-2018 10:54:06.822 client 127.0.0.1 18524: view default: kugou.xdwscache.ourwebpic.com IN A NOERROR + NS NE NT ND NC H 25 Response: kugou.xdwscache.ourwebpic.com 50 IN A 127.0.0.1;kugou.xdwscache.ourwebpic.com 50 IN A 127.0.0.1;

std.conf内容如下

#input  日志文件来源，还可以使用redis等等具体可查询官网的input选项
input {
    file {
    #指定路径
	path => ["/home/dnslog/*.log"]
    }
}
#格式处理
filter{
	#判断message是否含有字符“Respose”
    if "Response" in [message] {
        #通过正则的方式来切割日志，并且赋予需要的数据变量。本文导入了模块logstash-patterns-core
        #logstash-patterns-core此模块来自于github：https://github.com/logstash-plugins/logstash-patterns-core
        grok{
            match =>{
	    "message" => "%{BIND9_TIMESTAMP:timestamp} client %{IP:clientip} %{POSINT:clientport}: view %{DATA:view}\:\ %{DATA:query} IN %{DATA:aaa} %{DATA:status} \+ %{GREEDYDATA:res}"
	    }
	}
		#在此通过正则过滤
        grok {
	    match => {
	    #这里的res由上面grok过滤获得
		"res" => ".*?(%{HOSTNAME:query1} %{NONNEGINT:clientport1} IN A %{IP:resolution};)$.*?"
	    }
        }
    #if判断失败的就直接丢弃
    }else {
        drop {}
    }
    #geoip插件通过plugin install 安装，这个插件对移动的地址识别有异常。
    geoip{
    #由以上第二个正则grok过滤得到的resolution获取IP
	source => "resolution"
	target => "geoip"
	#可以注释掉fields，那就是输出完成的geoip的数据。这边只取了需要的
	fields => ["city_name","country_name","region_name"]
    }

    #日期插件会替换原本自身的@timestamp项
    date {
    #将日期格式化为标准输出
	match => ["timestamp", "dd-MMM-yyyy HH:mm:ss.SSS"]
	locale => "en"
	timezone => "+00:00"

#	target=>"@timestamp"
#	timezone=>"Asia/Shanghai"
    }
    #格式化日志将服务器名称发送过去
    mutate {
	rename => { "[host][name]" => "host" }
    }
    #去除不需要的项
    mutate {
	remove_field => ["_type","_source","path","message", "@version","clientport","clientport1","res"]
    }
}
#输出
output {
	#输出到elasticsearch,并且定义index名字
    elasticsearch{
	index => "logstash_dns%{[host]}_%{+YYYY.MM.dd}"
        hosts => "127.0.0.1:8200"
    }
#输出到界面，以rubydebug的格式，还有json等等格式
stdout {codec => rubydebug}
}

这样一个DNS的日志格式就处理完成了