Logstash在Linux上安装部署

Logstash 简介：

Logstash 是一个实时数据收集引擎，可收集各类型数据并对其进行分析，过滤和归纳。按照自己条件分析过滤出符合数据导入到可视化界面。它可以实现多样化的数据源数据全量或增量传输，数据标准格式处理，数据格式化输出等的功能，常用于日志处理。工作流程分为三个阶段：

　　（1）input数据输入阶段，可接收oracle、mysql、postgresql、file等多种数据源；
　　（2）filter数据标准格式化阶段，可过滤、格式化数据，如格式化时间、字符串等；
　　（3）output数据输出阶段，可输出到elasticsearch、mongodb、kfka等接收终端。
　　那么，接下来将会对每个阶段进行讲解。

一、官网下载安装

1、下载logstash-6.6.0安装包，下载路径：logstash-6.6.0，然后解压之es的同级目录（方便管理）；或直接在服务器上下载：

　　　　wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.0.tar.gz

2、将安装包上次到服务器，然后解压安装包，例如解压到：/usr/local/

　　 tar –zxvf logstash-6.6.0.tar.gz

　　重命名安装目录

　　　　mv logstash-6.6.0 logstash

二、使用测试

注：此处只是简单测试下Logstash的基本功能

1.接收控制台输入，Logstash解析输出到控制台 
　　在Logstash目录下创建test文件夹：

 [root@cdh4 logstash]# mkdir test
 [root@cdh4 logstash]# cd test
 [root@cdh4 test]# vim std_std.conf

　　在test目录下创建 std_std.conf 文件，添加内容：

 input {
     stdin{
     }
 }
 output {
     stdout{
     }
 }

　　然后到bin目录下启动Logstash（基于std_std.conf）：

 ./logstash -f ../test/std_std.conf

　　-f 是指基于配置文件的路径：

　　控制台输入测试：

2.从文件读取，Logstash解析输出到控制台 
　　我是从取出tomcat的当天access_log作为读取文件，没有该文件的可以复制下面一段内容做成测试文件

 [root@cdh4 test]# vim access_log.2018-04-10.log
 10.2.17.9 - - [10/Apr/2018:09:06:22 +0800] "GET /static/logshow/css/component.css HTTP/1.1" 304 -
 10.2.17.9 - - [10/Apr/2018:09:06:22 +0800] "GET /static/logshow/js/EasePack.min.js HTTP/1.1" 304 -
 10.2.17.9 - - [10/Apr/2018:09:06:22 +0800] "GET /static/logshow/js/TweenLite.min.js HTTP/1.1" 304 -
 10.2.17.9 - - [10/Apr/2018:09:06:22 +0800] "GET /static/logshow/js/rAF.js HTTP/1.1" 304 -
 10.2.17.9 - - [10/Apr/2018:09:06:22 +0800] "GET /static/logshow/js/demo-1.js HTTP/1.1" 304 -
 10.2.17.9 - - [10/Apr/2018:09:06:22 +0800] "GET /static/logshow/img/demo-1-bg.jpg HTTP/1.1" 304 -
 10.2.17.9 - - [10/Apr/2018:09:06:30 +0800] "GET / HTTP/1.1" 302 -
 10.2.17.9 - - [10/Apr/2018:09:06:30 +0800] "GET /login HTTP/1.1" 200 3271
 10.2.17.9 - - [10/Apr/2018:09:06:36 +0800] "POST /login HTTP/1.1" 302 -
 10.2.17.9 - - [10/Apr/2018:09:06:36 +0800] "GET / HTTP/1.1" 200 11776
 10.2.17.9 - - [10/Apr/2018:09:06:36 +0800] "GET /static/css/font-awesome.min.css?v=4.4.0 HTTP/1.1" 304 -

　　在test目录下创建 file_std.conf 文件，添加内容：

 input{
     file{
         path =>"/home/logstash/logstash-5.4.0/test/access_log.2018-04-10.log"
         start_position=>"beginning"
     }
 }

 filter{
     grok{
         match=>{
             "message"=>"%{DATA:clientIp} - - \[%{HTTPDATE:accessTime}\] \"%{DATA:method} %{DATA:requestPath} %{DATA:httpversion}\" %{DATA:retcode} %{DATA:size} \"%{DATA:fromHtml}\" \"%{DATA:useragent}\""
         }

         remove_field=>"message"
     }
     date{
         match=>["accessTime","dd/MMM/yyyy:HH:mm:ss Z"]
     }
 }

 output{
     stdout{
         codec=>rubydebug
     }
 }　　

这个配置文件相对比较复杂，而且我们一般在使用elk的时候logstash的配置文件基本也是和这个类似，大同小异了，这里对关键部分详细解说一下。更深入的内容和使用方式，大家可以到elastic官网或者到logstash的最佳实战页面去看，网址是：http://udn.yyuap.com/doc/logstash-best-practice-cn/index.html。

input/file/path：这里指定了要对哪个日志文件进行扫描。如果希望扫描多个文件，可以使用*这个路径通配符；或者使用多个日志路径以数组形式提供（path=>[“outer-access.log”,”access.log”]）；或者直接给定一个目录，logstash会扫描所有的文件，并监听是否有新文件。

filter/grok/match/message：里面的DATA和HTTPDATE都是grok语法内置的正则表达式，DATA匹配任意字符，HTTPDATE匹配joda类型的日期格式字符。上例中”[“是匹配“[”。

filter/grok/match/date：是对HTTPDATE日期格式的解释，joda可以支持很多复杂的日期格式，需要在这里指明才能正确匹配。

remove_field=>”message”：用处是去掉原有的整个日志字符串，仅保留filter解析后的信息。你可以试着去掉这一句就明白他的用处了。

然后启动就可以直接看到解析输出到控制台的内容了：

 ./logstash -f ../test/file_std.conf

3.接收控制台输入，Logstash解析输出到ElasticSearch集群

在test目录下创建 file_es.conf 文件，添加内容：

 input{
         stdin {}
 }
 output {
         elasticsearch {
                 hosts => ["10.10.10.34:9200"]
                 index => "yj_index"
         }
         stdout { codec => rubydebug}
 }

然后执行测试：

 ./logstash -f ../test/file_es.conf

可以看到控制台出现了ES-JSON：

再通过head插件查看这些内容有没有存进去：

可以看到，一切OK