前期博客

Logstash安装和设置（图文详解）（多节点的ELK集群安装在一个节点就好）

　　Filebeat啊，根据input来监控数据，根据output来使用数据！！！

　请移步，

Filebeat之input和output（包含Elasticsearch Output 、Logstash Output、 Redis Output、 File Output和 Console Output）

　　Logstash啊，根据input来监控数据，根据output来使用数据！！！

手把手带你看官方文档（Logstash inputs和Logstash outputs）

https://www.elastic.co/guide/index.html

https://www.elastic.co/guide/en/logstash/index.html

https://www.elastic.co/guide/en/logstash/2.4/index.html

　　

　　关于 Logstash inputs、Logstash outputs和Filter plugins，很多很多，自行去官网看，我这里不多赘述。仅仅拿下面来示范：

Logstash 的input

file input

　　最常用的input插件是file。

https://www.elastic.co/guide/en/logstash/2.4/plugins-inputs-file.html

[hadoop@HadoopMaster logstash-2.4.1]$ pwd

/home/hadoop/app/logstash-2.4.1

[hadoop@HadoopMaster logstash-2.4.1]$ ll

total 164

drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin

-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md

-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS

-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile

-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib

-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE

-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf

-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor

[hadoop@HadoopMaster logstash-2.4.1]$ vim file_stdout.conf

　　这个，是可以自定义的。我这里是

　　path => "/home/hadoop/app.log"
或者
　　path => [ "/home/hadoop/app", "/home/hadoop/*.log" ]

input {

    file {

        path => "/home/hadoop/app.log"

    }

}

filter {

}

output {

    stdout {}

}

　　我这里是， 监控/home/hadoop/app.log这个文件的变化。

[hadoop@HadoopMaster logstash-2.4.1]$ pwd

/home/hadoop/app/logstash-2.4.1

[hadoop@HadoopMaster logstash-2.4.1]$ ll

total 168

drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin

-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md

-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS

-rw-rw-r--. 1 hadoop hadoop    107 Mar 27 05:55 file_stdout.conf

-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile

-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib

-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE

-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf

-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor

[hadoop@HadoopMaster logstash-2.4.1]$ bin/logstash -f file_stdout.conf

Settings: Default pipeline workers: 1

Pipeline main started

　　重新打开，另外一个HadoopMaster界面。

[hadoop@HadoopMaster ~]$ pwd

/home/hadoop

[hadoop@HadoopMaster ~]$ ll

total 48

drwxrwxr-x. 12 hadoop hadoop 4096 Mar 27 03:59 app

-rw-rw-r--.  1 hadoop hadoop   18 Mar 26 19:59 app.log

drwxrwxr-x.  7 hadoop hadoop 4096 Mar 25 06:34 data

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Desktop

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Documents

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Downloads

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Music

drwxr-xr-x.  2 hadoop hadoop 4096 Mar 26 20:35 mybeat

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Pictures

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Public

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Templates

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Videos

[hadoop@HadoopMaster ~]$ echo bbbbbbb >> app.log

[hadoop@HadoopMaster ~]$ 

[hadoop@HadoopMaster logstash-2.4.1]$ pwd

/home/hadoop/app/logstash-2.4.1

[hadoop@HadoopMaster logstash-2.4.1]$ ll

total 168

drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin

-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md

-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS

-rw-rw-r--. 1 hadoop hadoop    107 Mar 27 05:55 file_stdout.conf

-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile

-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib

-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE

-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf

-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor

[hadoop@HadoopMaster logstash-2.4.1]$ bin/logstash -f file_stdout.conf

Settings: Default pipeline workers: 1

Pipeline main started

2017-03-26T22:24:35.897Z HadoopMaster bbbbbbb

　　其实，这个文件，.sincedb_8f3299d0a5bdb7df6154f681fc150341也会记录。

 注意：

第一次读取新文件，不会有.sincedb等这些，默认根据这个start_position去读，若start_position是end,则读最后。若start_position是begin，则读最开始。

若不是第一次读取文件了，重启Logstash，则会有.sincedb文件了，则就转去根据这个.sincedb文件读了。不管start_position是什么，都不起效了。

　　start_position：指定从什么位置开始读取文件数据，默认是结束位置，也可以指定为从头开始。
　　注意：start_position仅在该文件从未被监听过的时候起作用，因为logstash在读取文件的时候会记录一个.sincedb文件来跟踪文件的读取位置，当文件被读取过一次之后，下次就会从.sincedb中记录的位置读取，start_position参数就无效了。文件默认在用户目录下。

　　注意一个坑：ignore_older属性，表示忽略老的数据，值默认为86400，表示忽略24小时以前的数据。如果你新监控一个24小时以上没有被修改过的老文件的话，就算把start_position设置为beginning，也无法获取之前的数据。

redis input

https://www.elastic.co/guide/en/logstash/2.4/plugins-inputs-redis.html

[hadoop@HadoopMaster logstash-2.4.1]$ pwd

/home/hadoop/app/logstash-2.4.1

[hadoop@HadoopMaster logstash-2.4.1]$ ll

total 168

drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin

-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md

-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS

-rw-rw-r--. 1 hadoop hadoop    107 Mar 27 05:55 file_stdout.conf

-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile

-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib

-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE

-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf

-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor

[hadoop@HadoopMaster logstash-2.4.1]$ vim redis_stdout.conf 

input {

    redis {

        host => "192.168.80.12"

    port => 6379

    data_type => "list"

    key => "filebeat"

    }

}

filter {

}

output {

    stdout {}

}

　　这里，用到redis，不会用的博友，请移步

redis的安装（图文详解）

　　

　　这里，等我安装好了之后，再来。

Logstash 的output

redis output

https://www.elastic.co/guide/en/logstash/2.4/plugins-outputs-redis.html

[hadoop@HadoopMaster logstash-2.4.1]$ pwd

/home/hadoop/app/logstash-2.4.1

[hadoop@HadoopMaster logstash-2.4.1]$ ll

total 172

drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin

-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md

-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS

-rw-rw-r--. 1 hadoop hadoop    107 Mar 27 05:55 file_stdout.conf

-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile

-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib

-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE

-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf

-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT

-rw-rw-r--. 1 hadoop hadoop    155 Mar 27 06:43 redis_stdout.conf

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor

[hadoop@HadoopMaster logstash-2.4.1]$ vim stdin_es.conf

elasticsearch output

　　即把Logstash里的数据，写到elasticsearch 集群（这台192.168.80.10里）

　　hosts=>"192.168.80.00"

或

　　hosts=>["192.168.80.10:9200","192.168.80.11:9200","192.168.80.12:9200"]

　　1.x中属性名称叫host
　　默认向es中创建的索引库是logstash-%{+YYYY.MM.dd}，可以利用es中的索引模板特性定义索引库的一些基础配置。

input {

    stdin { }

}

filter {

}

output {

    elasticsearch {

    hosts => "192.168.80.10:9200"

    }

}

继续

Filter plugins

继续

Logstash之Logstash inputs（file和redis插件）、Logstash outputs（elasticsearch 和redis插件）和Filter plugins的更多相关文章

  1. php版redis插件,SSDB数据库,增强型的Redis管理api实例

    php版redis插件,SSDB数据库,增强型的Redis管理api实例 SSDB是一套基于LevelDB存储引擎的非关系型数据库(NOSQL),可用于取代Redis,更适合海量数据的存储.另外,ro ...

  2. 解决logstash.outputs.elasticsearch[main] Could not index event to Elasticsearch status 404

    现象:lostack启动正常,logstack收集输入redis数据,输出到elasticsearch写入失败 提示:去建索引 的时候elasticsearch返回404 [2019-11-12T11 ...

  3. Logstash学习之路（五）使用Logstash抽取mysql数据到kakfa

    一.Logstash对接kafka测通 说明: 由于我这里kafka是伪分布式,且kafka在伪分布式下,已经集成了zookeeper. 1.先将zk启动,如果是在伪分布式下,kafka已经集成了zk ...

  4. [logstash.outputs.elasticsearch] retrying failed action with response code: 403

    0x00 Event [2019-09-24T19:22:31,655][INFO ][logstash.outputs.elasticsearch] retrying failed action w ...

  5. 在logstash中启动X-Pack Management功能后配置logstash的情况说明

    开启X-Pack Management功能后,启动logstsh的时候就不用再配置logstash.conf文件了,启动的时候也不用再使用-f指定这个文件进行启动了 一旦启动了logstash的集中管 ...

  6. NoSQL初探之人人都爱Redis：（3）使用Redis作为消息队列服务场景应用案例

    一.消息队列场景简介 “消息”是在两台计算机间传送的数据单位.消息可以非常简单,例如只包含文本字符串:也可以更复杂,可能包含嵌入对象.消息被发送到队列中,“消息队列”是在消息的传输过程中保存消息的容器 ...

  7. 分布式缓存技术redis学习系列（三）——redis高级应用（主从、事务与锁、持久化）

    上文<详细讲解redis数据结构(内存模型)以及常用命令>介绍了redis的数据类型以及常用命令,本文我们来学习下redis的一些高级特性. 安全性设置 设置客户端操作秘密 redis安装 ...

  8. 【转】NoSQL初探之人人都爱Redis：（3）使用Redis作为消息队列服务场景应用案例

    一.消息队列场景简介 “消息”是在两台计算机间传送的数据单位.消息可以非常简单,例如只包含文本字符串:也可以更复杂,可能包含嵌入对象.消息被发送到队列中,“消息队列”是在消息的传输过程中保存消息的容器 ...

  9. ElasticSearch 2 (6) - 插件安装Head、Kopf与Bigdesk

    ElasticSearch 2 (6) - 插件安装Head.Kopf与Bigdesk 摘要 安装Elasticsearch插件Head.Kopf与Bigdesk 版本 elasticsearch版本 ...

随机推荐

  1. Hadoop HDFS (4) Hadoop Archives

    用HDFS存储小文件是不经济的,由于每一个文件都存在一个block里,每一个block的metadata又在namenode的内存里存着,所以,大量的小文件.会吃掉大量的namenode的内存.(注意 ...

  2. Java编程手冊-Collection框架（下）

    建议先看Java编程手冊-Collection框架(上) 5.  Set<E>接口与实现 Set<E>接口表示一个数学的集合,它不同意元素的反复,仅仅能包括一个null元素. ...

  3. Thumb指令集与ARM指令集的差别

    Thumb指令集          Thumb指令能够看做是ARM指令压缩形式的子集.是针对代码密度[1]的问题而提出的.它具有16为的代码密度.Thumb不是一个完整的体系结构,不能指望处理程序仅仅 ...

  4. 美团实习生电面之谈（成功拿到offer）

    3月底进行了美团的一次实习生面试(Java研发project师).当时顺利的通过一面.以下是我的一面: 1.CPU由哪些部分组成 2.线程和进程的差别 3.Java类载入机制 4.怎样实现一个字符串的 ...

  5. windows常用命令有哪些（整理）

    windows常用命令有哪些(整理) 一.总结 一句话总结:其实这个好学,只要先弄懂主干,清除主干,那么枝叶的添加逻辑就很清除了 这种多内容的,散乱的,弄清除主干效率就高了 1.windows命令行的 ...

  6. git如何从远程非master分支更新到本地对应分支

    git如何从远程非master分支更新到本地对应分支 自己实例 正确步骤 如果本地有分支,那就删除本地分支 删除本地分支::git branch -d 2018_4_18_second 切换分支: g ...

  7. jquery.base64.js

    (function($) { $.base64 = function(options) { var defaults = { data:"", type:0, unicode:tr ...

  8. 用efibootmgr管理UEFI启动项，添加丢失的启动项

    UEFI用来替代传统BIOS引导操作系统,学会修改UEFI启动项也变得十分重要,UEFI全称为:“统一的可扩展固件接口”(Unified Extensible Firmware Interface), ...

  9. [Python] Reuse Code in Multiple Projects with Python Modules

    A module is a function extracted to a file. This allows you to import the function and use it in any ...

  10. java架构解密——实时动态aop

    在上篇博客中个.咱们一起组建了一个容器,里面封装了业务,这样,咱们就将业务和服务的组装放到了client,而client就相当于咱们的开发中使用到的配置文件.大家发现问题了吗?就是我不能动态修改了?业 ...