Filebeat 导入 Elastaticsearch 的方法

1. 什么是Filebeat?到底是干什么的?

Filebeat说实话,就是一个日志监控分发器,类似tail -f这样去监控某个日志,或者是某个目录下的日志文件。它会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息到elasticsearch或者logstarsh中存放。

2. 如何安装Filebeat?

官网下载rpm包地址:点进去直接选下载

下载下来RPM包,直接rpm -ivh filebeat.rpm就可以了

3. filebeat的正确配置

这里比较重要,我会在这里详细的说一下filebeat的基本配置。

我这里定义了:

1.多个日志文件导入

2.多个日志文件区分

3.多个日志文件不同的index索引

4.日志index名称修改

- type: log   # 日志类型
enabled: true #监控开启
paths: # 日志的存放位置,你可以用*.log来监控所有日志
- /var/log/infinity_moninfo.log
tags: ["monlog"] #日志tag,自定义的一个值,做区分用
fields:
type: monlog #修改type的值为monlog, 原来为log
fields_under_root: true #替换/覆盖默认的filed值,也就是上面的type
- type: log
enabled: true
paths:
- /var/log/infinity_opinfo.log
tags: ["oplog"]
fields:
type: oplog
fields_under_root: true
- type: log
enabled: true
paths:
- /var/log/smbd_audit.log
tags: ["auditlog"]
fields:
type: auditlog
fields_under_root: true setup.template.settings:
index.number_of_shards: 3 #分片个数 output.elasticsearch: #基础的Es设置
hosts: ["127.0.0.1:9200"] #Es的地址
indices: #自定义索引
#- index: "monlog-%{+yyyy-MM-dd}" #旧的索引默认是带日期的,如果要修改默认的模式,需要在下面template进行配置
- index: "monlog" #设定索引monlog
when.contains: #开始区分
type: "monlog" #如果type为monlog,就默认生成monlog的索引
- index: "oplog"
when.contains:
type: "oplog"
- index: "auditlog"
when.contains:
type: "auditlog" setup.template: #索引的默认模式修改
name: 'infinity-log' #定义为单纯的姓名,如果你要定义其他的模式,例如时间,那就是:infinity-log-%{+yyyy-MM-dd}
pattern: 'infinity-log'
enabled: true

filebeat的异常处理

1.服务挂掉怎么办?

解答:挂掉了之后,再次启动,会从上次断开的地方继续监控日志。

2.删掉了log文件该怎么办?

解答:没事,顶多filebeat的log报错

Filebeat 导入 Elasticsearch 的方法的更多相关文章

  1. Nginx filebeat+logstash+Elasticsearch+kibana实现nginx日志图形化展示

    filebeat+logstash+Elasticsearch+kibana实现nginx日志图形化展示   by:授客  QQ:1033553122   测试环境 Win7 64 CentOS-7- ...

  2. Filebeat+Logstash+Elasticsearch测试

    安装配置好三个软件使之能够正常启动,下面开始测试. 第一步 elasticsearch提供了restful api,这些api会非常便利,为了方便查看,可以使用postman调用接口. 1.查看Ela ...

  3. filebeat + logstash + elasticsearch + granfa

    filebeat + logstash + elasticsearch + granfa https://www.cnblogs.com/wenchengxiaopenyou/p/9034213.ht ...

  4. Mysql导入数据库的方法

    mysql导入数据库的方法 | 浏览:41023 | 更新:2012-11-01 19:45 1 2 3 4 5 6 7 分步阅读 MySQL是一个中.小型关系型数据库管理系统,由瑞典MySQL AB ...

  5. PLSQL导入/导出数据方法

    PLSQL导入/导出数据方法 PLSQL导入/导出数据方法 以前导数据库信息的时候,总是会先开启sql窗口,把自己手写的建表文件复制进去,然后再导入数据信息. 今天突然懒得去找以前的建表文件,而想用S ...

  6. python有三种导入模块的方法(转)

    原文:http://www.cnblogs.com/allenblogs/archive/2011/11/15/2055149.html python有三种导入模块的方法 其一, import mod ...

  7. filebeat -> logstash -> elasticsearch -> kibana ELK 日志收集搭建

    Filebeat 安装参考 http://blog.csdn.net/kk185800961/article/details/54579376 elasticsearch 安装参考http://blo ...

  8. Redis批量导入数据的方法

    有时候,我们需要给redis库中插入大量的数据,如做性能测试前的准备数据.遇到这种情况时,偶尔可能也会懵逼一下,这里就给大家介绍一个批量导入数据的方法. 先准备一个redis protocol的文件( ...

  9. 【大数据实战】将普通文本文件导入ElasticSearch

    以<刑法>文本.txt为例. 一.格式化数据 1,首先,ElasticSearch只能接收格式化的数据,所以,我们需要将文本文件转换为格式化的数据---json. 下图为未处理的文本文件. ...

随机推荐

  1. Cookie-Parser是怎样解析签名后的cookie的(同一时候对cookie和cookie-signature进行说明)

    第一步:我们来学习一下cookie-signature: var cookie=require('./index'); var val = cookie.sign('hello', 'tobiisco ...

  2. PHP设置会话(Session)超时过期时间实现登录时间限制

    最近某个PHP项目用到了限制登录时间的功能,比如用户登录系统60分钟后如果没有操作就自动退出,我搜索了网络收集了有以下方法可供参考. 第一种方法即设置php.ini配置文件,设置session.gc_ ...

  3. Thread 常搞混的几个概念sleep、wait、yield、interrupt

    sleep:在指定的毫秒数内让当前正在执行的线程休眠(暂停执行),此操作受到系统计时器和调度程序精度和准确性的影响.该线程不丢失任何监视器的所属权. 通过调用sleep使任务进入休眠状态,在这种情况下 ...

  4. 【整理】Python中实际上已经得到了正确的Unicode或某种编码的字符,但是看起来或打印出来却是乱码

    转自:http://www.crifan.com/python_already_got_correct_encoding_string_but_seems_print_messy_code/ [背景] ...

  5. CSS div固定顶端

    position: fixed;原来只需要这么一个设置就可以!

  6. hadoop生态系统学习之路(八)hbase与hive的数据同步以及hive与impala的数据同步

    在之前的博文中提到,hive的表数据是能够同步到impala中去的. 一般impala是提供实时查询操作的,像比較耗时的入库操作我们能够使用hive.然后再将数据同步到impala中.另外,我们也能够 ...

  7. linux下的Java开发 intellij idea+tomcat+maven

    前期准备:安装intellij idea.下载tomcat.下载maven(注意我用的是tomcat6.maven 3.2.1.jdk1.6.0_45,之前maven用的3.5结果报错,搞了好久,建议 ...

  8. Spring读书笔记-----Spring核心机制:依赖注入

    spring框架为我们提供了三种注入方式,分别是set注入,构造方法注入,接口注入.今天就和大家一起来学习一下 依赖注入的基本概念 依赖注入(Dependecy Injection),也称为IoC(I ...

  9. VS里用Sos扩展调试CLR总结

    暂时不用Windbg,用VS来调试CLR. 1) Enable unmanaged debugging 2) Load sos.dll into vs. !DumpHead -type SimpleC ...

  10. JVM调优- jmap(转)

    http://blog.csdn.net/fenglibing/article/details/6411953 1.介绍 打印出某个java进程(使用pid)内存内的,所有‘对象’的情况(如:产生那些 ...