logstash/conf/input-file.conf内容如下:

  1. input {
  2. file {
  3. #监听文件的路径。
  4. path => ["E:/data_json/*.json"]
  5. #排除不想监听的文件
  6. #exclude => "1.log"
  7.  
  8. #添加自定义的字段
  9. #add_field => {"test"=>"test"}
  10. #增加标签
  11. #tags => "tag1"
  12.  
  13. #设置新事件的标志
  14. #delimiter => "\n"
  15.  
  16. #设置多长时间扫描目录,发现新文件
  17. discover_interval =>
  18. #设置多长时间检测文件是否修改
  19. stat_interval =>
  20.  
  21. #监听文件的起始位置,默认是end
  22. start_position => beginning
  23.  
  24. #在logstash-.0中,json_lines插件貌似不起作用?
  25. #codec => json_lines {charset => ["UTF-8"]}
  26.  
  27. #监听文件读取信息记录的位置
  28. #sincedb_path => "E:/logstash-5.0.0/sincedb_path.txt"
  29. #设置多长时间会写入读取的位置信息
  30. #sincedb_write_interval =>
  31.  
  32. }
  33. }
  34.  
  35. filter {
  36. json {
  37. #add_field => ... # default: {}
  38. #add_tag => ... # array (optional), default: []
  39. #remove_field => ... # array (optional), default: []
  40. #remove_tag => ... # array (optional), default: []
  41. source => "name"
  42. target => "user_name"
  43. }
  44. }
  45.  
  46. output {
  47. elasticsearch {
  48. #ESIP地址与端口
  49. hosts => "localhost:9200"
  50. #ES索引名称(自己定义的)
  51. index => "m8"
  52. #自增ID编号
  53. #document_id => "%{id}"
  54. }
  55. stdout {
  56. #以JSON格式输出
  57. #codec => json_lines
  58. }
  59. }

启动logstash命令:

  1. bin/logstash -f ../config/input-file.conf

Logstash-5.0同步.json文件到ElasticSearch-5.0配置文件的更多相关文章

  1. .net core2.0添加json文件并转化成类注入控制器使用 让js调试更简单—console

    .net core2.0添加json文件并转化成类注入控制器使用 上一篇,我们介绍了如何读取自定义的json文件,数据是读取出来了,只是处理的时候太麻烦,需要一遍一遍写,很枯燥.那么有没有很好的办法呢 ...

  2. ADO.NET .net core2.0添加json文件并转化成类注入控制器使用 简单了解 iTextSharp实现HTML to PDF ASP.NET MVC 中 Autofac依赖注入DI 控制反转IOC 了解一下 C# AutoMapper 了解一下

    ADO.NET   一.ADO.NET概要 ADO.NET是.NET框架中的重要组件,主要用于完成C#应用程序访问数据库 二.ADO.NET的组成 ①System.Data  → DataTable, ...

  3. .net core2.0添加json文件并转化成类注入控制器使用

    上一篇,我们介绍了如何读取自定义的json文件,数据是读取出来了,只是处理的时候太麻烦,需要一遍一遍写,很枯燥.那么有没有很好的办法呢?经过钻研,办法有了. 既然一个一个读取比较麻烦,那么可以把它放入 ...

  4. logstash 抓取IIS日志文件写入Elasticsearch

    如果需要对IIS日志进行分析可以使用logstash从文件中抓取出来进行分析: 输入部分: input { file { type => "iis_log_monitor" ...

  5. ElasticSearch 5.0.0 集群安装部署文档

    1.  搭建环境 3台物理机 操作系统 centos7 es1   192.168.31.141   4g内存   2核 es2   192.168.31.142   4g内存   2核 es3    ...

  6. package.json文件配置信息

    1.概述 每个项目的根目录下面,一般都有一个package.json文件,定义了这个项目所需要的各种模块,以及项目的配置信息(比如名称.版本.许可证等元数据).npm install命令根据这个配置文 ...

  7. asp.net core读取appsetting.json文件

    1.在Startup.cs文件中注入,ConfigureServices方法 services.Configure<MyConfig>(Configuration.GetSection(& ...

  8. package.json文件内容介绍

    概述 每个项目的根目录下面,一般都有一个package.json文件,定义了这个项目所需要的各种模块,以及项目的配置信息(比如名称.版本.许可证等元数据).npm install命令根据这个配置文件, ...

  9. Qt读写三种文件,QSettings读ini配置文件,QJsonDocument读JSON文件,QDomDocument读xml文件

    第一种INI配置文件 .ini 文件是Initialization File的缩写,即初始化文件. 除了windows现在很多其他操作系统下面的应用软件也有.ini文件,用来配置应用软件以实现不同用户 ...

随机推荐

  1. charles 抓取eclipse中的请求

    charles抓取eclipse中的请求 有时候,想要监测eclipse中发送get获取post请求,一样可以使用代理方式: 1.eclipse代码设置 代码中添加,可以就写在主函数中,然后再调用请求 ...

  2. android html.fromHtml 用例

    private String content = "<b>标题</b><br>" + "内容<br>": mCo ...

  3. Hadoop op 1)

    设置yarn.scheduler.fair.user-as-default-queue =fasle, 就会阻止每一个用户使用自己默认的队列. 设置yarn.scheduler.fair.allow- ...

  4. Redis学习总结

    Redis是一个开源的使用ANSI C语言编写.支持网络.可基于内存亦可持久化的日志型.Key-Value数据库,并提供多种语言的API,其实当前最热门的NoSQL数据库之一,NoSQL还包括了Mem ...

  5. Java中单例

    Java中单例模式是一种常见的设计模式,单例模式的写法有好几种,这里主要介绍两种:懒汉式单例.饿汉式单例 单例模式有以下特点: 1.单例类只能有一个实例. 2.单例类必须自己创建自己的唯一实例. 3. ...

  6. Strust2初之体验

    Struts2的第一个案例 首先我们需要引入架包 entity: package cn.happy.entity; /** * Entity Object * @author Happy * */ p ...

  7. 访问服务端的HttpProxy

    tip:加密部分暂时先注释掉 package com.zqc.share.manager.framework; import java.net.HttpURLConnection; import ja ...

  8. ThreadLocal实现方式&使用介绍—无锁化线程封闭

    原文出处: xieyu_zy 虽然现在可以说很多程序员会用ThreadLocal,但是我相信大多数程序员还不知道ThreadLocal,而使用ThreadLocal的程序员大多只是知道其然而不知其所以 ...

  9. WP-Cumulus插件

    链接: 5KB搞定wp-cumulus中文3D Tag问题 WordPress plugin: WP-Cumulus Flash based tag cloud WP-Cumulus支持的3D标签云实 ...

  10. Centos6 服务器病毒查杀命令历史

    top whereis vhowazeclu ll /usr/bin/v* more /usr/bin/vhowazeclu ps aux|grep vhowa ps aux|grep vhowaze ...