input { stdin { } } filter { #ruby { # code => "event.set('timestamp', event.get('@timestamp') + 8*60*60)" # code => "event.set('aaa', event.get('@timestamp').time.localtime)" # code => "event.set('bbb', event.timestamp.t

最近使用filebeat进行日志采集,并通过logstash对日志进行格式化处理. filebeat采集数据后,会给日志增加字段@timestamp,@timestamp是UTC时间,查看日志很不方便. 从网上找到了解决办法[http://blog.51cto.com/11067470/1729872]. 在logstash的filter中增加如下代码,就可以把时间转换成北京所在时区时间. ruby { code => "event.timestamp.time.localtime&quo

2. logstash es duplicate https://logstash.jira.com/browse/LOGSTASH-1875 https://logstash.jira.com/browse/LOGSTASH-2085 http://stackoverflow.com/questions/39316108/logstash-duplicate-data/39317368 http://stackoverflow.com/questions/31430255/handle-dup

1.logstash过滤器插件filter 1.1.grok正则捕获 grok是一个十分强大的logstash filter插件,他可以通过正则解析任意文本,将非结构化日志数据弄成结构化和方便查询的结构.他是目前logstash 中解析非结构化日志数据最好的方式 grok的语法规则是: %{语法:语义} “语法”指的是匹配的模式.例如使用NUMBER模式可以匹配出数字,IP模式则会匹配出127.0.0.1这样的IP地址. 例如: 我们的试验数据是: /Feb/::: +] "GET /HTTP/

背景: logstash版本:2.4.9     由于logstash在获取时区的时候,默认获取的是UTC默认时间,同时elasticsearch在创建索引的时候,统一使用UTC时间,因此实际上在创建索引的时候,会将今天实际时间的前8个小时的日志文件输出至昨天的索引中,因为中国使用的为东8时区,源数据和实际创建的索引数据会相差8个小时. 对于页面查看,ELK的解决方案是在kibana上,读取浏览器的当前时区,然后在页面上进行转换,显示时间内容.   1.修改string_interpolatio

1.logstash时间处理函数 当业务场景需要自有的time字段覆盖@timestamp字段的情况下 需要使用 date { match => ["time", "dd-MMM-yyyy HH:mm:ss.SSS","yyyy-MM-dd'T'HH:mm:ss"] target => "@timestamp" } 当处理完以后会发现@timestamp的值跟你的time字段值还是不一样 查看解析结果发现@time

一 官网说明 过滤器插件对事件执行中介处理.通常根据事件的特征有条件地应用过滤器. 以下过滤器插件在下面可用. Plugin Description Github repository aggregate Aggregates information from several events originating with a single task logstash-filter-aggregate alter Performs general alterations to fields th

一.Logstash简介   Logstash是一个开源数据收集引擎,具有实时管道功能.Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地. Logstash管道有两个必需的元素,输入和输出,以及一个可选元素过滤器.输入插件从数据源那里消费数据,过滤器插件根据你的期望修改数据,输出插件将数据写入目的地.   输入:采集各种样式.大小和来源的数据 数据往往以各种各样的形式,或分散或集中地存在于很多系统中.Logstash 支持各种输入选择 ,可以在同一时间从

logstash过滤器插件filter详解及实例   1.logstash过滤器插件filter 1.1.grok正则捕获 grok是一个十分强大的logstash filter插件,他可以通过正则解析任意文本,将非结构化日志数据弄成结构化和方便查询的结构.他是目前logstash 中解析非结构化日志数据最好的方式 grok的语法规则是: %{语法:语义} "语法"指的是匹配的模式.例如使用NUMBER模式可以匹配出数字,IP模式则会匹配出127.0.0.1这样的IP地址. 例如: 我

当一个时间 比如2016年5月6日,生成时间戳.这个运算是与时区有关的.首先得确认这个时间是哪个时区的,然后转换成utc时区的时间.再减去1970,得到的秒数,就是时间戳. 时间戳是个一定的值,他与时区没关. 当想把时间戳还原成时间,必须指定时区,才能确认什么时间. 总结:时间与时区有关.时间戳与时区无关,它是utc,也就是gmt时区的时间与1970年的差.在时间轴的某一点时刻,不管位于哪个时区(如北京 +8小时,或者格林威治 +0小时),它转换成的时间戳是相等的. 首先澄清一个概念: 所有的l

Logstash 设计了自己的 DSL -- 有点像 Puppet 的 DSL,或许因为都是用 Ruby 语言写的吧 -- 包括有区域,注释,数据类型(布尔值,字符串,数值,数组,哈希),条件判断,字段引用等. 一.基本语法组成 logstash.conf配置文件里至少需要有input和output两个部分构成 input { #输入 } filter { #过滤匹配 } output { #输出 } 1.input配置 1.1.file{}(文件读取) 监听文件变化,记录一个叫 .sinced

logstash作为数据搜集器,主要分为三个部分:input->filter->output  作为pipeline的形式进行处理,支持复杂的操作,如发邮件等 input配置数据的输入和简单的数据转换 filter配置数据的提取,一般使用grok output配置数据的输出和简单的数据转换 运行:logstash  -f /etc/logstash.conf -f  指定配置文件 -e  只在控制台运行 具体的配置见官网 https://www.elastic.co/products/logs

时间处理(Date) 之前章节已经提过, filters/date 插件可以用来转换你的日志记录中的时间字符串,变成 LogStash::Timestamp 对象,然后转存到 @timestamp 字段里 output { if [type] == "zj_frontend_access"{ elasticsearch { hosts => "192.168.32.80:9200" index => "logstash-zjzc-fronten

2.2.2 多行事件编码: zjtest7-frontend:/usr/local/logstash-2.3.4/bin# ./plugin list | grep multi Ignoring ffi-1.9.13 because its extensions are not built. Try: gem pristine ffi --version 1.9.13 logstash-codec-multiline logstash-filter-multiline zjtest7-front

以mysql 5.7.20 为例 一直以来,理解有偏差,作此记录,纠正 一.DATETIME和TIMESTAMP 都有高达微秒(6位)的精度 范围   DATETIME  1000-01-01 00:00:00.000000  9999-12-31 23:59:59.999999    TIMESTAMP  1970-01-01 00:00:01.000000  2038-01-19 03:14:07.999999 二.MySQL将TIMESTAMP当前时区的值转换为UTC进行存储,然后从UTC

目录 一.什么是Logstash 二.如何安装 三.快速使用 四.Input输入插件 五.codec编码插件 六.filter过滤器插件 七.output输出插件 八.总结 一.什么是Logstash Logstash是一个日志收集器,可以理解为一个管道,或者中间件. 功能是从定义的输入源inputs读取信息,经过filters过滤器处理,输入到定义好的outputs输出源. 输入源可以是stdin.日志文件.数据库等,输出源可以是stdout.elesticsearch.HDFS等. 另外,L

一.安装与启动 Logstash 依赖 Java 8 或者 Java 11,需要先安装 JDK 1.1 下载 curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-7.7.0.rpm 1.2 安装 sudo rpm -i logstash-7.7.0.rpm Logstash 的目录结构见:Directory Layout of Debian and RPM Packages 1.3 修改配置(根据需要执行) 修改

1. Logstash输入插件 1.1 input介绍 logstash支持很多数据源,比如说file,http,jdbc,s3等等 图片上面只是一少部分.详情见网址:https://www.elastic.co/guide/en/logstash/current/input-plugins.html 1.2 标准输入(Stdin) 这种控制台输入前面已经介绍过了,这里就不解析了. 链接:ElasticSearch7.3学习(三十一)----Logstash基础学习 input{   stdin

django1.9 + uwsgi +nginx1.9 部署 官方介绍 https://uwsgi.readthedocs.io/en/latest/tutorials/Django_and_nginx.html 安装uwsgi一.下载uwsgi:https://pypi.python.org/pypi/uWSGIuwsgi参数详解:http://uwsgi-docs.readthedocs.org/en/latest/Options.html 二.安装和测试pip install uwsgiu

yarn常用rest api 1 metrics # curl http://localhost:8088/ws/v1/cluster/metrics The cluster metrics resource provides some overall metrics about the cluster. More detailed metrics should be retrieved from the jmx interface. { "clusterMetrics": { &qu

一.MySQL安装 MySQL的下载 http://dev.mysql.com/downloads/mysql/ MySQL版本选择 MySQL功能自定义选择安装 1.功能自定义选择 2.路径自定义选择 3.设置root用户密码 4.安装完成,点击MySQL Workbench 6.3 CE进入MySQL客户端 二.SQL基础 SQL语句分类 1.DDL(Data Definition Languages)语句:数据定义语言,这些语句定义了不同的数据段.数据库.表.列.索引等数据库对象.常用的语