最近使用filebeat进行日志采集,并通过logstash对日志进行格式化处理. filebeat采集数据后,会给日志增加字段@timestamp,@timestamp是UTC时间,查看日志很不方便. 从网上找到了解决办法[http://blog.51cto.com/11067470/1729872]. 在logstash的filter中增加如下代码,就可以把时间转换成北京所在时区时间. ruby { code => "event.timestamp.time.localtime&quo

timestamp格式 如果数据库修改时区,可能会对数据影响,datetime不依赖数据库时区

input { stdin { } } filter { #ruby { # code => "event.set('timestamp', event.get('@timestamp') + 8*60*60)" # code => "event.set('aaa', event.get('@timestamp').time.localtime)" # code => "event.set('bbb', event.timestamp.t

1.首先是我们分析datetime长度是8个字节,INT的长度是4个字节,存储空间上比datatime少. 2.int存储索引的空间也比datetime少,排序效率高,查询速度比较快. 3.方便计算,unix时间戳有点就是方便计算. 总结了一下timestamp和datetime的区别: 1.timestamp有范围限制1970 ~ 2037 2.timestamp支持default current_timestamp 来设置默认自动当前时间 3.timestamp支持on update cur

时间在我们开发中应用非常普遍,大部分开发中我们将用Mysql的datetime格式来存储,但是对于经常用时间来排序或者查询的应用中,我们要将时间做成索引,这个就跟查询效率很有关系,但是很多程序员会用int来存时间戳,然后再进行处理 1.首先是我们分析datetime长度是8个字节,INT的长度是4个字节,存储空间上比datatime少. 2.int存储索引的空间也比datetime少,排序效率高,查询速度比较快. 3.方便计算,unix时间戳有点就是方便计算. 总结了一下timestamp和da

1.两者的存储方式不一样 TIMESTAMP:把客户端插入的时间从当前时区转化为UTC(世界标准时间)进行存储.查询时,将其又转化为客户端当前时区进行返回. DATETIME:不做任何改变,基本上是原样输入和输出 2.两者所能存储的时间范围不一样 timestamp存储的时间范围为:'1970-01-01 00:00:01.000000' 到 '2038-01-19 03:14:07.999999'. datetime存储的时间范围为:'1000-01-01 00:00:00.000000' 到

mysql数据库常用的时间类型有timestamp和datetime,两者主要区别是占用存储空间长度不一致.可存储的时间也有限制,但针对不同版本下,timestamp字段类型的设置需要慎重,因为不注意的可能会被“坑死”. 一.TIMESTAMP和DATETIME字段类型对比 字段类型 存储长度 时间范围 备注 timestamp 4字节 '1970-01-01 00:00:01' UTC to '2038-01-19 03:14:07' UTC   datetime 8字节(5.7占5字节) '

初步认识MySQL 安装 练习增减改 1.什么是数据库软件: 数据库,俗称数据的仓库.方便管理数据的软件(或程序) 市面上数据库软件: Oracle:甲骨文公司产品.当前最流行应用最广泛数据库软件.和java语言兼容非常好,适合中大型,中大应用. SQL Server:微软公司的产品.windows平台应用广泛.和C#,net平台兼容非常好. DB2:IBM公司产品,IBM 服务器----UNIX---DB2---Websphere. MySQL:开源组织的产品.甲骨文公司的产品.免费! 和ja

官方地址:https://www.elastic.co/guide/en/logstash-versioned-plugins/current/index.html 配置文件写法: # 日志导入input {}# 日志筛选匹配处理filter {}# 日志匹配输出output {} # 日志解析配置文件的框架共分为三个模块,input,output,filter.后面会一一讲解, 每个模块里面存在不同的插件. input 模块 例子1 # file为常用文件插件,插件内选项很多,可根据需求自行判

MySQL基础知识 ----------- MySQL数据库简介 内存:一断电数据就没有了---------数据库:可以实现数据的持久化存储,有完整的管理系统管理,方便查询--------- DB:数据库,保存一组有组织的数据的容器DBMS:数据库管理系统,也叫数据库软件或产品,用于管理DB中的数据SQL:结构化查询语言,用于和DBMS通信的语言 DB:database 数据库:存储数据的大仓库,保存的是有组织,有规范的数据,DBMS:DatabseManagement System 数据库管理

Elastic Stack之Redis集群使用 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客数据流走向:FileBeat ===>Redis  ===>logstash ===> elasticsearch.  一.安装Redis服务器 1>.安装repo源 [root@node105 ~]# [root@node105 ~]# yum -y install epel-release Loaded plugins: fastestmirror Loa

官方文档 什么是ELK? 通俗来讲,ELK是由Elasticsearch.Logstash.Kibana三个开源软件组成的一个组合体,这三个软件当中,每个软件用于完成不同的功能,ELK又称为ELK stack,官方域名为static.co,ELK-stack的主要优点有如下几个:处理方式灵活:elasticsearch是实时全文索引,具有强大的搜索功能.配置相对简单:elasticsearch全部使用JSON接口,logstash使用模板配置,kibana的配置文件部分更简单.检索性能高效:基于

[From] https://blog.csdn.net/iguyue/article/details/77006201 ELK 之 Logstash 简介: ELK 之 LogstashLogstash 是一个接收,处理,转发日志的工具.支持系统日志,webserver 日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型.在一个典型的使用场景下(ELK):用 Elasticsearch 作为后台数据的存储,kibana用来前端的报表展示.Logstash 在其过程中担任搬运工的角色,它

mysql的时间相关的类型如下: 1. timestamp 时区敏感的 2. date 非时区敏感 3. datetime   非时区敏感 4. time 非时区敏感

1.Logstash 安装:在产生日志的服务器上安装 Logstash1.安装java环境 # yum install java-1.8.0-openjdk.x86_642.安装logstash(使用yum安装) # rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearc 添加此文件和内容 # vi /etc/yum.repos.d/logstash.repo [logstash-6.x] name=Elastic repos

  推荐用 MySQL 8.0 (2018/4/19 发布, 开发者说同比 5.7 快 2 倍) 或同类型以上版本. CREATE TABLE TEMPLATE CREATE TABLE [table_name] ( id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY COMMENT '物理主键', update_time TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CUR

使用 Pipeline 处理日志中的 @timestamp Filebeat 收集的日志发送到 ElasticSearch 后,会默认添加一个 @timestamp 字段作为时间戳用于检索,而日志中的信息会全部添加到 message 字段中,但是这个时间是 Filebeat 采集日志的时间,不是日志生成的实际时间,所以为了便于检索日志,需要将 @timestamp 替换为 message 字段中的时间. 这里使用的是 elasticseatch 提供的 pipeline 来进行替换.首先日志格式

1 出现原因 1.1 查看机器时区和MySQL的时区 #查看linux的机器时区: [root@mysql-150 ~]# date -R Wed, 23 Oct 2019 14:10:04 +0800 [root@mysql-150 ~]# date Wed Oct 23 14:10:07 CST 2019 #查看mysql 的时区 root@localhost [(none)]>show variables like '%time_zone'; +------------------+---

一.安装filebeat 简介 Beats 是安装在服务器上的数据中转代理. Beats 可以将数据直接传输到 Elasticsearch 或传输到 Logstash . Beats 有多种类型,可以根据实际应用需要选择合适的类型. 常用的类型有: Packetbeat:网络数据包分析器,提供有关您的应用程序服务器之间交换的事务的信息. Filebeat:从您的服务器发送日志文件. Metricbeat:是一个服务器监视代理程序,它定期从服务器上运行的操作系统和服务收集指标. Winlogbea

需求:收集 ubuntu 系统日志,发送给 logstash,再由 logstash 把数据传递给 elasticsearch,最后通过 kibana 展示日志数据. Filebeat System Module Filebeat Modules 可以简化常见日志格式的收集.解析和可视化.一个典型的模块(例如,对于 Nginx 日志)由一个或多个日志文件(fileset)组成(对于 Nginx 来说,默认是 access.log 和 error.log).这里我们可以使用 Filebeat 的