1.pom.xml配置文件 <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>${log4j.version}</version> </dependency> <dependency> <groupId>org.springframework.boot</groupId>

前言 最近公司分了个ELK相关的任务给我,在一边学习一边工作之余,总结下这些天来的学习历程和踩坑记录. 首先介绍下使用ELK的项目背景:在项目的数据库里有个表用来存储消息队列的消费日志,这些日志用于开发者日后的维护.每当客户端生产一条消息并发送到消息队列后,就会插入一条对应的记录到数据库里.当这条消息被消费之后,又会更新数据库里对应的记录的几个column的值,比如status.updated_on这些常用的column. 由于客户每天生产消费的消息很多,导致数据库里的这个表里的数据很多,长年累

Elastic Stack之Logstash进阶 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.使用GeoLite2和logstash 过滤插件的geoip案例 1>.GeoLite2概述 GeoLite2数据库是免费的IP地理定位数据库,与MaxMind的GeoIP2数据库相当,但不太准确.GeoLite2国家和城市数据库在每个月的第一个星期二更新.GeoLite2 ASN数据库每周二更新一次.官方网址:https://www.maxmind.com/en/home.

一.准备 1.mysql 我这里准备了个数据库mysqlEs,表User 结构如下 添加几条记录 2.创建elasticsearch索引 curl -XPUT 'localhost:9200/user?pretty' 3.准备mysql-connector 下载地址为https://dev.mysql.com/downloads/connector/j/ 下载后解压可以得到connector的jar包 . 我把它放在了"/usr/share/logstash/bin/config-mysql/m

1. 部署环境 2. 架构拓扑 3. nginx安装 安装在192.168.176.128服务器上 这里安装就简单粗暴了直接yum安装nginx [root@manager ~]# yum -y install epel-release [root@manager ~]# yum -y install nginx 检查是否安装成功(这里选择了查看版本号) [root@manager ~]# nginx -V nginx version: nginx/1.12.2 built by gcc 4.8

官方文档 https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html 重要参数: path # 文件路径 sincedb_path # 隐藏文件,记录读取文件的位置,默认在启动用户的目录下,如root用户在/root下 start_position # 默认从文件尾开始读取记录,可以设置从文件头开始读取,类似tail -f type # 类型,可以通过if进行判断 一.logstash配置文件使用 通过yum

1.部署Redis 1.1.下载redis [root@linux-node2 ~]# wget http://download.redis.io/releases/redis-4.0.6.tar.gz [root@linux-node2 ~]# .tar.gz [root@linux-node2 ~]# /usr/loca/src [root@linux-node2 ~]# cd /usr/local/src/redis- [root@linux-node2 redis-]# make [ro

Logstash使用grok解析IIS日志 1. 安装配置 安装Logstash前请确认Elasticsearch已经安装正确,参见RedHat6.4安装Elasticsearch5.2.0. 下载链接为:logstash-5.2.0.rpm. 下载完成后,rpm -i logstash-5.2.0.rpm即可安装. Logstash默认的配置文件位置为./config和/etc/logstash/,后者已经存在,但直接运行依然会报错: WARNING: Could not find logst

ELK快速入门二-通过logstash收集日志 说明 这里的环境接着上面的ELK快速入门-基本部署文章继续下面的操作. 收集多个日志文件 1)logstash配置文件编写 [root@linux-elk1 ~]# vim /etc/logstash/conf.d/system-log.conf input { file { path => "/var/log/messages" type => "systemlog" start_position =&g

ELK快速入门三-logstash收集日志写入redis 用一台服务器部署redis服务,专门用于日志缓存使用,一般用于web服务器产生大量日志的场景. 这里是使用一台专门用于部署redis ,一台专门部署了logstash,在linux-elk1ELK集群上面进行日志收集存到了redis服务器上面,然后通过专门的logstash服务器去redis服务器里面取出数据在放到kibana上面进行展示 部署redis 下载安装redis [root@linux-redis ~]# wget http:

http://www.eryajf.net/2362.html 转载于 本文预计阅读时间 28 分钟 文章目录[隐藏] 1,nginx日志json化. 2,发送端配置. 3,接收端配置. 4,配置logstash. 5,简单使用kibana. 现在有好几台主机的nginx日志想要监控分析一下,那么,如何让远程主机的日志都乖乖的来到elk主机之上呢,这是一个需要考虑的问题,而这里,我就使用rsyslog来完成. 这种方式貌似针对于远程主机上只有单项日志的情况,就像我们现在做的,只处理nginx的访

场景需求 在使用ELK对日志进行收集的时候,如果需要对数据进行存档,可以考虑使用数据库的方式.为了便于查询,可以同时写一份数据到Elasticsearch 中. 环境准备 CentOS7系统: 192.168.20.60 node1 Kibana ES Logstash Nginx 192.168.20.61 node2 ES MariaDB这里使用收集Nginx日志到数据库和ES中作为示例. 配置数据库 安装好数据库后,配置,并授权: MariaDB [(none)]> create data

Elastic Stack之Redis集群使用 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客数据流走向:FileBeat ===>Redis  ===>logstash ===> elasticsearch.  一.安装Redis服务器 1>.安装repo源 [root@node105 ~]# [root@node105 ~]# yum -y install epel-release Loaded plugins: fastestmirror Loa

Elastic Stack之FileBeat使用实战 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任.   本篇博客数据流走向:FileBeat ===>logstash ===> elasticsearch.  一.安装FileBeat 1>.选择FileBeat版本(连接地址:https://www.elastic.co/downloads/beats) 2>.选择之前的发行版本 3>.选择FileBeat版本 4>.下载FileBeat(连接地址

目前日志的痛点 运维要经常登陆到服务器上拿日志给开发.测试 每次都是出问题后才去看日志,不能提前通过日志预判问题 如果是集群服务,日志将要从多台机器取 开发人员搞出来的日志不规范,没有标准.日志目录不统一.日志类型也不明确(系统日志.错误日志.访问日志.运行日志.设备日志.debug日志) 以上痛点可以使用ELK解决, 要想让日志发挥作用,要有4个阶段, 收集 存储 搜索和展现 日志分析,做到故障预警和业务拓展 使用 elasticsearch logstash kibana 可以解决前3个阶段

虚拟机创建及安装ELK 作者:高波 归档:学习笔记 2018年5月31日 13:57:02 快捷键: Ctrl + 1    标题1 Ctrl + 2    标题2 Ctrl + 3    标题3 Ctrl + 4    实例 Ctrl + 5    程序代码 Ctrl + 6    正文 格式说明: 蓝色字体:注释  ctrl + / 黄色背景:重要  ctrl + i 绿色背景:注意  ctrl+shift+ w 目  录 第1章... 1 第1章 虚拟机创建 1.1 系统环境 [root@

首先安装,这里采用rpm安装: # rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 创建repo文件: [root@node1 logstash]# cat /etc/yum.repos.d/logstash.repo [logstash-6.x] name=Elastic repository for 6.x packages baseurl=https://artifacts.elastic.co/package

官方文档 什么是ELK? 通俗来讲,ELK是由Elasticsearch.Logstash.Kibana三个开源软件组成的一个组合体,这三个软件当中,每个软件用于完成不同的功能,ELK又称为ELK stack,官方域名为static.co,ELK-stack的主要优点有如下几个:处理方式灵活:elasticsearch是实时全文索引,具有强大的搜索功能.配置相对简单:elasticsearch全部使用JSON接口,logstash使用模板配置,kibana的配置文件部分更简单.检索性能高效:基于

(1)用户通过nginx或haproxy访问ELK日志统计平台,IP地址为keepalived的vip地址. (2)nginx将请求转发到kibana (3)kibana到elasticsearch获取数据,elasticsearch是两台做的集群,数据会随机保存在任意一台elasticsearch服务器. (4)logstash①从redis中取出数据并发送到elasticsearch中. (5)redis服务器做数据的临时保存,避免web服务器日志量过大的时候造成的数据收集与保存不一致而导致

Filebeat是轻量级单用途的日志收集工具,用于在没有安装java的服务器上专门收集日志,可以将日志转发到logstash.elasticsearch或redis等场景中进行下一步处理. 官方文档:https://www.elastic.co/guide/en/beats/filebeat/6.0/index.html 1.Filebeat安装和配置 1.1.filebeat安装 #RPM安装 [root@linux-node2 ~]# curl -L -O https://artifacts

1.收集Nginx的json格式日志 1.1.Nginx安装 [root@linux-node1 ~]# yum install nginx -y [root@linux-node1 ~]# vim /etc/nginx/nginx.conf #修改日志格式为json格式,并创建一个nginxweb的网站目录 log_format access_json '{"@timestamp":"$time_iso8601",' '"host":"