title: Elastic 技术栈之 Logstash 基础 date: 2017-12-26 categories: javatool tags: java javatool log elastic Elastic 技术栈之 Logstash 基础 本文是 Elastic 技术栈(ELK)的 Logstash 应用. 如果不了解 Elastic 的安装.配置.部署,可以参考:Elastic 技术栈之快速入门 简介 Logstash 可以传输和处理你的日志.事务或其他数据. 功能 Logsta…

Elastic 技术栈之 Filebeat 简介 Beats 是安装在服务器上的数据中转代理. Beats 可以将数据直接传输到 Elasticsearch 或传输到 Logstash . Beats 有多种类型,可以根据实际应用需要选择合适的类型. 常用的类型有: Packetbeat:网络数据包分析器,提供有关您的应用程序服务器之间交换的事务的信息. Filebeat:从您的服务器发送日志文件. Metricbeat:是一个服务器监视代理程序,它定期从服务器上运行的操作系统和服务收集指标.…

Elastic 技术栈之快速入门 概念 ELK 是什么 ELK 是 elastic 公司旗下三款产品 ElasticSearch .Logstash .Kibana 的首字母组合. ElasticSearch 是一个基于 Lucene 构建的开源,分布式,RESTful 搜索引擎. Logstash 传输和处理你的日志.事务或其他数据. Kibana 将 Elasticsearch 的数据分析并渲染为可视化的报表. 为什么使用 ELK ? 对于有一定规模的公司来说,通常会很多个应用,并部署在大量…

以下我们描述如何使用 Elastic 技术栈来为 Kubernetes 构建监控环境.可观测性的目标是为生产环境提供运维工具来检测服务不可用的情况(比如服务宕机.错误或者响应变慢等),并且保留一些可以排查的信息,以帮助我们定位问题.总的来说主要包括3个方面: 监控指标提供系统各个组件的时间序列数据,比如 CPU.内存.磁盘.网络等信息,通常可以用来显示系统的整体状况以及检测某个时间的异常行为 日志为运维人员提供了一个数据来分析系统的一些错误行为,通常将系统.服务和应用的日志集中收集在同一个数据库…

ELK技术栈之-Logstash详解   前言 在第九章节中,我们已经安装好Logstash组件了,并且启动实例测试它的数据输入和输出,但是用的是最简单的控制台标准输入和标准输出,那这节我们就来深入的学习Logstash的详细使用. 常用启动参数 我们在上一节中演示了启动Logstash的实例,其中我们启动的时候给Logstash脚本传入了-e的参数,但实际上,Logstash的启动参数有很多,我们来看一下各个启动参数的作用: -e #立即启动实例,例如:./logstash -e "input…

文章转载自:https://www.qikqiak.com/post/k8s-monitor-use-elastic-stack-4/ 操作步骤 apm-servver连接es使用上一步创建的secret:beats-elasticsearch-pw kubectl apply -f apm.configmap.yml \ -f apm.service.yml \ -f apm.deployment.yml kubectl get pods -n elastic -l app=apm-serve…

文章转载自:https://www.qikqiak.com/post/k8s-monitor-use-elastic-stack-3/ 操作步骤 filebeat连接es使用上一步创建的secret:beats-elasticsearch-pw 另外filebeat读取超链接日志文件,还需要增加配置上额外的参数:symlinks: true 符号链接选项允许Filebeat除常规文件外,可以收集符号链接.收集符号链接时,即使报告了符号链接的路径,Filebeat也会打开并读取原始文件. 还有就是…

文章转载自:https://www.qikqiak.com/post/k8s-monitor-use-elastic-stack-2/ 操作步骤 git clone https://github.com/kubernetes/kube-state-metrics.git cd kube-state-metrics 注意:下一步会用到镜像:registry.k8s.io/kube-state-metrics/kube-state-metrics:v2.5.0,但是拉取不了 解决办法: 方法1:(在…

文章转载自:https://www.qikqiak.com/post/k8s-monitor-use-elastic-stack-1/ 操作步骤 kubectl create ns elastic kubectl apply -f mongo.yml kubectl get pods -n elastic -l app=mongo kubectl apply -f spring-boot-simple.yml kubectl get pods -n elastic -l app=spring-b…

webpack+babel+react+antd技术栈的基础配置 前段时间使用webpack+babel+react+antd做了一套后台管理系统,刚开始被一大堆的新知识压的喘不过气来,压力挺大的.还在一步步走来,学习了很多.那时候还不会配置,直接从网上下了别人配置好的可以跑的.之后特意花了一段时间好好研究了下webpack,后面可以直接动手做一些基本的配置.webpack很强大,还有许多要学习的地方. 最近学习了挺多知识,堆积着没有记录到博客.找机会慢慢写出,因工作需要,最近干了后端,毕竟是前…