视频地址:ELK和Kafka是怎么就玩在一起成了日志采集解决方案

视频文字版

今天呢我就带来了一期视频,主要就是讲ELK和Kafka之间的通讯关系通过对一张通讯图,和一些操作命令,让我们能更深入的去理解ELK在日志采集过程当中以及Kafka在消息队列分发过程当中,它们是如何进行配置使用的,以及它们之间的通讯机制希望对您的学习有所帮助,谢谢!

我们的目标是一台主机主机上的服务会产生日志,例如/var/log目录下面会不断产生各种日志记录我们把这个采集范围称为日志采集源这时候我们把ELK的文件采集器filebeat部署到这台主机上,让它实时监测并增量采集最新的日志记录Filebeat可以给ELK家族的Elasticsearch搜索引擎直接推送采集日志也可以给ELK另外一个日志管道工具Logstash直接推送采集日志最关键的一步是filebeat可以将日志作为消息直接推送给Kafka集群。

我们就通过命令操作演示,更具体的看看它到底是怎么配置的 首先通过pwd命令,查看一下filebeat所在的目录,我的安装目录在/opt/filebeat目录下然后我们再用ls命令查看一下目录下面的文件,找到filebeat的配置文件filebeat.yml。

接着我们用vi命令编辑并查看filebeat.yml文件我们用output关键字,搜索filebeat采集输出的配置,通过n键匹配,我们找到了第一个配置点:Elastisearch输出好,我们可以看到已经被#注掉的Elastisearch,证明filebeat采集到数据不会输出给Elasticsearch。同时可以看到Elasticsearch接收地址是node1,端口是9200。 好!接着继续按n键搜索下一个输出,这时候我们找到了第二个配置点:Logstash输出我们同样可以看到已经被#注掉的Logstash,证明filebeat采集到数据不会推给logstash,同时可以看到Logstash的接收地址:node1,端口5044Ok,我们接着继续按n键搜索最后一个数据,这时候我们找到了最后一个输出点:Kafka输出这次Kafka的输出没有被注释掉,证明filebeat采集到的数据一定会输出给Kafka同时我们看到接收数据的Kafka集群是由三台机器组成node2、node3、node4,端口都是9092推送给Kafka的topic是testT3

通过命令演示中的配置,让我们寻求一种最合理的日志管道传输解决方案,首先filebeat将数据推送给Kafka集群,这样可以形成一个大吞吐承载力的数据缓冲区,而且由Kafka可以接收更多的filebeat采集点接着Logstash作为Kafka的消费者客户端订阅testT3 Topic,Logstash具备了各种过滤器,编解码器,进行数据清洗,可以为下一阶段的输出提供更高质量的日志数据最后Logstash将日志数据写入elasticsearch集群的索引当中,完成日志的最终落地。

前往读字节的知乎——了解更多关于大数据的知识

公众号 "读字节" 大数据(技术、架构、应用)的深度,专业解读

「视频小课堂」ELK和Kafka是怎么就玩在一起成了日志采集解决方案文字版的更多相关文章

  1. 「视频小课堂」Logstash如何成为镇得住场面的数据管道(文字版)

    视频地址 B站视频地址:Logstash如何成为镇得住场面的数据管道 公众号视频地址:Logstash如何成为镇得住场面的数据管道 知乎视频地址:Logstash如何成为镇得住场面的数据管道 内容 首 ...

  2. 对于前端,「微信小程序」其实不美好

    微信小程序开放公测了,9月底我曾经写过一篇 「微信小程序」来了,其中最后一句:"谢天谢地,我居然还是个前端". 这种火爆的新事物总是令人激动,感谢这个时代. 但是,当我真作为开发者 ...

  3. 「前端开发者」如何把握住「微信小程序」这波红利?

    由于前两周一直在老家处理重要事情,虽然朋友圈被「微信小程序」刷爆了,但并没有时间深入了解. 昨天回广州之后,第一件事情就是把「微信小程序」相关的文章.开发文档.设计规范全部看了一遍,基本上明白了「微信 ...

  4. 「微信小程序」有哪些冲击与机会?

    昨天晚上相信大家的朋友圈被「微信小程序」刷屏了,这影响力赶上了国务院出台新政策一样,足以说明微信在中国的影响力之大. 然后今天公号后台一大堆人问我怎么看这件事,不少人非常忧虑,仿佛自己将要失业一样. ...

  5. 「微信小程序」来了

    ps:微信APP Store.微信小程序.微信应用号都是指同一个事情. 苦逼程序猿刚下班到家,还没来得及洗漱,收到条小道消息的推送.于是我有气无力的拿着手机点开了这条推送消息,映入眼帘的就是这张封面图 ...

  6. 「c++小学期」实验题目及代码

    面向对象编程的C++,和平时做题用的C++还是有差距的.实验的题目都是小题目,就都做一下吧.(没放代码的为要验收的 实验一 简单C++程序设计 1.  猜价格游戏 编写C++程序完成以下功能: (1) ...

  7. 「拆小鹤」使用 python 实现 QQ机器人服务。

    使用的是python的qqbot机器人库,我其实只是实现了这个库的一个插件. 具体的说明,我觉得qqbot的官方文档,还有我的插件的注释都写得很详细了,可以直接看.所以有空再写吧. 没错我就是懒..

  8. 「微信小程序」PHP异步进程async-helper实例详解

    PHP异步进程async-helper实例详解 PHP 的异步进程助手,借助于 AMQP 实现异步执行 PHP 的方法,将一些很耗时.追求高可用.需要重试机制的操作放到异步进程中去执行,将你的 HTT ...

  9. 「新手必看」Python+Opencv实现摄像头调用RGB图像并转换成HSV模型

    在ROS机器人的应用开发中,调用摄像头进行机器视觉处理是比较常见的方法,现在把利用opencv和python语言实现摄像头调用并转换成HSV模型的方法分享出来,希望能对学习ROS机器人的新手们一点帮助 ...

随机推荐

  1. WSL2 准备dotnet core开发环境

    首先我们要知道WSL Ubuntu的版本,以便进行下一步操作: 我的是18.04,所以安装dot net SDK我们参考这里: https://docs.microsoft.com/en-us/dot ...

  2. 1.PowerShell DSC概述

    什么是PowerShell DSC DSC 是一个声明性平台,用于配置.部署和管理系统. PowerShell PowerShell 是构建于 .NET 上基于任务的命令行 shell 和脚本语言. ...

  3. hdu 4465 Candy (非原创)

    LazyChild is a lazy child who likes candy very much. Despite being very young, he has two large cand ...

  4. 使用 Jenkins 搭建 CI/CD All In One

    使用 Jenkins 搭建 CI/CD All In One https://ci.jenkins.io/ https://www.jenkins.io/zh/ jobs pipelines refs ...

  5. Open Collective

    Open Collective Open Collective is an online funding platform for open and transparent communities. ...

  6. Dart Generic All In One

    Dart Generic All In One Dart 泛型 https://dart.dev/guides/language/language-tour#generics /** * * @aut ...

  7. Android Studio & zh-Hans

    Android Studio & zh-Hans https://developer.android.com/studio?hl=zh-cn https://developer.android ...

  8. Rollup & Webpack & Parcel

    Rollup & Webpack & Parcel package bundler https://x-team.com/blog/rollup-webpack-parcel-comp ...

  9. HDFS 01 - HDFS是什么?它的适用场景有哪些?它的架构是什么?

    目录 1.HDFS 是什么 1.1 简单介绍 1.2 发展历史 2.HDFS 应用场景 2.1 适合的应用场景 2.2 不适合的应用场景 3.HDFS 的架构 4.NameNode 和 DataNod ...

  10. 基本ILS面的评估

    一.定义与用途 基本ILS面是ICAO DOC8168飞行程序设计规范中提到的一种限制面. 它相当于附件14中代码为3或4的精密进近跑道所规定的障碍物限制面的子集. 包含:进近面(分为两部分).过渡面 ...