视频地址:ELK和Kafka是怎么就玩在一起成了日志采集解决方案

视频文字版

今天呢我就带来了一期视频,主要就是讲ELK和Kafka之间的通讯关系通过对一张通讯图,和一些操作命令,让我们能更深入的去理解ELK在日志采集过程当中以及Kafka在消息队列分发过程当中,它们是如何进行配置使用的,以及它们之间的通讯机制希望对您的学习有所帮助,谢谢!

我们的目标是一台主机主机上的服务会产生日志,例如/var/log目录下面会不断产生各种日志记录我们把这个采集范围称为日志采集源这时候我们把ELK的文件采集器filebeat部署到这台主机上,让它实时监测并增量采集最新的日志记录Filebeat可以给ELK家族的Elasticsearch搜索引擎直接推送采集日志也可以给ELK另外一个日志管道工具Logstash直接推送采集日志最关键的一步是filebeat可以将日志作为消息直接推送给Kafka集群。

我们就通过命令操作演示,更具体的看看它到底是怎么配置的 首先通过pwd命令,查看一下filebeat所在的目录,我的安装目录在/opt/filebeat目录下然后我们再用ls命令查看一下目录下面的文件,找到filebeat的配置文件filebeat.yml。

接着我们用vi命令编辑并查看filebeat.yml文件我们用output关键字,搜索filebeat采集输出的配置,通过n键匹配,我们找到了第一个配置点:Elastisearch输出好,我们可以看到已经被#注掉的Elastisearch,证明filebeat采集到数据不会输出给Elasticsearch。同时可以看到Elasticsearch接收地址是node1,端口是9200。 好!接着继续按n键搜索下一个输出,这时候我们找到了第二个配置点:Logstash输出我们同样可以看到已经被#注掉的Logstash,证明filebeat采集到数据不会推给logstash,同时可以看到Logstash的接收地址:node1,端口5044Ok,我们接着继续按n键搜索最后一个数据,这时候我们找到了最后一个输出点:Kafka输出这次Kafka的输出没有被注释掉,证明filebeat采集到的数据一定会输出给Kafka同时我们看到接收数据的Kafka集群是由三台机器组成node2、node3、node4,端口都是9092推送给Kafka的topic是testT3

通过命令演示中的配置,让我们寻求一种最合理的日志管道传输解决方案,首先filebeat将数据推送给Kafka集群,这样可以形成一个大吞吐承载力的数据缓冲区,而且由Kafka可以接收更多的filebeat采集点接着Logstash作为Kafka的消费者客户端订阅testT3 Topic,Logstash具备了各种过滤器,编解码器,进行数据清洗,可以为下一阶段的输出提供更高质量的日志数据最后Logstash将日志数据写入elasticsearch集群的索引当中,完成日志的最终落地。

前往读字节的知乎——了解更多关于大数据的知识

公众号 "读字节" 大数据(技术、架构、应用)的深度,专业解读

「视频小课堂」ELK和Kafka是怎么就玩在一起成了日志采集解决方案文字版的更多相关文章

  1. 「视频小课堂」Logstash如何成为镇得住场面的数据管道(文字版)

    视频地址 B站视频地址:Logstash如何成为镇得住场面的数据管道 公众号视频地址:Logstash如何成为镇得住场面的数据管道 知乎视频地址:Logstash如何成为镇得住场面的数据管道 内容 首 ...

  2. 对于前端,「微信小程序」其实不美好

    微信小程序开放公测了,9月底我曾经写过一篇 「微信小程序」来了,其中最后一句:"谢天谢地,我居然还是个前端". 这种火爆的新事物总是令人激动,感谢这个时代. 但是,当我真作为开发者 ...

  3. 「前端开发者」如何把握住「微信小程序」这波红利?

    由于前两周一直在老家处理重要事情,虽然朋友圈被「微信小程序」刷爆了,但并没有时间深入了解. 昨天回广州之后,第一件事情就是把「微信小程序」相关的文章.开发文档.设计规范全部看了一遍,基本上明白了「微信 ...

  4. 「微信小程序」有哪些冲击与机会?

    昨天晚上相信大家的朋友圈被「微信小程序」刷屏了,这影响力赶上了国务院出台新政策一样,足以说明微信在中国的影响力之大. 然后今天公号后台一大堆人问我怎么看这件事,不少人非常忧虑,仿佛自己将要失业一样. ...

  5. 「微信小程序」来了

    ps:微信APP Store.微信小程序.微信应用号都是指同一个事情. 苦逼程序猿刚下班到家,还没来得及洗漱,收到条小道消息的推送.于是我有气无力的拿着手机点开了这条推送消息,映入眼帘的就是这张封面图 ...

  6. 「c++小学期」实验题目及代码

    面向对象编程的C++,和平时做题用的C++还是有差距的.实验的题目都是小题目,就都做一下吧.(没放代码的为要验收的 实验一 简单C++程序设计 1.  猜价格游戏 编写C++程序完成以下功能: (1) ...

  7. 「拆小鹤」使用 python 实现 QQ机器人服务。

    使用的是python的qqbot机器人库,我其实只是实现了这个库的一个插件. 具体的说明,我觉得qqbot的官方文档,还有我的插件的注释都写得很详细了,可以直接看.所以有空再写吧. 没错我就是懒..

  8. 「微信小程序」PHP异步进程async-helper实例详解

    PHP异步进程async-helper实例详解 PHP 的异步进程助手,借助于 AMQP 实现异步执行 PHP 的方法,将一些很耗时.追求高可用.需要重试机制的操作放到异步进程中去执行,将你的 HTT ...

  9. 「新手必看」Python+Opencv实现摄像头调用RGB图像并转换成HSV模型

    在ROS机器人的应用开发中,调用摄像头进行机器视觉处理是比较常见的方法,现在把利用opencv和python语言实现摄像头调用并转换成HSV模型的方法分享出来,希望能对学习ROS机器人的新手们一点帮助 ...

随机推荐

  1. 主席树 【权值线段树】 && 例题K-th Number POJ - 2104

    一.主席树与权值线段树区别 主席树是由许多权值线段树构成,单独的权值线段树只能解决寻找整个区间第k大/小值问题(什么叫整个区间,比如你对区间[1,8]建立一颗对应权值线段树,那么你不能询问区间[2,5 ...

  2. C#Assembly、程序集、装配件、命名空间以及类型的关系

    Assembly = 程序集 = 装配件 命名空间是类的逻辑组织形式,程序集是类的物理组织形式. 程序集其实和命名空间没有什么必然的联系. 程序集1: namespace1{ public class ...

  3. read()、readline()、readlines() -- Python

    文本文件:readfile.txt 详细描述: read()                  #一次性读取文本中全部的内容,以字符串的形式返回结果 readline()           #只读取 ...

  4. Kubernets二进制安装(12)之部署Node节点服务的kube-Proxy

    kube-proxy是Kubernetes的核心组件,部署在每个Node节点上,它是实现Kubernetes Service的通信与负载均衡机制的重要组件; kube-proxy负责为Pod创建代理服 ...

  5. Gitlab 快速部署及日常维护 (一)

    一.GitLab简介GitLab 是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的web服务 二.GitLab系统架构git用户的主目录通常是/home/git(~ ...

  6. Linux系统启动过程内核文件丢失解决方法

    一.问题描述 公司近期因机房断电,导致服务器重启后,引导进入不了操作系统.经过检查发现启动文件缺失,导致系统启动失败,网上搜了好多资料,解决都比较零散,现结合实际处理经验和网友的建议整理接方案. 二. ...

  7. linux多线程模拟银行家算法

    题外话: 这应该是最近有点难度的作业了,起码比之前的理发师,读写,哲学家问题要难. 但是做好程序的结构,自顶向下,就还是不难的. 银行家算法简介:                 代码: init() ...

  8. JSON简单理解

    JSON 与 JS 对象的关系 很多人搞不清楚 JSON 和 Js 对象的关系,甚至连谁是谁都不清楚.其实,可以这么理解: JSON 是 JS 对象的字符串表示法,它使用文本表示一个 JS 对象的信息 ...

  9. hdu5303贪心

    http://acm.hdu.edu.cn/showproblem.php?pid=5303 说一下题目大意.. 有一个长为L的环..你家在原点位置0,那么剩下L-1个点上种有一些树, 给你树的位置和 ...

  10. LaTex公式在线转图片

    Reference https://latex.codecogs.com/gif.latex?THE_FORMULAR 注: 请不要包含空格 或者 将整段url放到浏览器里, 会产生空格等字符的替换, ...