需求描述:lag(滞后)是kafka消费队列性能监控的重要指标,lag的值越大,表示kafka的堆积越严重.本篇文章将使用python脚本+influxdb+grafana的方式对kafka的offset.logsiz和lag这三个参数进行监控,并以图形化的方式进行展现. 架构描述:使用python收集kafka的相关信息并存储到influxdb里:配置grafana,将influxdb里的数据以图形化的方式展现出来. 一,准备工作 1,kafka,influxdb,grafana的安装(在此不

1.安装: 依赖java环境,须首先安装java运行环境,并正确设置路径. 确保kafka已经安装,且版本合适. 修改配置文件:   kafka-manager.zkhosts="你的zookeeper地址:端口/namespace" 按照kafka-manager的github说明编译,形成压缩包,解压,如果之前没有修改配置文件或者还需修改配置文件,修改之. 进入压缩包bin/kafka-manager运行. 如果在本地,用浏览器访问(在centos可以用links)http://l

1.概述 在开发工作当中,消费 Kafka 集群中的消息时,数据的变动是我们所关心的,当业务并不复杂的前提下,我们可以使用 Kafka 提供的命令工具,配合 Zookeeper 客户端工具,可以很方便的完成我们的工作.随着业务的复杂化,Group 和 Topic 的增加,此时我们使用 Kafka 提供的命令工具,已预感到力不从心,这时候 Kafka 的监控系统此刻便尤为显得重要,我们需要观察消费应用的详情. 监控系统业界有很多杰出的开源监控系统.我们在早期,有使用 KafkaMonitor 和

参照site:https://github.com/quantifind/KafkaOffsetMonitor 一.简述 这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,我们可以浏览当前的消费者组,并且每个Topic的所有Partition的消费情况都可以观看的一清二楚. 它让我们很直观的知道,每个Partition的Message是否消费掉,有没有阻塞等等. 这个Web管理平台保留的Partition.Offset和它的Consumer

前提:可以上外网. kafka manager 是一款优秀的监控 kafka 的工具,采用 scala 语言编写,如何调试 kafka manager 呢? kafka manager 使用 play framework,启动主类是 play.core.server.ProdServerStart,VM options 设置 -Dapplication.home=. 如下图所示: 设置 zk 路径:kafka manager 把数据存储在 zk 中

1.kafka Manager 1.上传压缩包kafka-manager-1.3.3.15.zip到集群 2.解压到/opt/module 3.修改配置文件conf/application.conf kafka-manager.zkhosts="kafka-manager-zookeeper:2181" 修改为: kafka-manager.zkhosts="hadoop101:2181,hadoop102:2181,hadoop103:2181" 4.启动kafk

1.安装sbt编译环境 curl https://bintray.com/sbt/rpm/rpm |tee /etc/yum.repos.d/bintray-sbt-rpm.repo yum install sbt 2.下载kafka-manager https://github.com/yahoo/kafka-manager/releases 3.编译,重点是服务器能访问外网环境,下载依赖的包和软件会比较久,编译也比较漫长(我是花了半天时间) cd kafka-manager sbt clea

一.Metrics kafka有两个metrics包,在看源码的时候很容易混淆 package kafka.metrics package org.apache.kafka.common.metrics 可以看到这两个包的包名都是metrics,但是他们负责的任务并不相同,而且两个包中的类并没有任何的互相引用关系.可以看作是两个完全独立的包.kafka.mtrics这个包,主要调用yammer的Api,并进行封装,提供给client监测kafka的各个性能参数. 而commons.metrics

 为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager.本文对其进行部署配置,并安装配置kafkatool对kafka进行监控.查询 一.kafka-manager 简介 为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager.这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不

记忆早退 Brokers Spread:看作broker使用率,如kafka集群9个broker,某topic有7个partition,则broker spread: 7 / 9 = 77% Brokers Skew:partition是否存在倾斜,如kafka集群9个broker,某topic有18个partition,正常每个broker应该2个partition.若其中有3个broker上的partition数>2,则broker skew:  3 / 9 = 33% Brokers Le

一.概述 Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽. 为了简化开发者和服务工程师维护Kafka集群的工作,构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager.这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况.它支持管理多个集群.选择副本.副本重新分配以及创建Topic.同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具. 该软件

管理工具 Kafka Manager   一.概述 Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽. 为了简化开发者和服务工程师维护Kafka集群的工作,构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager.这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况.它支持管理多个集群.选择副本.副本重新分配以及创建Topic.同时,这个管理工具也是一个非

简介: 不想通过kafka shell来管理kafka已创建的topic信息,想通过管理页面来统一管理和查看kafka集群.所以选择了大部分人使用的kafka manager,我一共有一台主机master和三台节点slave1,slave2,slave3,一共有三个zookeeper server和三个kafka broker,分别在master,slave1,slave2.所以我把kafka manager安装在了slave3的服务器上面. 一.启动kafka的JMX端口的访问 至于JMX是什

kafka manager安装配置和使用 .安装yum源 curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bintray-sbt-rpm.repo yum install -y sbt .构建kafka manager包 方法1 git直接clone [root@u04ck04 manager_kafka]# git clone https://github.com/yahoo/kafka-manager.git

参考 : kafka管理器kafka-manager部署安装 下载Kafka Manager,并进行打包,由于Kafka manager是由scala写的,所以需要由sbt的支持 git clone https://github.com/yahoo/kafka-manager cd kafka-manager ./sbt clean dist 关于sbt的的安装,请移步 http://www.cnblogs.com/tonglin0325/p/8884470.html 配置zk的地址 在conf

1. Yahoo kafka manager介绍 项目地址:https://github.com/yahoo/kafka-manager Requirements: Kafka 0.8.1.1 or 0.8.2.* sbt 0.13.x Java 8+ Kafka Manager是一个管控台,这款工具主要支持以下几个功能: 管理多个不同的集群: 很容易地检查集群的状态(topics, brokers, 副本的分布, 分区的分布): 选择副本: 产生分区分配(Generate partition

一.kafka-manager简介 为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager.这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况.它支持管理多个集群.选择副本.副本重新分配以及创建Topic.同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,有如下功能: 管理多个集群 轻松检查群集状态(主题,消费者,偏移,代理,副本分发,分区分

启动kafka: sh /app/pet_kafka_xxxx_cluster/bin/kafka-server-start.sh -daemon /app/pet_kafka_xxxx_cluster/config/server.properties & 停止kafka:/app/pet_kafka_xxxx_cluster/bin/kafka-server-stop.sh pet_kafka_xxxx_cluster  为集群名路径 启动kafka-managernohup  /app/ka

下载地址:  https://pan.baidu.com/s/1jIE3YL4 步骤: 1. 解压kafka-manager-1.3.2.1.zip 2. cd kafka-manager-1.3.2.1 3. 修改conf/application.conf文件,特别是kafka-manager.zkhosts的配置 4. 运行kafka manager: bin/kafka-manager -Dconfig.file=conf/application.conf 或 nohup bin/kafk

Kafka Manager 特性,它支持以下内容(官方译解): 管理多个群集容易检查集群状态(主题,消费者,偏移量,经纪人,副本分发,分区分配)运行首选副本选举使用选项生成分区分配,以选择要使用的代理运行分区的重新分配(基于生成的分配)创建可选主题配置的主题(0.8.1.1具有不同于0.8.2+的配置)删除主题(仅支持0.8.2+,并记住在代理配​​置中设置delete.topic.enable = true)主题列表现在表示标记为删除的主题(仅支持0.8.2+)批量生成多个主题的分区分配,并选

目标: 监控Oracle某张记录表,有新增数据则获取表数据,并推送到微信企业. 流程: Kafka实时监控Oracle指定表,获取该表操作信息(日志),使用Spark Structured Streaming消费Kafka,获取数据后清洗后存入指定目录,Python实时监控该目录,提取文本里面数据并推送到微信.(Oracle一台服务器,Kafka及Spark在另外一台服务器) 架构: Oracle+Kafka+Spark Structured Streaming+Python centos7 o