# 监控kafka集群，开启监控趋势图使用

# 有一个问题，需要在kafka-server-start.sh文件中配置端口，有如下三种办法

# 第一种：复制并修改kafka目录，比如kafka-1,kafka-2,kafka-3,然后再每个目录下修改kafka-server-start.sh文件

# 第二种：在启动脚本start.sh中添加指定端口

# 第三种：多复制几个kafka-server-start.sh文件，然后进行修改，最后在start.sh中修改一下

# 以下三种方法任选其一即可

# 第一种方式办法，相应行修改成如下形式，注意端口号不同

# 使用的是不同目录下的不同kafka-server-start.sh文件

# start.sh文件也需要做相应的修改

# kafka-1/bin/kafka-server-start.sh

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

   # export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"

    export JMX_PORT="9997"

fi

# kafka-2/bin/kafka-server-start.sh

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

   # export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"

    export JMX_PORT="9998"

fi

# kafka-3/bin/kafka-server-start.sh

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

   # export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"

    export JMX_PORT="9999"

fi

# start.sh

	#!/bin/bash

	bash kafka-1/bin/kafka-server-start.sh -daemon config/server-1.properties

	bash kafka-2/bin/kafka-server-start.sh -daemon config/server-2.properties

	bash kafka-3/bin/kafka-server-start.sh -daemon config/server-3.properties

# 第二种方法

# 使用的用一个目录下的同一个文件，只是在每个命令前指定端口号

vim start.sh

	#!/bin/bash

	JMX_PORT=9997 bash bin/kafka-server-start.sh -daemon config/server-1.properties

	JMX_PORT=9998 bash bin/kafka-server-start.sh -daemon config/server-2.properties

	JMX_PORT=9999 bash bin/kafka-server-start.sh -daemon config/server-3.properties

# 第三种方法

# 使用的是同一个目录下的不同kafka-server-start文件

# start.sh文件也需要做相应的修改

cp kafka-server-start.sh kafka-server-start-1.sh

cp kafka-server-start.sh kafka-server-start-2.sh

cp kafka-server-start.sh kafka-server-start-3.sh

vim kafka-server-start-1.sh

	if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

	   # export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

	    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"

	    export JMX_PORT="9997"

	fi

vim kafka-server-start-2.sh

	if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

	   # export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

	    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"

	    export JMX_PORT="9998"

	fi

vim kafka-server-start-3.sh

	if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

	   # export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

	    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"

	    export JMX_PORT="9999"

	fi

vim start.sh

	#!/bin/bash

	bash bin/kafka-server-start-1.sh -daemon config/server-1.properties

	bash bin/kafka-server-start-2.sh -daemon config/server-2.properties

	bash bin/kafka-server-start-3.sh -daemon config/server-3.properties

vim stop.sh

	#!/bin/bash

	bash bin/kafka-server-stop.sh


cd /usr/local/src

wget https://github.com/smartloli/kafka-eagle-bin/archive/v1.3.9.tar.gz

# 多次解压缩后得到kafka-eagle-web-1.3.9目录，然后把该目录复制到/usr/local目录下

cd /usr/local/kafka-eagle-web-1.3.9/conf

vim system-config.properties

	kafka.eagle.zk.cluster.alias=cluster1

	cluster1.zk.list=localhost:2181,localhost:2182,localhost:2183

	kafka.eagle.metrics.charts=true # 开启监控趋势图，需要开启Kafka系统的JMX端口，设置该端口在$KAFKA_HOME/bin/kafka-server-start.sh脚本中

	kafka.eagle.sql.fix.error=true # 开启错误日志信息

	# 其余保持默认，数据库使用sqlite，注意路径需要事先创建好或修改成当前目录

	# 数据库也可以更换成MySQL

	kafka.eagle.url=jdbc:sqlite:/usr/local/kafka-eagle-web-1.3.9/db/ke.db

# 注意

# kafka.eagle.zk.cluster.alias的值需要跟下面的这个cluster1.zk.list小数点第一个保持一致，比如都是cluster1，否则获取不到数据

# 添加环境变量

vim /etc/profile.d/kafka_eagle.sh

	#!/bin/bash

	export KE_HOME=/usr/local/kafka-eagle-web-1.3.9

	export PATH=$PATH:$KE_HOME/bin

source /etc/profile.d/kafka_eagle.sh

# 命令相关

bash bin/ke.sh start|stop|status|stats|restart

# 启动

bash bin/ke.sh start

	*******************************************************************

	* Kafka Eagle system monitor port successful...

	*******************************************************************

	[2019-09-20 12:10:32] INFO: Status Code[0]

	[2019-09-20 12:10:32] INFO: [Job done!]

	Welcome to

	    __ __    ___     ____    __ __    ___            ______    ___    ______    __     ______

	   / //_/   /   |   / __/   / //_/   /   |          / ____/   /   |  / ____/   / /    / ____/

	  / ,<     / /| |  / /_    / ,<     / /| |         / __/     / /| | / / __    / /    / __/

	 / /| |   / ___ | / __/   / /| |   / ___ |        / /___    / ___ |/ /_/ /   / /___ / /___

	/_/ |_|  /_/  |_|/_/     /_/ |_|  /_/  |_|       /_____/   /_/  |_|\____/   /_____//_____/   

	Version 1.3.9

	*******************************************************************

	* Kafka Eagle Service has started success.

	* Welcome, Now you can visit 'http://127.0.0.1:8048/ke'

	* Account:admin ,Password:123456

	*******************************************************************

	* <Usage> ke.sh [start|status|stop|restart|stats] </Usage>

	* <Usage> https://www.kafka-eagle.org/ </Usage>

	*******************************************************************

# 浏览器访问,防火墙放行该端口，后期改用Nginx代理

地址：192.168.0.187:8048/ke

账号:admin，密码：123456

# 在kafka eagle平台使用KSQL查询数据

# 左侧导航

# 1.先在Topic-List中查看到Topic Name和Partition Indexes的值

# ID	Topic Name	Partition Indexes	Partition Numbers	Created	Modify	Operate

# 1	canal_manager	[0]	1	2019-09-20 17:27:15	2019-09-20 17:27:15	

# 2. 在Topic-KSQL中输入查询语句

# select * from "canal_manager" where "partition" in (0) limit 1

# 下方会显示查询所用时间和查询后的结果

# 在如下目录的文件中可以查看具体的异常信息，一般都会提示具体的错误

# tail -n 30 kafka-eagle-web-1.3.9/logs/ke_console.out


# 配置文件详细说明

######################################

# 配置多个Kafka集群所对应的Zookeeper

######################################

kafka.eagle.zk.cluster.alias=cluster1,cluster2

cluster1.zk.list=dn1:2181,dn2:2181,dn3:2181

cluster2.zk.list=tdn1:2181,tdn2:2181,tdn3:2181

######################################

# 设置Zookeeper线程数

######################################

kafka.zk.limit.size=25

######################################

# 设置Kafka Eagle浏览器访问端口

######################################

kafka.eagle.webui.port=8048

######################################

# 如果你的offsets存储在Kafka中，这里就配置

# 属性值为kafka，如果是在Zookeeper中，可以

# 注释该属性。一般情况下，Offsets的也和你消

# 费者API有关系，如果你使用的Kafka版本为0.10.x

# 以后的版本，但是，你的消费API使用的是0.8.2.x

# 时的API，此时消费者依然是在Zookeeper中

######################################

cluster1.kafka.eagle.offset.storage=kafka

######################################

# 如果你的集群一个是新版本（0.10.x以上），

# 一个是老版本（0.8或0.9），可以这样设置，

# 如果都是新版本，那么可以将值都设置成kafka

######################################

cluster2.kafka.eagle.offset.storage=zookeeper

######################################

# 是否启动监控图表，默认是不启动的

######################################

kafka.eagle.metrics.charts=false

######################################

# 在使用Kafka SQL查询主题时，如果遇到错误，

# 可以尝试开启这个属性，默认情况下，不开启

######################################

kafka.eagle.sql.fix.error=false

######################################

# 邮件服务器设置，用来告警

######################################

kafka.eagle.mail.enable=false

kafka.eagle.mail.sa=

kafka.eagle.mail.username=

kafka.eagle.mail.password=

kafka.eagle.mail.server.host=

kafka.eagle.mail.server.port=

######################################

# 设置告警用户，多个用户以英文逗号分隔

######################################

kafka.eagle.alert.users=smartloli.org@gmail.com

######################################

# 超级管理员删除主题的Token

######################################

kafka.eagle.topic.token=keadmin

######################################

# 如果启动Kafka SASL协议，开启该属性

######################################

kafka.eagle.sasl.enable=false

kafka.eagle.sasl.protocol=SASL_PLAINTEXT

kafka.eagle.sasl.mechanism=PLAIN

######################################

# Kafka Eagle默认存储在Sqlite中，如果要使用

# MySQL可以替换驱动、用户名、密码、连接地址

######################################

#kafka.eagle.driver=com.mysql.jdbc.Driver

#kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull

#kafka.eagle.username=root

#kafka.eagle.password=123456

kafka.eagle.driver=org.sqlite.JDBC

kafka.eagle.url=jdbc:sqlite:/Users/dengjie/workspace/kafka-egale/db/ke.db

kafka.eagle.username=root

kafka.eagle.password=root

使用kafka-eagle监控Kafka的更多相关文章

  1. Kafka 消息监控 - Kafka Eagle

    1.概述 在开发工作当中,消费 Kafka 集群中的消息时,数据的变动是我们所关心的,当业务并不复杂的前提下,我们可以使用 Kafka 提供的命令工具,配合 Zookeeper 客户端工具,可以很方便 ...

  2. Kafka监控系统Kafka Eagle剖析

    1.概述 最近有同学留言反馈了使用Kafka监控工具Kafka Eagle的一些问题,这里笔者特意整理了这些问题.并且希望通过这篇博客来解答这些同学的在使用Kafka Eagle的时候遇到的一些困惑, ...

  3. KAFKA 监控管理界面 KAFKA EAGLE 安装

    概述 Kafka Eagle监控系统是一款用来监控Kafka集群的工具,目前更新的版本是v1.2.3,支持管理多个Kafka集群.管理Kafka主题(包含查看.删除.创建等).消费者组合消费者实例监控 ...

  4. Kafka Eagle 源码解读

    1.概述 在<Kafka 消息监控 - Kafka Eagle>一文中,简单的介绍了 Kafka Eagle这款监控工具的作用,截图预览,以及使用详情.今天笔者通过其源码来解读实现细节.目 ...

  5. 比Kafka Mangaer更优秀的开源监控工具-Kafka Eagle

    比Kafka Mangaer更优秀的开源监控工具-Kafka Eagle 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在Kafka的监控系统中有很多优秀的开源监控系统.比如Kaf ...

  6. Kafka Eagle安装详情及问题解答

    1.概述 最近有很多同学给笔者留言,说在安装Kafka Eagle的时候,会遇到一些问题,请教如何解决?今天笔者就在这里总结一下安装步骤,和一些安装的注意事项,以及解决方式. 2.内容 在安装Kafk ...

  7. kafka-eagle监控kafka

    最近想做一个kafka监控,本来准备用zabbix来监控的,需要重复造轮子,本来准备用kafka-Manager的,在GitHub上无意发现了kafka-eagle,看了官方介绍准备试一下..... ...

  8. Kafka Eagle 管理平台

    Kafka-Eagle简介 源代码地址:https://github.com/smartloli/kafka-eagle Kafka Eagle是什么 Kafka Eagle是一款用于监控和管理Apa ...

  9. Kafka 集群消息监控系统：Kafka Eagle

    Kafka Eagle 1.概述 在开发工作当中,消费 Kafka 集群中的消息时,数据的变动是我们所关心的,当业务并不复杂的前提下,我们可以使用 Kafka 提供的命令工具,配合 Zookeeper ...

  10. Kafka监控系统Kafka Eagle：支持kerberos认证

    在线文档:https://ke.smartloli.org/ 作者博客:https://www.cnblogs.com/smartloli/p/9371904.html 源码地址:https://gi ...

随机推荐

  1. 在windows下安装lxml 报错error: Unable to find vcvarsall.bat

    刚开始安装 ,我是使用命令pip install lxml直接进行安装,不过出错了 error: Unable to find vcvarsall.bat 解决方案: 1.首先安装wheel,pip ...

  2. Go之GOPATH与工作空间

    来自: GOPATH与工作空间 GOPOATH 设置 go 命令依赖一个重要的环境变量:$GOPATH 在类 Unix 环境下大概这样设置: exprt GOPATH=/home/apple/mygo ...

  3. ci 框架中defined('BASEPATH') OR exit('No direct script access allowed');

    作用: OR 就是前面的是true时,就不走后面了. 加这个是为了防止不是从index.php访问到的控制器

  4. 炉石兄弟 修复图腾师问题 by大神beebee102， 还有阴燃电鳗

    修复图腾师问题   beebee102 修复了先摇图腾再下图腾师的问题,另外加了阴燃电鳗的sim卡.在兄弟策略的模拟程序中测试了没问题,真机没有试过,麻烦吧友测试了回复一下.链接: [有效] http ...

  5. 4.Java JSON使用

    Java 中 JSON 的使用 分类 编程技术 本章节我们将为大家介绍如何在 Java 语言中使用 JSON. 类库选择 Java中并没有内置JSON的解析,因此使用JSON需要借助第三方类库. 下面 ...

  6. Android 美团Robust热更新 使用入门

    Android热更新方案Robust 相信很多人都认识了解过 热修复.热更新.热补丁(对于这个技术也没有特别标准的一种叫法,下面我统一叫热更新),之后的一年里,各种热更新方案如雨后春笋般出现,比较耳熟 ...

  7. nginx详解（代理服务器的解释+nginx 在linux 下的安装+nginx.conf 中的配置解释）

    一.概论 1.什么是代理服务器 代理服务器,客户机在发送请求时,不会直接发送给目的主机,而是先发送给代理服务器,代理服务接受客户机请求之后,再向主机发出,并接收目的主机返回的数据,存放在代理服务器的硬 ...

  8. ios 报错记录

    1. 运行xcode 报错:unterminated conditional directive #ifdef 缺少对应的#endif 在结尾加上就好了 2.iOS添加非(c,c++)文件引发的&qu ...

  9. Spring事务注解分析

    1.使用spring事务注解 2.手写事务注解 1).sql执行器 2).事务注解定义 3).AOP实现事务具体实现(同一个线程中使用同一个连接) 4).应用使用注解前 5).应用使用注解后

  10. CSS 背景色变化 结构化伪类的练习

    CSS3的nth-child() 选择器(兼容性不好),在做表格偶数行变色的时候,我通常在绑定的时候,做一个js判断,来加一个css,从而使表格偶数行和奇数行颜色不一样.这样的兼容性很好. 但是最近在 ...