假如Kafka集群中一个broker宕机无法恢复，应该如何处理？

【假如Kafka集群中一个broker宕机无法恢复，应该如何处理？】的更多相关文章

假如Kafka集群中一个broker宕机无法恢复，应该如何处理？

假如Kafka集群中一个broker宕机无法恢复, 应该如何处理? 今天面试时遇到这个问题, 网上资料说添加新的broker, 是不会自动同步旧数据的. 笨办法环境介绍三个broker的集群, zk,kafka装在一起 | broker | IP | broker.id | |---------|---------------|-----------| | broker1 | 172.18.12.211 | 211 | | broker2 | 172.18.12.212 | 212 | |…

另类--kafka集群中jmx端口设置

# 监控kafka集群 # 有一个问题,需要在kafka-server-start.sh文件中配置端口,有如下三种办法 # 第一种:复制并修改kafka目录,比如kafka-1,kafka-2,kafka-3,然后再每个目录下修改kafka-server-start.sh文件 # 第二种:在启动脚本start.sh中添加指定端口 # 第三种:多复制几个kafka-server-start.sh文件,然后进行修改,最后在start.sh中修改一下 # 以下三种方法任选其一即可 # 第一种方式办法,…

Kafka集群中 topic数据的分区迁移到其他broker

前言 kafka集群扩容后,新的broker上面不会数据进入这些节点,也就是说,这些节点是空闲的:它只有在创建新的topic时才会参与工作.除非将已有的partition迁移到新的服务器上面:所以需要将一些topic的分区迁移到新的broker上.另外一种情况就是集群减少broker节点,对原有的topic信息进行迁移,重新分配broker节点. 简单案例本次案例将原本存在于两个borker节点(86,87)上的topic:test01(两副本),转移到87,88两个broker上(重新分配)…

kafka集群中常见错误的解决方法：kafka.common.KafkaException: Should not set log end offset on partition

问题描述:kafka单台机器做集群操作是没有问题的,如果分布多台机器并且partitions或者备份的个数大于1都会报kafka.common.KafkaException: Should not set log end offset on partition 这个错误,如果使用kafka默认的日志等级,过不了几分钟错误日志就会把磁盘刷满,导致服务器down掉. 这个问题困扰了我几天,怎么搞都不行,开始以为是版本问题,升级到最新版本问题还是存在,后来在官方FQA中找到了一段描述,原文如下: Wh…

kafka 集群--3个broker 3个zookeeper创建实战

准备工作: 1. 准备3台机器,IP地址分别为:192.168.0.10,192.168.0.11,192.168.0.12 2. 下载kafka稳定版本,我的版本为:kafka_2.9.2-0.8.1.1.tgz 3. 分别解压放入到想安装的目录下,我的目录为:/home/www 解压命令为: tar -xzf kafka_2.9.2-0.8.1.1.tgz 搭建zookeeper集群 1. 进入解压后的目录/home/www/kafka_2.9.2-0.8.1.1 2. 进入config目录…