使用 kafkat 在线扩缩容 kafka replicas
本文档应用环境为 kafka-0.8.2.0, 其余版本请先行测试
场景
线上很多 kafka 的 topic 的副本数为1,这样的设置丧失了 kafka 高可用的特性,所以我们需要把 topic 的副本数至少设置为2(当前3台 kafka)
我们使用 kafkat 这个工具,这个工具是 ruby 写的,所以我们先安装 ruby 环境
参考 https://ruby-china.org/wiki/rvm-guide
这时候你应该已经由了 gem 命令
继续参考https://github.com/airbnb/kafkat 把 kafkat 装上, 并配置好你的 kafka 环境参数到 ~/.kafkatcfg
实操
我们修改 topic 的 replicas 为2
[root @ 001 kafka]# kafkat partitions IM_APP_BINSPECT_MSG_TOPIC Topic Partition Leader Replicas ISRs IM_APP_BINSPECT_MSG_TOPIC 0 2 [ 2 ] [ 2 ] IM_APP_BINSPECT_MSG_TOPIC 1 3 [ 3 ] [ 3 ] IM_APP_BINSPECT_MSG_TOPIC 2 1 [ 1 ] [ 1 ] IM_APP_BINSPECT_MSG_TOPIC 3 2 [ 2 ] [ 2 ] IM_APP_BINSPECT_MSG_TOPIC 4 3 [ 3 ] [ 3 ] IM_APP_BINSPECT_MSG_TOPIC 5 1 [ 1 ] [ 1 ] IM_APP_BINSPECT_MSG_TOPIC 6 2 [ 2 ] [ 2 ] IM_APP_BINSPECT_MSG_TOPIC 7 3 [ 3 ] [ 3 ] IM_APP_BINSPECT_MSG_TOPIC 8 1 [ 1 ] [ 1 ] IM_APP_BINSPECT_MSG_TOPIC 9 2 [ 2 ] [ 2 ] IM_APP_BINSPECT_MSG_TOPIC 10 3 [ 3 ] [ 3 ] IM_APP_BINSPECT_MSG_TOPIC 11 1 [ 1 ] [ 1 ] IM_APP_BINSPECT_MSG_TOPIC 12 2 [ 2 ] [ 2 ] IM_APP_BINSPECT_MSG_TOPIC 13 3 [ 3 ] [ 3 ] IM_APP_BINSPECT_MSG_TOPIC 14 1 [ 1 ] [ 1 ] IM_APP_BINSPECT_MSG_TOPIC 15 2 [ 2 ] [ 2 ] IM_APP_BINSPECT_MSG_TOPIC 16 3 [ 3 ] [ 3 ] IM_APP_BINSPECT_MSG_TOPIC 17 1 [ 1 ] [ 1 ] IM_APP_BINSPECT_MSG_TOPIC 18 2 [ 2 ] [ 2 ] IM_APP_BINSPECT_MSG_TOPIC 19 3 [ 3 ] [ 3 ] [root @ 001 kafka]# kafkat set-replication-factor IM_APP_BINSPECT_MSG_TOPIC --newrf 2 --brokers 1 , 2 , 3 This operation executes the following assignments: Topic Partition Replicas IM_APP_BINSPECT_MSG_TOPIC 0 [ 2 , 1 ] IM_APP_BINSPECT_MSG_TOPIC 1 [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 2 [ 1 , 3 ] IM_APP_BINSPECT_MSG_TOPIC 3 [ 2 , 1 ] IM_APP_BINSPECT_MSG_TOPIC 4 [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 5 [ 1 , 3 ] IM_APP_BINSPECT_MSG_TOPIC 6 [ 2 , 1 ] IM_APP_BINSPECT_MSG_TOPIC 7 [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 8 [ 1 , 3 ] IM_APP_BINSPECT_MSG_TOPIC 9 [ 2 , 1 ] IM_APP_BINSPECT_MSG_TOPIC 10 [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 11 [ 1 , 3 ] IM_APP_BINSPECT_MSG_TOPIC 12 [ 2 , 1 ] IM_APP_BINSPECT_MSG_TOPIC 13 [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 14 [ 1 , 3 ] IM_APP_BINSPECT_MSG_TOPIC 15 [ 2 , 1 ] IM_APP_BINSPECT_MSG_TOPIC 16 [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 17 [ 1 , 3 ] IM_APP_BINSPECT_MSG_TOPIC 18 [ 2 , 1 ] IM_APP_BINSPECT_MSG_TOPIC 19 [ 3 , 2 ] Proceed (y/n)? y Beginning. Started. [root @ 001 kafka]# kafkat partitions IM_APP_BINSPECT_MSG_TOPIC Topic Partition Leader Replicas ISRs IM_APP_BINSPECT_MSG_TOPIC 0 2 [ 2 , 1 ] [ 2 ] IM_APP_BINSPECT_MSG_TOPIC 1 3 [ 3 , 2 ] [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 2 1 [ 1 , 3 ] [ 1 ] IM_APP_BINSPECT_MSG_TOPIC 3 2 [ 2 , 1 ] [ 2 ] IM_APP_BINSPECT_MSG_TOPIC 4 3 [ 3 , 2 ] [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 5 1 [ 1 , 3 ] [ 1 ] IM_APP_BINSPECT_MSG_TOPIC 6 2 [ 2 , 1 ] [ 2 ] IM_APP_BINSPECT_MSG_TOPIC 7 3 [ 3 , 2 ] [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 8 1 [ 1 , 3 ] [ 1 ] IM_APP_BINSPECT_MSG_TOPIC 9 2 [ 2 , 1 ] [ 2 ] IM_APP_BINSPECT_MSG_TOPIC 10 3 [ 3 , 2 ] [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 11 1 [ 1 , 3 ] [ 1 ] IM_APP_BINSPECT_MSG_TOPIC 12 2 [ 2 , 1 ] [ 2 ] IM_APP_BINSPECT_MSG_TOPIC 13 3 [ 3 , 2 ] [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 14 1 [ 1 , 3 ] [ 1 ] IM_APP_BINSPECT_MSG_TOPIC 15 2 [ 2 , 1 ] [ 2 ] IM_APP_BINSPECT_MSG_TOPIC 16 3 [ 3 , 2 ] [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 17 1 [ 1 , 3 ] [ 1 ] IM_APP_BINSPECT_MSG_TOPIC 18 2 [ 2 , 1 ] [ 2 ] IM_APP_BINSPECT_MSG_TOPIC 19 3 [ 3 , 2 ] [ 3 ] |
解释
上面一共执行了3个命令
- kafkat partitions IM_APP_BINSPECT_MSG_TOPIC 查看 topic 的分区情况
- kafkat set-replication-factor IM_APP_BINSPECT_MSG_TOPIC --newrf 2 --brokers 1,2,3 重新设置副本数为2 --newrf 2 , 你有几个 broker就在--brokers 后面指定
- kafkat partitions IM_APP_BINSPECT_MSG_TOPIC 检查是否生效
根据 topic 数据量最后完成的时间也不同(大概几分钟)
这是最后的完成情况
[root @
001 kafka]# kafkat partitions IM_APP_BINSPECT_MSG_TOPIC Topic Partition Leader Replicas ISRs IM_APP_BINSPECT_MSG_TOPIC 0 2 [ 2 , 1 ] [ 2 , 1 ] IM_APP_BINSPECT_MSG_TOPIC 1 3 [ 3 , 2 ] [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 2 1 [ 1 , 3 ] [ 1 , 3 ] IM_APP_BINSPECT_MSG_TOPIC 3 2 [ 2 , 1 ] [ 2 , 1 ] IM_APP_BINSPECT_MSG_TOPIC 4 3 [ 3 , 2 ] [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 5 1 [ 1 , 3 ] [ 1 , 3 ] IM_APP_BINSPECT_MSG_TOPIC 6 2 [ 2 , 1 ] [ 2 , 1 ] IM_APP_BINSPECT_MSG_TOPIC 7 3 [ 3 , 2 ] [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 8 1 [ 1 , 3 ] [ 1 , 3 ] IM_APP_BINSPECT_MSG_TOPIC 9 2 [ 2 , 1 ] [ 2 , 1 ] IM_APP_BINSPECT_MSG_TOPIC 10 3 [ 3 , 2 ] [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 11 1 [ 1 , 3 ] [ 1 , 3 ] IM_APP_BINSPECT_MSG_TOPIC 12 2 [ 2 , 1 ] [ 2 , 1 ] IM_APP_BINSPECT_MSG_TOPIC 13 3 [ 3 , 2 ] [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 14 1 [ 1 , 3 ] [ 1 , 3 ] IM_APP_BINSPECT_MSG_TOPIC 15 2 [ 2 , 1 ] [ 2 , 1 ] IM_APP_BINSPECT_MSG_TOPIC 16 3 [ 3 , 2 ] [ 3 , 2 ] IM_APP_BINSPECT_MSG_TOPIC 17 1 [ 1 , 3 ] [ 1 , 3 ] IM_APP_BINSPECT_MSG_TOPIC 18 2 [ 2 , 1 ] [ 2 , 1 ] IM_APP_BINSPECT_MSG_TOPIC 19 3 [ 3 , 2 ] [ 3 , 2 ] |
使用 kafkat 在线扩缩容 kafka replicas的更多相关文章
- 构建Docker平台【第四篇】创建服务及扩缩容等操作
第一步:创建服务 1. 配置 nginx 的 yaml 文件 apiVersion: extensions/v1beta1 kind: Deployment metadata: name: my-ng ...
- 通过Dapr实现一个简单的基于.net的微服务电商系统(十一)——一步一步教你如何撸Dapr之自动扩/缩容
上一篇我们讲到了dapr提供的bindings,通过绑定可以让我们的程序轻装上阵,在极端情况下几乎不需要集成任何sdk,仅需要通过httpclient+text.json即可完成对外部组件的调用,这样 ...
- Docker Swarm(七)Scale 扩(缩)容服务
扩(缩)容服务 扩容服务 Service还提供了复制(类似kubernetes里的副本)功能.可以通过 docker service scale 命令来设置服务中容器的副本数: docker serv ...
- 【kubevirt】VirtualMachineInstanceReplicaSet(vmis)-扩缩容-弹性伸缩
@ 目录 概述/理解 使用场景 创建vmis 扩缩容 弹性伸缩 方法1 方法2 概述/理解 VirtualMachineInstanceReplicaSet(vmis)确保指定数量的 VirtualM ...
- Airbnb的动态kubernetes集群扩缩容
Airbnb的动态kubernetes集群扩缩容 本文介绍了Airbnb的集群扩缩容的演化历史,以及当前是如何通过Cluster Autoscaler 实现自定义扩展器的.最重要的经验就是Airbnb ...
- k8s手动扩缩容
1. 查询deploy副本数,ready数表示副本数 kubectl get deploy 2.通过命令直接扩容或者缩容,--replicas=1表示把my-dep缩容到副本数1,--replicas ...
- Kubernetes 监控:Prometheus Adpater =》自定义指标扩缩容
使用 Kubernetes 进行容器编排的主要优点之一是,它可以非常轻松地对我们的应用程序进行水平扩展.Pod 水平自动缩放(HPA)可以根据 CPU 和内存使用量来扩展应用,前面讲解的 HPA 章节 ...
- 三十三、HPA实现自动扩缩容
通过HPA实现业务应用的动态扩缩容 HPA控制器介绍 当系统资源过高的时候,我们可以使用如下命令来实现 Pod 的扩缩容功能 $ kubectl -n luffy scale deployment m ...
- Knative 基本功能深入剖析:Knative Serving 自动扩缩容 Autoscaler
Knative Serving 默认情况下,提供了开箱即用的快速.基于请求的自动扩缩容功能 - Knative Pod Autoscaler(KPA).下面带你体验如何在 Knative 中玩转 Au ...
随机推荐
- 求和(NOIP2015)
题目链接:求和 这道题不是很简单,因为数据并不是很小,常规计算会t. 这里引用chenleyu的解答(如果想要cgg原创解答,--改天吧): 这题相对是比较难的,首先我们要解读题目的意思 一条狭长的纸 ...
- 使用EventLog Analyzer进行VMware日志管理
- 2019.01.23 ural1519 Formula 1(轮廓线dp)
传送门 轮廓线dpdpdp模板题. 题意简述:给一个放有障碍的网格图,问有多少种方法能使所有非障碍格子都在同一条哈密顿回路上面. 考虑用括号序列的写法来状压这个轮廓线. 用000表示没有插头,111表 ...
- asp.net core跨平台开发从入门到实战文摘
第1章 .NET Core 第2章 dotnet命令 第3章 VS Code安装及介绍 第4章 VS2015开发.NET Core 第5章 ASP.NET Core 第6章 EF Core 第7章 A ...
- mysql学习之路_乱码问题
中文数据问题: 中文数据问题本质就说字符集问题, 计算机只识别二进制,人类识别符号:需要友谊个二进制与字符对应关系(字符集). 报错:服务器没有识别对应的四个字节. 服务器认为的数据是utf—8,一个 ...
- UVaLive 3490 Generator (KMP + DP + Gauss)
题意:随机字母组成一个串,有一个目标串,当这个由随机字母组成的串出现目标串就停止,求这个随机字母组成串的期望长度. 析:由于只要包含目标串就可以停止,所以可以先把这个串进行处理,也就是KMP,然后dp ...
- 变动事件_DOM2级的变动事件(mutation)
DOM2级定义了如下变动事件: DOMSubtreeModified:在DOM结构中发生任何变化时触发.这个事件在其他任何事件触发后都会触发. DOMNodeInserted:在一个节点作为子节点被插 ...
- linux内核链表使用
原文链接:http://blog.csdn.net/xnwyd/article/details/7359373 Linux内核链表的核心思想是:在用户自定义的结构A中声明list_head类型的成员p ...
- WordPaster-UEditor1.x整合教程
版权所有 2009-2017 荆门泽优软件有限公司 保留所有权利 官方网站:http://www.ncmem.com/ 产品首页:http://www.ncmem.com/webplug/wordpa ...
- Web模板引擎—Mustache
Web模板引擎——Mustache 2012年9月12日 BY BELL·12 COMMENTS Web 模板引擎是为了使用户界面与业务数据(内容)分离而产生的,它可以生成特定格式的文档,通常是标准的 ...