[root@es03 ~]# cd /usr/hdp/2.6.4.0-/kafka/bin
[root@es03 kafka]# cd bi
-bash: cd: bi: No such file or directory
[root@es03 kafka]# cd bin
[root@es03 bin]# ./kafka-topics.sh --describe --zookeeper 192.168.50.101: --topic XcyEntity
Topic:testXcyTopic PartitionCount: ReplicationFactor: Configs:Topic:testXcyTopic PartitionCount:2ReplicationFactor: Configs:
Topic: testXcyTopic Partition: Leader: Replicas: Isr:
Topic: testXcyTopic Partition: Leader: Replicas: Isr:
[root@es03 bin]# ./kafka-reassign-partitions.sh --zookeeper 192.168.50.101: --topics-to-move-json-file /root/topics-to-move.json --broker-list "1003,1004" --generate
Current partition replica assignment {"version":,"partitions":[{"topic":"testXcyTopic","partition":,"replicas":[]},{"topic":"testXcyTopic","partition":,"replicas":[]}]}
Proposed partition reassignment configuration {"version":,"partitions":[{"topic":"testXcyTopic","partition":,"replicas":[]},{"topic":"testXcyTopic","partition":,"replicas":[]}]}
[root@es03 bin]# vi /root/reassignment-node.json
{"version":,"partitions":[{"topic":"testXcyTopic","partition":,"replicas":[]},{"topic":"testXcyTopic","partition":,"replicas":[]}]}
~ [root@es03 bin]# ./kafka-reassign-partitions.sh --zookeeper 192.168.50.101: --reassignment-json-file /root/reassignment-node.json --execute
Current partition replica assignment {"version":,"partitions":[{"topic":"testXcyTopic","partition":,"replicas":[]},{"topic":"testXcyTopic","partition":,"replicas":[]}]} Save this to use as the --reassignment-json-file option during rollback
Successfully started reassignment of partitions.
[root@es03 bin]# ./kafka-reassign-partitions.sh --zookeeper 192.168.50.101: --reassignment-json-file /root/reassignment-node.json --verify
Status of partition reassignment:
Reassignment of partition [testXcyTopic,] completed successfully
Reassignment of partition [testXcyTopic,] completed successfully
[root@es03 bin]# ./kafka-topics.sh --describe --zookeeper 192.168.50.101: --topic XcyEntity
Topic:testXcyTopic PartitionCount: ReplicationFactor: Configs:
Topic: testXcyTopic Partition: Leader: Replicas: Isr:
Topic: testXcyTopic Partition: Leader: Replicas: Isr:
[root@es03 bin]# timed out waiting for input: auto-logout

kafka集群下线broker节点实践方法(broker topic 迁移)的更多相关文章

  1. kafka集群在消息消费出现无法找到topic分区的处理解决

    最近几天在做spark数据同步过程中,中间通过kafka集群处理消息,每次同步到一半就会出现同步不了 查看日志如下: 最开始看到这个问题很懵逼,完全找不到解决问题的切入口,期间也询问了架构师-因为这个 ...

  2. Kafka集群中 topic数据的分区 迁移到其他broker

    前言 kafka集群扩容后,新的broker上面不会数据进入这些节点,也就是说,这些节点是空闲的:它只有在创建新的topic时才会参与工作.除非将已有的partition迁移到新的服务器上面:所以需要 ...

  3. Kafka【第一篇】Kafka集群搭建

    Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户 ...

  4. 【转】kafka集群搭建

    转:http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否 ...

  5. kafka集群部署文档(转载)

    原文链接:http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候 ...

  6. zookeeper与Kafka集群搭建及python代码测试

    Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户 ...

  7. (三)kafka集群扩容后的topic分区迁移

    kafka集群扩容后的topic分区迁移 kafka集群扩容后,新的broker上面不会数据进入这些节点,也就是说,这些节点是空闲的:它只有在创建新的topic时才会参与工作.除非将已有的partit ...

  8. Kafka集群模式部署

    环境:kafka 0.8.1.1 基本概念 Kafka维护按类区分的消息,称为主题(topic) 生产者(producer)向kafka的主题发布消息 消费者(consumer)向主题注册,并且接收发 ...

  9. 一脸懵逼学习KafKa集群的安装搭建--(一种高吞吐量的分布式发布订阅消息系统)

    kafka的前言知识: :Kafka是什么? 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算.kafka是一个生产-消费模型. Producer:生产者,只负责数 ...

随机推荐

  1. python读写Excel文件--使用xlrd模块读取,xlwt模块写入

    一.安装xlrd模块和xlwt模块 1. 下载xlrd模块和xlwt模块 到python官网http://pypi.python.org/pypi/xlrd下载模块.下载的文件例如:xlrd-0.9. ...

  2. NodeJS 加入windows7服务 开机运行 nssm

    from:http://blog.sina.com.cn/s/blog_5ef5f2630101aql8.html 首先需要到http://nssm.cc/download/?page=downloa ...

  3. HTML系列(1)简介

        开始整理html的知识.     (1)HTML HTML 是用来描述网页的一种语言. 1.HTML指的是超文本标记语言: HyperText Markup Language 2.HTML不是 ...

  4. python cookboo 文件与IO 函数

    写出文本数据 g = open('test.txt', 'rt', newline='',encoding = 'utf-8', errors='replace') t是windows平台特有的所谓t ...

  5. Linux Shell基础 通配符

    通配符 在 Bash 中,如果需要模糊匹配文件名或目录名,就要用到通配符.下面为常用的通配符. 表 1 通配符 通配符 作 用 ? 匹配一个任意字符 * 匹配 0 个或任意多个任意字符,也就是可以匹配 ...

  6. Shell编程之while循环和until循环

    一.当型和直到型循环 1.while循环语句 while < 条件表达式 > do 指令... done while循环执行流程对应的逻辑图 2.until循环语句 until < ...

  7. Linux 邮件服务搭建

    Linux 邮件服务搭建 邮件服务针对,在大型企业使用的比较多,一般小型企业都会买一些邮件服务,或者使用一些免费的邮件服务,达到我们使用的需求,并且不需要自己维护,下面我就来简单安装一下两个邮箱的案例 ...

  8. Efficient Vector Representation for Documents through Corruption-by Minmin Chen阅读

    关键词: 词向量.文档向量.文档表示 地址:https://openreview.net/forum?id=B1Igu2ogg&noteId=B1Igu2ogg 首先,论文解决的是Word2V ...

  9. HttpComponents之httpclient

    HttpComponents源码目录:http://www.boyunjian.com/javasrc/org.apache.httpcomponents/httpclient/4.3.4/_/ pa ...

  10. MapReduce-二进制输入

    Hadoop的MapReduce不只是可以处理文本信息,它还可以处理二进制格式的数据1. 关于SequenceFileInputFormat类Hadoop的顺序文件格式存储二进制的键/值对的序列.由于 ...