使用kafka-topic.sh工具可以执行大部分操作   创建/修改/删除/查看集群里的主题。要使用全部功能,需要通过--zookeeper参数提供zookeerper连接字符串

创建主题:

  创建主题需要3个参数: 主题名字   复制系数  分区数量

  格式: kafka-topic.sh --zookeeper <zookeeper connect> --create --topic <string> --replication-factor <integer>  --partitions <integer>

  如果不需要基于机架信息的分配策略,使用参数--disable-rack-aware

  

增加主题分区的数量至16:

  kafka-topic.sh --zookeeper <zookeeper connect> --alter --topic my-topic --partition 16

减少主题分区数量: 会导致消息乱序,只能删除分区数量,重新创建

删除主题:

  配置参数 delete.topic.enable=true

  kafka-topic.sh --zookeeper <zookeeper connect> --delete --topic my-topic

列出集群所有主题

  kafka-topic.sh --zookeeper <zookeeper connect> --list

列出主题详细信息

  列出集群所有主题详细信息

  kafka-topic.sh --zookeeper <zookeeper connect> -describe

  找出所有包含覆盖配置的主题    --topic-with-overrides

  列出所有包含不同步副本的分区  --under-replicated-partitions

    kafka-topic.sh --zookeeper <zookeeper connect> --describe --under-replicated-partitions

  列出所有没有首领的分区  --unavailable-partitions

  

列出新版本的消费者群组

  Kafka-consumer-groups.sh --new-consumer --bootstrap-server <kafka集群主机:port/kafka-cluster>  --list

获取旧版本消费者群组testgroup详细信息

  kafka-consumer-group.sh --zookeeper <zookeeper connect> --describe --group testgroup

  

删除消费者群组

  kafka-consumer-groups.sh --zookeeper <zookeeper connect> --delete --group testgroup

删除消费者群组testgroup中my-topic 主题的偏移量

  kafka-consumer-groups.sh --zookeeper <zookeeper connect> --delete --group testgroup --topic my-topic

导出群组testgroup的偏移量到offsets文件

  kafka-run-class.sh kafka.tools.ExportZkOffsets --zkconnect <zookeeper connect> --group testgroup --output-file offsets

导入偏移量:

  先关闭消费者  

  kafka-run-class.sh kafka.tools.ImportZkOffsets --zkconnect <zookeeper connect> --inpiut-file offsets

更改主题配置的命令格式:

  kafka-configs.sh --zookeeper <zookeeper connect> --alter --entity-type topics --entity-name <topic name > -add-config <key>=<value>[,<key>=<value>...]

  

将主题my-topic 消息保留时间设置为1小时

  kafka-confihs.sh --zookeeper <zookeeper connect>  --alter --entity-type topic --entity-name my-topic -add-config retention.ms=3600000

更改客户端配置命令格式:

  kafka-configs.sh --zookeeper <zookeeper connect> --alter --entity-type clients --entity-name <client ID> -add-config <key>=<value>....

  

列出主题my-topic 所有被覆盖的配置:

  kafka-configs.sh --zookeeper <zookeeper connect> --describe --entity-type topics --entity-name my-topic

删除主题my-topic的retention.ms覆盖配置

  kafka-config.sh --zookeeper <zookeeper connect> --alter --entity-type topics --entity-name my-topic --delete-config retention.ms

在一个包含1主题和8个分区集群里启动首选的副本选举

  kafka-preferred-replica-election.sh  --zookeeper <zookeeper connect>

通过partitions.json 文件里指定分区清单来启动副本的选举

  kafka-prefered-replica-election.sh --zookeeper <zookeeper connect>  --path-to-json-file partitions.json

修改分区副本:

  

为topic.json文件里的主题生成迁移步骤,以便将这些主题迁移至broker0 和 broker1上

  kafka-reassign-partitions.sh --zookeeper <zookeeper connect> --generate --topics-to-move-json-file topics.json --broker-list 0,1

使用reassign.json 来执行建议的分区分配方案:

  kafka-reassign-partitions.sh --zookeeper <zookeeper connect> --execute --reassignment-json-file reassign.json

验证reassign.json文件里指定的分区重分配情况:

  kafka-reassign-partitions.sh --zookeeper <zookeeper connect>  --verify --reassignment-json-file reassign.json

解码日志片段000052368601.log ,显示消息的概要信息

  kafka-run-class.sh kafka.tools.DumpLogSegments --files 000052368601.log

解码日志片段000001.log,显示消息内容

  kafka-run-class.sh kafka.tools.DumpLogSegments --files 000001.log --print-data-log

验证日志片段00001.log索引文件的正确性

  kafka-run-class.sh kafka.tools.DumpLogSegments --files 00001.index,000001.log  --index-sanity-check

    // --verify-index-only 将会检查索引的匹配度

对broker1和broker2上以my-开头的主题副本进行验证

  kafka-replica-verification.sh --broker-list kafka1.com:9092,kafka2.com:9092  --topic-white-list 'my-*'

使用旧版消费者读取单个主题

  kafka-console-consumer.sh --zookeeper <zookeeper connect>  --topic my-topic

向主题my-topic 生成2个消息

  kafka-console-producer.sh --broker-list  kafka1.com:9092,kafka2.com:9092  --topic my-topic

 

Kafka笔记8(管理Kafka)的更多相关文章

  1. Kafka:docker安装Kafka消息队列

    安装之前先看下图 Kafka基础架构及术语  Kafka基本组成 Kafka cluster: Kafka消息队列(存储消息的队列组件) Zookeeper: 注册中心(kafka集群依赖zookee ...

  2. 《Apache kafka实战》读书笔记-管理Kafka集群安全之ACL篇

    <Apache kafka实战>读书笔记-管理Kafka集群安全之ACL篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 想必大家能看到这篇博客的小伙伴,估计你对kaf ...

  3. 《Apache Kafka实战》读书笔记-调优Kafka集群

    <Apache Kafka实战>读书笔记-调优Kafka集群 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.确定调优目标 1>.常见的非功能性要求 一.性能( ...

  4. 《Apache Kafka 实战》读书笔记-认识Apache Kafka

    <Apache Kafka 实战>读书笔记-认识Apache Kafka 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.kafka概要设计 kafka在设计初衷就是 ...

  5. Kafka集群管理工具kafka-manager的安装使用

    一.kafka-manager简介 kafka-manager是目前最受欢迎的kafka集群管理工具,最早由雅虎开源,用户可以在Web界面执行一些简单的集群管理操作.具体支持以下内容: 管理多个集群 ...

  6. Kafka笔记1(初步认识)

    Kafka 被称为“分布式提交日志”或“分布式流平台” 文件系统或数据库提交日志用来提供所有事务的持久记录,通过重放这些日志重建系统状态,同时Kafka数据是按照一定顺序持久化保存的,可以按需读取 K ...

  7. kafka集群管理工具kafka-manager部署安装

    一.kafka-manager 简介 为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager.这个管理工具可以很 ...

  8. Linux Kafka集群管理工具kafka-manager的安装使用

    一.kafka-manager简介 kafka-manager是目前最受欢迎的kafka集群管理工具,最早由雅虎开源,用户可以在Web界面执行一些简单的集群管理操作.具体支持以下内容: 管理多个集群 ...

  9. Kafka笔记整理(一)

    Kafka简介 消息队列(Message Queue) 消息 Message 网络中的两台计算机或者两个通讯设备之间传递的数据.例如说:文本.音乐.视频等内容. 队列 Queue 一种特殊的线性表(数 ...

  10. Kafka笔记整理(三):消费形式验证与性能测试

    Kafka消费形式验证 前面的<Kafka笔记整理(一)>中有提到消费者的消费形式,说明如下: .每个consumer属于一个consumer group,可以指定组id.group.id ...

随机推荐

  1. 酷痞运行于openwrt路由系统

    欢迎你进入酷痞的物联网世界.这里有着自由的空气和自然的气息.接下来我将告诉你如果一步步建立一个自己专属的物联网平台. 酷痞官网地址:http://icoolpy.com   由于openwrt系统复杂 ...

  2. String与StringBuffer

    转载于:http://www.cnblogs.com/springcsc/archive/2009/12/03/1616330.htm  l火之光 StringBuffer类和String一样,也用来 ...

  3. teamviewer连接未就绪的解决(Manjaro Linux)

    放假回家,想设置一下teamviewer,结果一直报错"TeamViewer not ready. Please check your connection" 查了一通,发现这个方 ...

  4. python一个命令开启http服务器

    1.例如想共享文件在   E:python文件 打开cmd cd E: cd python文件 #进入要分享的文件夹 2.执行py脚本文件 python -m http.server 3.访问 本机i ...

  5. DWM1000 巧用Status 快速Debug

    在Debug DWM1000 的时候,可以巧用Status 加快Debug,例如如下代码 if (status_reg & SYS_STATUS_RXFCG) { …… } else { sp ...

  6. __x__(27)0907第四天__ float 浮动

     float 浮动 块元素脱离文档流,水平排列. 浮动元素 会尽量往左上(left),或者右上(right)浮动,直到遇到 块元素 或者 其他浮动元素. 可选值: none;   默认值,不脱离文档流 ...

  7. CentOS裸机环境下安装php-7.3.1

    安装步骤如下 安装必要的软件 获取源码 编译安装 安装过程可能遇到的一些问题 编译参数详解 安装步骤如下 安装必要的软件 yum install -y autoconf automake libtoo ...

  8. Java课程寒假之回答问题:如何将你的兴趣化为可以立足于社会的资本

    在学校的时候干过几次兼职,算是无聊时候的外快吧,有一次是去辅导机构,在考试期间监考学生,前后大概四个小时,最后拿了四十五并且管了一顿饭,不得不说,小学生是真的皮,考试的时候有的爱讲话,有的是写完之后开 ...

  9. 在队列中join()与task_done()的关联性

    1.基础解释: Queue.task_done() 在完成一项工作之后,Queue.task_done()函数向任务已经完成的队列发送一个信号 Queue.join() 实际上意味着等到队列为空,再执 ...

  10. Express全系列教程之(六):cookie的使用

    一.关于Cookie 在我们关闭一个登录过的网址并重新打开它后,我们的登录信息依然没有丢失:当我们浏览了商品后历史记录里出现了我们点击过的商品:当我们推回到首页后,推荐商品也为我们选出了相似物品:事实 ...