Kafka笔记8(管理Kafka)
使用kafka-topic.sh工具可以执行大部分操作 创建/修改/删除/查看集群里的主题。要使用全部功能,需要通过--zookeeper参数提供zookeerper连接字符串
创建主题:
创建主题需要3个参数: 主题名字 复制系数 分区数量
格式: kafka-topic.sh --zookeeper <zookeeper connect> --create --topic <string> --replication-factor <integer> --partitions <integer>
如果不需要基于机架信息的分配策略,使用参数--disable-rack-aware
增加主题分区的数量至16:
kafka-topic.sh --zookeeper <zookeeper connect> --alter --topic my-topic --partition 16
减少主题分区数量: 会导致消息乱序,只能删除分区数量,重新创建
删除主题:
配置参数 delete.topic.enable=true
kafka-topic.sh --zookeeper <zookeeper connect> --delete --topic my-topic
列出集群所有主题
kafka-topic.sh --zookeeper <zookeeper connect> --list
列出主题详细信息
列出集群所有主题详细信息
kafka-topic.sh --zookeeper <zookeeper connect> -describe
找出所有包含覆盖配置的主题 --topic-with-overrides
列出所有包含不同步副本的分区 --under-replicated-partitions
kafka-topic.sh --zookeeper <zookeeper connect> --describe --under-replicated-partitions
列出所有没有首领的分区 --unavailable-partitions
列出新版本的消费者群组
Kafka-consumer-groups.sh --new-consumer --bootstrap-server <kafka集群主机:port/kafka-cluster> --list
获取旧版本消费者群组testgroup详细信息
kafka-consumer-group.sh --zookeeper <zookeeper connect> --describe --group testgroup
删除消费者群组
kafka-consumer-groups.sh --zookeeper <zookeeper connect> --delete --group testgroup
删除消费者群组testgroup中my-topic 主题的偏移量
kafka-consumer-groups.sh --zookeeper <zookeeper connect> --delete --group testgroup --topic my-topic
导出群组testgroup的偏移量到offsets文件
kafka-run-class.sh kafka.tools.ExportZkOffsets --zkconnect <zookeeper connect> --group testgroup --output-file offsets
导入偏移量:
先关闭消费者
kafka-run-class.sh kafka.tools.ImportZkOffsets --zkconnect <zookeeper connect> --inpiut-file offsets
更改主题配置的命令格式:
kafka-configs.sh --zookeeper <zookeeper connect> --alter --entity-type topics --entity-name <topic name > -add-config <key>=<value>[,<key>=<value>...]
将主题my-topic 消息保留时间设置为1小时
kafka-confihs.sh --zookeeper <zookeeper connect> --alter --entity-type topic --entity-name my-topic -add-config retention.ms=3600000
更改客户端配置命令格式:
kafka-configs.sh --zookeeper <zookeeper connect> --alter --entity-type clients --entity-name <client ID> -add-config <key>=<value>....
列出主题my-topic 所有被覆盖的配置:
kafka-configs.sh --zookeeper <zookeeper connect> --describe --entity-type topics --entity-name my-topic
删除主题my-topic的retention.ms覆盖配置
kafka-config.sh --zookeeper <zookeeper connect> --alter --entity-type topics --entity-name my-topic --delete-config retention.ms
在一个包含1主题和8个分区集群里启动首选的副本选举
kafka-preferred-replica-election.sh --zookeeper <zookeeper connect>
通过partitions.json 文件里指定分区清单来启动副本的选举
kafka-prefered-replica-election.sh --zookeeper <zookeeper connect> --path-to-json-file partitions.json
修改分区副本:
为topic.json文件里的主题生成迁移步骤,以便将这些主题迁移至broker0 和 broker1上
kafka-reassign-partitions.sh --zookeeper <zookeeper connect> --generate --topics-to-move-json-file topics.json --broker-list 0,1
使用reassign.json 来执行建议的分区分配方案:
kafka-reassign-partitions.sh --zookeeper <zookeeper connect> --execute --reassignment-json-file reassign.json
验证reassign.json文件里指定的分区重分配情况:
kafka-reassign-partitions.sh --zookeeper <zookeeper connect> --verify --reassignment-json-file reassign.json
解码日志片段000052368601.log ,显示消息的概要信息
kafka-run-class.sh kafka.tools.DumpLogSegments --files 000052368601.log
解码日志片段000001.log,显示消息内容
kafka-run-class.sh kafka.tools.DumpLogSegments --files 000001.log --print-data-log
验证日志片段00001.log索引文件的正确性
kafka-run-class.sh kafka.tools.DumpLogSegments --files 00001.index,000001.log --index-sanity-check
// --verify-index-only 将会检查索引的匹配度
对broker1和broker2上以my-开头的主题副本进行验证
kafka-replica-verification.sh --broker-list kafka1.com:9092,kafka2.com:9092 --topic-white-list 'my-*'
使用旧版消费者读取单个主题
kafka-console-consumer.sh --zookeeper <zookeeper connect> --topic my-topic
向主题my-topic 生成2个消息
kafka-console-producer.sh --broker-list kafka1.com:9092,kafka2.com:9092 --topic my-topic
Kafka笔记8(管理Kafka)的更多相关文章
- Kafka:docker安装Kafka消息队列
安装之前先看下图 Kafka基础架构及术语 Kafka基本组成 Kafka cluster: Kafka消息队列(存储消息的队列组件) Zookeeper: 注册中心(kafka集群依赖zookee ...
- 《Apache kafka实战》读书笔记-管理Kafka集群安全之ACL篇
<Apache kafka实战>读书笔记-管理Kafka集群安全之ACL篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 想必大家能看到这篇博客的小伙伴,估计你对kaf ...
- 《Apache Kafka实战》读书笔记-调优Kafka集群
<Apache Kafka实战>读书笔记-调优Kafka集群 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.确定调优目标 1>.常见的非功能性要求 一.性能( ...
- 《Apache Kafka 实战》读书笔记-认识Apache Kafka
<Apache Kafka 实战>读书笔记-认识Apache Kafka 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.kafka概要设计 kafka在设计初衷就是 ...
- Kafka集群管理工具kafka-manager的安装使用
一.kafka-manager简介 kafka-manager是目前最受欢迎的kafka集群管理工具,最早由雅虎开源,用户可以在Web界面执行一些简单的集群管理操作.具体支持以下内容: 管理多个集群 ...
- Kafka笔记1(初步认识)
Kafka 被称为“分布式提交日志”或“分布式流平台” 文件系统或数据库提交日志用来提供所有事务的持久记录,通过重放这些日志重建系统状态,同时Kafka数据是按照一定顺序持久化保存的,可以按需读取 K ...
- kafka集群管理工具kafka-manager部署安装
一.kafka-manager 简介 为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager.这个管理工具可以很 ...
- Linux Kafka集群管理工具kafka-manager的安装使用
一.kafka-manager简介 kafka-manager是目前最受欢迎的kafka集群管理工具,最早由雅虎开源,用户可以在Web界面执行一些简单的集群管理操作.具体支持以下内容: 管理多个集群 ...
- Kafka笔记整理(一)
Kafka简介 消息队列(Message Queue) 消息 Message 网络中的两台计算机或者两个通讯设备之间传递的数据.例如说:文本.音乐.视频等内容. 队列 Queue 一种特殊的线性表(数 ...
- Kafka笔记整理(三):消费形式验证与性能测试
Kafka消费形式验证 前面的<Kafka笔记整理(一)>中有提到消费者的消费形式,说明如下: .每个consumer属于一个consumer group,可以指定组id.group.id ...
随机推荐
- pyspider和pyquery总结
1.参考 pyspider作者官网: pyspider 爬虫教程(一):HTML 和 CSS 选择器 pyspider 爬虫教程(二):AJAX 和 HTTP pyspider 爬虫教程(三):使用 ...
- .net core 2.x - 日志 - to elasiticsearch
记录日志到elasticsearch(es),下面简写es,然后我们可以通过kibana可视化的观察日志信息以及统计分析等. 1.起源 年中旬时候,公司有个需求是需要分析用户的地址,需要先分词处理然后 ...
- Python_paramiko模块
paramiko模块安装:pip3 install paramiko paramiko模块(模拟SSH),是基于SSH(网络安全协议)用于连接远程服务器并执行相关操作. ssh: 基于口令的安全验证 ...
- zabbix4.0构建实录
[Nginx] #wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo [root@centos ...
- 蓝桥杯 倍数问题(dfs,枚举组合数)
标题:倍数问题 [题目描述]众所周知,小葱同学擅长计算,尤其擅长计算一个数是否是另外一个数的倍数.但小葱只擅长两个数的情况,当有很多个数之后就会比较苦恼.现在小葱给了你 n 个数,希望你从这 n 个数 ...
- 一天带你入门到放弃vue.js(三)
自定义指令 在上面学习了自定义组件接下来看一下自定义指令 自己新建的标签赋予特殊功能的是组件,而指定是在标签上使用类似于属性,以v-name开头,v-on,v-if...是系统指令! v-是表示这是v ...
- Tomcat 本地运行正常,服务器部署后乱码问题
Tomcat 在本地运行项目没啥问题,可是部署到服务器后就会发现有乱码的问题,这问题还是一半一半的,有些有,有些没有,这不是接收数据的时候会出现的乱码,是后台管理的页面中文乱码,我也是醉了, 把解决方 ...
- 【整理】Java 8新特性总结
闲语: 相比于今年三月份才发布的Java 10 ,发布已久的Java 8 已经算是老版本了(传闻Java 11将于9月25日发布....).然而很多报道表明:Java 9 和JJava10不是 LTS ...
- python学习中遇到的问题
问题1: ‘unicodeescape’ codec can’t decode bytes in position XXX: trun错误解决方案 http://blog.csdn.net/u0112 ...
- srand rand
#include <stdlib.h> srand( (time(0)); rand()%100;