前言:删除kafka topic及其数据,严格来说并不是很难的操作.但是,往往给kafka 使用者带来诸多问题.项目组之前接触过多个开发者,发现都会偶然出现无法彻底删除kafka的情况.本文总结多个删除kafka topic的应用场景,总结一套删除kafka topic的标准操作方法. step1:如果需要被删除topic 此时正在被程序 produce和consume,则这些生产和消费程序需要停止.因为如果有程序正在生产或者消费该topic,则该topic的offset信息一致会在broker…

原 kafka 删除topic清空数据 2018年11月20日 18:17:50 Ming! 阅读数:1391   版权声明:版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq_39657597/article/details/84307541 一般情况下,是不会删除数据的.到达一定时间后,kafka会自动删除.如果一定要删除可以删除topic在重建topic了 No. 1: 如果需要被删除topic 此时正在被程序 produce和consu…

一.概述 生产环境中,有一个topic的数据量非常大.这些数据不是非常重要,需要定期清理. 要求:默认保持24小时,某些topic 需要保留2小时或者6小时 二.清除方式 主要有3个: 1. 基于时间 2. 基于日志大小 3. 基于日志起始偏移量 详情,请参考链接: https://blog.csdn.net/u013256816/article/details/80418297 接下来,主要介绍基于时间的清除! kafka版本为:  2.11-1.1.0 zk版本为:  3.4.13 三.ka…

1.删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 2.Kafka 删除topic的命令是: ./bin/kafka-topics  --delete --zookeeper [zookeeper server]  --topic [topic name] 如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么…

我在本地做kafka的producer调试,每隔一段时间后,所使用的topic管道就会堆积数据,而且我这边使用的是  kafka   bin 下的consumer命令单独消费的,每次都是  --from-beginning,,启动后有一堆数据,感觉麻烦,,,所幸抽出点时间来,,看看怎么干掉他   下边来看俩种常见的方法:见下文! ------------------------------------------------------------------------------------…

修改分区个数: ./kafka-topics./kafka/<id_of_kafka> --alter --partitions 10 --topic test_topic 上面命令将test_topic对应的分区数目调整为10个,127.0.0.1是zookeeper的地址,2181是zookeeper端口. 删除topic ./kafka-topics./kafka/<id_of_kafka> --delete --topic test_topic 上面命令将主题test_to…

一.配置 server.properties 设置 delete.topic.enable=true 如果没有设置 delete.topic.enable=true,则调用kafka 的delete命令无法真正将topic删除,而是显示(marked for deletion) 二.停止消费 如果需要被删除topic 此时正在被程序 produce和consume,则这些生产和消费程序需要停止. 因为如果有程序正在生产或者消费该topic,则该topic的offset信息一致会在broker更新…

如果只是用kafka-topics.sh的delete命令删除topic,会有两种情况: 如果当前topic没有使用过即没有传输过信息:可以彻底删除 如果当前topic有使用过即有过传输过信息:并没有真正删除topic只是把这个topic标记为删除(marked for deletion). 要彻底把情况2中的topic删除必须把kafka中与当前topic相关的数据目录和zookeeper与当前topic相关的路径一并删除. 相关组件的版本 zookeeper: 3.4.6 kafka: 0.…

Kafka如何删除topic? 今天为大家带来“Kafka删除topic原理解析”,希望可以帮到那些苦于无法删除topic的朋友们. 前提条件: 在启动broker时候开启删除topic的开关,即在server.properties中添加:  delete.topic.enable=true 命令: bin/kafka-topics.sh --zookeeper zk_host:port/chroot --delete --topic my_topic_name 这条命令其实就是在zookeep…

1.删除topic命令 bin/kafka-topics.sh --delete --zookeeper 192.168.242.131:2181 --topic aaa 注:此命令如果要生效,还需在server.properties中添加: delete.topic.enable=true 控制台也会有返回提示信息: Topic aaa is marked for deletion. Note: This will have no impact if delete.topic.enable i…