原 kafka 清除topic数据脚本 2018年07月25日 16:57:13 pete1223 阅读数:1028     #!/bin/sh       param=$1   echo "============="   echo ${param}           echo "kafka-topics.sh --zookeeper localhost:2181 --delete --topic ${param}"       kafka-topics.sh

我在本地做kafka的producer调试,每隔一段时间后,所使用的topic管道就会堆积数据,而且我这边使用的是  kafka   bin 下的consumer命令单独消费的,每次都是  --from-beginning,,启动后有一堆数据,感觉麻烦,,,所幸抽出点时间来,,看看怎么干掉他   下边来看俩种常见的方法:见下文! ------------------------------------------------------------------------------------

原 kafka 删除topic清空数据 2018年11月20日 18:17:50 Ming! 阅读数:1391   版权声明:版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq_39657597/article/details/84307541 一般情况下,是不会删除数据的.到达一定时间后,kafka会自动删除.如果一定要删除可以删除topic在重建topic了 No. 1: 如果需要被删除topic 此时正在被程序 produce和consu

前言 当我们在shell中执行topic删除命令的时候` kafka-topics --delete --topic xxxx --zookeeper xxx`,会显示,xxxx已经被标记为删除.然后过了很久你再查看topic列表,发现那个topic依然被标记删除,显然删除没有真正执行.下面就深入了解,kafka删除topic的流程. 先说结论 delete.topic.enable,配置默认是false,意思是 是否允许kafka集群删除topic,只有为true的情况,kafka才会删除那些

1.删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 2.Kafka 删除topic的命令是: ./bin/kafka-topics  --delete --zookeeper [zookeeper server]  --topic [topic name] 如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么

windows下自动删除过期文件的脚本 前言: 比如日志文件每天都产生,时间长了就会有很大的一堆垃圾.整理一下 定时删除文件的方法. 正文: Windows: 定时删除tomcat日志和缓存.可以保留天数 forfiles /p "e:\Program Files\Tomcat 7.0\logs" /s /m *.log /d -5 /c "cmd /c del @path" forfiles /p "e:\Program Files\Tomcat 7.0

说明:本脚本基于SSH服务器免密登录,如集群未配置SSH,参照:<SSH安装配置> . 一.启动脚本:start-kafka-cluster.sh #!/bin/bash brokers="server1 server2 server3" KAFKA_HOME="/usr/local/services/kafka/kafka_2.11-2.3.0" KAFKA_NAME="kafka_2.11-2.3.0" echo "IN

一.概述 生产环境中,有一个topic的数据量非常大.这些数据不是非常重要,需要定期清理. 要求:默认保持24小时,某些topic 需要保留2小时或者6小时 二.清除方式 主要有3个: 1. 基于时间 2. 基于日志大小 3. 基于日志起始偏移量 详情,请参考链接: https://blog.csdn.net/u013256816/article/details/80418297 接下来,主要介绍基于时间的清除! kafka版本为:  2.11-1.1.0 zk版本为:  3.4.13 三.ka

手动: 删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 删除zookeeper "/brokers/topics/"目录下相关topic节点 命令+手动: bin/kafka-run-,cmcc2:,cmcc3: 删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topi

1.删除topic命令 bin/kafka-topics.sh --delete --zookeeper 192.168.242.131:2181 --topic aaa 注:此命令如果要生效,还需在server.properties中添加: delete.topic.enable=true 控制台也会有返回提示信息: Topic aaa is marked for deletion. Note: This will have no impact if delete.topic.enable i

两种方法: 一.修改配置文件server.properties 添加如下配置: delete.topic.enable=true 说明:官方给的文档说明“Enables delete topic. Delete topic through the admin tool will have no effect if this config is turned off”,意思就是说如果想删除topic,此项配置必须为true,默认为false.配置完重启kafka.zookeeper. 二.如果不想

1.删除主题 在server.properties中增加设置,默认未开启 delete.topic.enable=true 删除主题命令 /bin/kafka-topics --delete --topic test --zookeeper localhost: 2.删除主题数据 如果想保留主题,只删除主题现有数据(log).可以通过修改数据保留时间实现 bin/kafka-configs --zookeeper localhost: --entity-type topics --entity-

用过SVN或CVS版本控制工具的朋友,在享受着它们给我们带来的方便的同时,也许也在为这么一件事情苦恼: 如果某个目录在SVN或CVS版本控制工具的控制之下时.该目录下以及该子孙目录下都会有一个.svn目录或CVS目录.当我们想让该目录脱离版本控制工具控制时,想删除这些.svn目录或CVS目录.一个一个手动删除吗?目录树大了呢?有成百上千个分支目录也要手动删除吗? NO.有更简便的方法,即可实现一键删除.操作步骤如下: 步骤一.编写注册表脚本 新建一个文本文件,把下面的代码COPY进去,保存为de

由于要经常用到类似与 git 中的 git add --all 这种操作,但是发现svn中并不支持类似的操作. 虽然可以使用 wildcard 进行匹配,但是 wildcard是在shell中进行匹配的,所以并不能递归地匹配到某个目录下所有的文件. 于是,参考网上的一些讨论,写了以下两个脚本: 用户添加本目录下所有文件的脚本: #!/bin/bash# add all untracked files under current directory svn status | grep '^\?'

删除hbase表region块脚本 文件hua.txt格式: CHAT_INFO,1318153079100530000314050,1318173760068.991ca04ff164c3f7987a9d93e0f744f5. CHAT_INFO,1318156265075530000260366,1318173760068.2e9ac5a34869209f95ab46bf72061fd6. CHAT_INFO,1318158690100530000063285,1318176690151.d

Kafka的删除逻辑请参见:http://www.cnblogs.com/gaopeng527/p/4950956.html

README shell环境下运行脚本,根据需求选择相应的功能. List \t\t create the userlist 这一步是必须执行的,脚本会识别本地当前目录下的文件 Useradd \t\t useradd the user Passwd \t\t set the password to userlist Del \t\t deleate the user 删除用户之前必须要有需要删除用户的列表文件 Sudoers \t\t set the Sudoers Exit \t\t qui

hdp集群默认不能删除kafka主题,如果要删除,需要在ambari上进行配置,将enable delete设置为true.

kafka-server-start脚本 ------启动kafka server kafka-server-stop脚本 ------关闭kafka server kafka-topics脚本 --------------负责kafka中Topic相关操作.如:创建Topic,查询Topic详细信息,添加分区并完成新增的副本等等 kafka-preferred-replica-election脚本 ----------------触发指定的分区进行“优先副本”的选举,这样可以让分区Leader

[hadoop@datanode3 logs]$ kafka-topics.sh --delete --zookeeper datanode1:2181 --topic firstTopic first is marked for deletion.Note: This will have no impact if delete.topic.enable is not set to true. [hadoop@datanode3 logs]$ kafka-topics.sh  --create

无法删除SQLSERVER代理任务时可用如下语句试验下 use [msdb] ) set @job_name = N'jobname' --注:job_name为维护计划对应的job name --删除在计划里面的日志 delete sysmaintplan_log from sysmaintplan_subplans as subplans inner join sysjobs_view as syjobs on subplans.job_id = syjobs.job_id inner jo