0x00 问题描述 使用kafka-topics --delete命令删除topic时并没有真正的删除,而是把topic标记为:“marked for deletion”,导致重新创建相同名称的Topic时报错“already exists”. 0x01 问题复现 1. 登录Kafka集群所在的服务器,创建一个test的topic [root@cdh1 ~]# kafka-topics --create --zookeeper 192.168.2.13: --replication-factor

kafka topic 完全删除   1.自动删除脚本(得配置server.properties 中 delete.topic.enable=true) ./kafka-topics.sh --zookeeper xxx:2181,xxx:2181,xxx:2181 --topic test --delete     此处可直接手动删除,关闭kafka,删除 log.dirs 配置的目录下的相关topic文件     或者  ./kafka-topics.sh  --delete --zooke

1,查看kafka topic列表,使用--list参数 >bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list __consumer_offsets lx_test_topic test 2,查看kafka特定topic的详情,使用--topic与--describe参数 >bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic lx_test_topic --describe Top

前言:删除kafka topic及其数据,严格来说并不是很难的操作.但是,往往给kafka 使用者带来诸多问题.项目组之前接触过多个开发者,发现都会偶然出现无法彻底删除kafka的情况.本文总结多个删除kafka topic的应用场景,总结一套删除kafka topic的标准操作方法. step1:如果需要被删除topic 此时正在被程序 produce和consume,则这些生产和消费程序需要停止.因为如果有程序正在生产或者消费该topic,则该topic的offset信息一致会在broker

1.因为项目原因,kakfa通道中经常造成数据阻塞,导致kafka通道中数据量过大,因此我需要将kakfa通道中数据清除(个人项目原因,一直使用一个消费者,只要保证当前消费者不在消费之前很久的数据就可以.因数量过大,造成topic阻塞,消费者消费太慢,还有可能造成重复消费问题).下面将介绍删除topic中数据或者日志数据的方法. A: 第一种方法就是 1):停掉kafka进程 2):删除kafka的日志数据,删除topic 3);将zookeeper中的offset偏移量修改 或者直接将topi

一.删除Kafka topic 运行./bin/kafka-topics  --delete --zookeeper [zookeeper server]  --topic [topic name]:如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么此时的删除并不是真正的删除,而是把topic标记为:marked for deletion 可以通过命令:./bin/kafka-topics --zookeeper

本文着重介绍几个常用的topic命令行命令,包括listTopic,createTopic,deleteTopic和describeTopic等.由于alterTopic并不是很常用,本文中就不涉及了.另外本文的代码分析是基于kafka_2.10-0.8.2.1的(虽然截图是Kafka 0.8.1的^_^ )   一. list topic 显示所有topic 1. 从zookeeper的/brokers/topics节点下获取所有topic封装成topic集合 2. 遍历该集合,查看每个top

Pom: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.10</artifactId> <version>0.10.1.0</version> </dependency> JavaCode: package com; import kafka.admin.AdminUtils; import kafka.admin.Ra

kafka系列文章 第一章 linux单机安装kafka 第二章 kafka--集群安裝部署(自带zookeeper) 第三章 Kafka SASL/SCRAM+ACL实现动态创建用户及权限控制 Kafka SASL/SCRAM+ACL实现动态创建用户及权限控制** 使用SASL / SCRAM进行身份验证 请先在不配置任何身份验证的情况下启动Kafka 1. 创建SCRAM Credentials Kafka中的SCRAM实现使用Zookeeper作为凭证(credential)存储. 可以使

本文共分为三个部分:   Kafka Topic创建方式 Kafka Topic Partitions Assignment实现原理 Kafka资源隔离方案   1. Kafka Topic创建方式   Kafka Topic创建方式有以下两种表现形式:   (1)创建Topic时直接指定Topic Partition Replica与Kafka Broker之间的存储映射关系   /usr/lib/kafka_2.10-0.8.2.1/bin/kafka-topics.sh --zookeep

Exception in thread "main" org.I0Itec.zkclient.exception.ZkAuthFailedException: Authentication failure is thrown while creating kafka topic 个问题,截止 Deepak Sharma  2016年11月09日 09:36 Kafkasecurity when i try to create topic in kafka using non kafka

kafka topic的制定,我们要考虑的问题有很多,比如生产环境中用几备份.partition数目多少合适.用几台机器支撑数据量,这些方面如何去考量?笔者根据实际的维护经验,写一些思考,希望大家指正. 1.replicas数目 可以从上图看到,备份越多,性能越低,因为kafka的写入只写入主分区,备份相当于消费者从主分区pull数据,这样势必会造成性能的损耗,故建议在生产环境中使用一主一备即可. 2. partition数量 (1)设置partition数量的时候我们需要注意:kafka的pa

前置条件 kafka版本:2.2.1 jmeter版本:5.3 插件:ApacheJMeter_ssh-1.2.0.jar 1.拷贝 ApacheJMeter_ssh-1.2.0.jar 到/lib/ext目录下2.拷贝 jsch-0.1.55.jar 到/lib目录下3.启动jmeter后,在Sampler下找到SSH Command和SSH SFTP进行配置后,可以让jmeter与linux进行交互 kafka 常用指令: 查看offset 使用kafka bin路径下kafka-run-c

近日在使用SQL Server 2008的过程中,修改已创建完成的表结构时,却一直提示弹出如下提示: 不允许保存更改.您所做的更改要求删除并重新创建以下表.您对无法重新创建的标进行了更改或者启用了“阻止保存要求重新创建表的更改” 开始还以为是因为我过多的在家里以及公司的机子上使用这个数据库引起的版本问题,但是最后确定并非是版本问题,经过搜素,找到了相应的解决方法: SQL Server 2008 工具-->选项-->Designers-->表设计器和数据库设计器,把“阻止保存要求重新创建

不允许保存更改.您所做的更改要求删除并重新创建以下表.您对无法重新创建的标进行了更改或者启用了“阻止保存要求重新创建表的更改” 解决方法:  打开SQL SERVER 2008 工具-->选项-->Designers-->表设计器和数据库设计器,把“阻止保存要求重新创建表的更改”的勾去掉然后点“确定”即可.

创建,显示和删除保存的用户名和密码: cmdkey.exe /add:targetname /user:username /pass:password

近日在使用sql2008的过程中,要对已经创建完成的表结构进行修改,却一直提示弹出如下提示: “ 不允许保存更改.您所做的更改要求删除并重新创建以下表.您对无法重新创建的标进行了更改或者启用了“阻止保存要求重新创建表的更改” ” 开始还以为是因为我过多的在家里以及公司的机子上使用这个数据库引起的版本问题,但是最后确定并非是版本问题,经过搜素,找到了相应的解决方法: “  打开SQL SERVER 2008 工具-->选项-->Designers-->表设计器和数据库设计器,把“阻止保存要

从ACM中删除一个已经创建的Library,无法通过界面操作,须要手工从DB中删除.须要删除的表记录有: RECENTUPDATE 找到字段Name等于该libraryName的那条记录删除掉 delete from RECENTUPDATE where NAME='techair'; CONTAINERTEAM 相应一条记录 delete from CONTAINERTEAM where NAME like '%techair%'; WTLIBRARY 相应一条记录 delete from W

canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有kafka和RocketMQ. 在投递的时候我们使用的是非压平的消息模式(canal.mq.flatMessage =false //是否为flat json格式对象),然后消费topic的时候就一直无法正常显示和序列化,通过kafka-console-consumer.sh命令收到的消息如下图 在github上也能找到相关问题 canal-kafka 数据同步到

Flume 与 Kakfa结合例子(Kakfa 作为flume 的sink 输出到 Kafka topic) 进行准备工作: $sudo mkdir -p /flume/web_spooldir$sudo chmod a+w -R /flume 编辑 flume的配置文件: $ cat /home/tester/flafka/spooldir_kafka.conf # Name the components on this agentagent1.sources = weblogsrcagent

https://community.hortonworks.com/questions/27187/using-kafkabolt-to-write-to-a-kafka-topic.html -------------------------------------------------------------------------------------------------------------- I'm building a kafka and storm based strea