kafka的topic默认是不允许被删除的,删除后在topic后会出现”marked for deletion”字样,实际并未删除,现在创建同样的topic会提示topic已经存在. 解决办法: server.properties配置文件中添加:delete.topic.enable=true 之后重启kafka,会发现之前被标记删除的topic已经不存在了. kafka操作基本命令: 创建topic(replication-factor为集群broker数量): bin/kafka-topic

1.因为项目原因,kakfa通道中经常造成数据阻塞,导致kafka通道中数据量过大,因此我需要将kakfa通道中数据清除(个人项目原因,一直使用一个消费者,只要保证当前消费者不在消费之前很久的数据就可以.因数量过大,造成topic阻塞,消费者消费太慢,还有可能造成重复消费问题).下面将介绍删除topic中数据或者日志数据的方法. A: 第一种方法就是 1):停掉kafka进程 2):删除kafka的日志数据,删除topic 3);将zookeeper中的offset偏移量修改 或者直接将topi

1,查看kafka topic列表,使用--list参数 >bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list __consumer_offsets lx_test_topic test 2,查看kafka特定topic的详情,使用--topic与--describe参数 >bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic lx_test_topic --describe Top

kafka topic 完全删除   1.自动删除脚本(得配置server.properties 中 delete.topic.enable=true) ./kafka-topics.sh --zookeeper xxx:2181,xxx:2181,xxx:2181 --topic test --delete     此处可直接手动删除,关闭kafka,删除 log.dirs 配置的目录下的相关topic文件     或者  ./kafka-topics.sh  --delete --zooke

今天通过kubernetes的dashboard进行删除有问题或者重启次数太多的pod,发现删不掉,然后就在本地尝试使用terminal进行删除 先获取指定namespace下的所有的pod,根据status与restars查看crash与重启次数太多的pod $ kubectl.exe get pods --namespace rubikt NAME READY STATUS RESTARTS AGE application-55dc49b47f-tmh2q / Running 10d app

本文介绍了 Kafka Topic 的体系结构,并讨论了如何使用分区进行故障转移和并行处理. 1. Kafka Topic, Log, Partition Kafka Topic(主题) 是一个有名字的记录流,Kafka 把 Record(记录)存储在 log 日志文件中. 一个主题被分解为多个 Partition(分区). Kafka 把 log 的多个分区分散到多个服务器中. 把一个 Topic 分解为多个分区,是为了速度.扩展性.存储量. Topic 是天生的发布/订阅类型的消息传递方式,

显示是field pending deletion一看report里面的field list并没有xxx_date_xxx,只好跑到数据库才看到一个field_date_test当时并没有把这个字段当真不想留在了数据库,于是删不掉date模块也可以db_query(delete field config where module = 'date') 也许可以试试吧

先举几个可以删除掉文件和删除不掉文件的例子(先在F盘创建test1.txt文件,然后可以直接拷贝代码到IDE执行),最后总结下原因: 例子一:下面的例子毫无疑问是能够删除掉文件的 import java.io.File; import java.io.IOException; public class Test { public static void main(String[] args) throws IOException { File file = new File("F:/test1.

本文共分为三个部分:   Kafka Topic创建方式 Kafka Topic Partitions Assignment实现原理 Kafka资源隔离方案   1. Kafka Topic创建方式   Kafka Topic创建方式有以下两种表现形式:   (1)创建Topic时直接指定Topic Partition Replica与Kafka Broker之间的存储映射关系   /usr/lib/kafka_2.10-0.8.2.1/bin/kafka-topics.sh --zookeep

zjtest7-redis:/root/zk# cat test_zk.pl use ZooKeeper; use AnyEvent; use AE; use Data::Dumper; use IO::Socket; sub check_port { my $server='120.55.118.6'; my $port=shift; $sock = IO::Socket::INET->new(PeerAddr => $server, PeerPort => $port, Proto

1.列出集群中的topic bin/kafka-topics.sh --zookeeper spark1:2181,spark2:2181,spark3:2181 --list 2.创建topic replication-factor为副本因子数量, partitions为分区数量 bin/kafka-topics.sh --zookeeper spark1:,spark2:,spark3: --create --topic weblogs --replication-factor --part

Exception in thread "main" org.I0Itec.zkclient.exception.ZkAuthFailedException: Authentication failure is thrown while creating kafka topic 个问题,截止 Deepak Sharma  2016年11月09日 09:36 Kafkasecurity when i try to create topic in kafka using non kafka

canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有kafka和RocketMQ. 在投递的时候我们使用的是非压平的消息模式(canal.mq.flatMessage =false //是否为flat json格式对象),然后消费topic的时候就一直无法正常显示和序列化,通过kafka-console-consumer.sh命令收到的消息如下图 在github上也能找到相关问题 canal-kafka 数据同步到

Pom: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.10</artifactId> <version>0.10.1.0</version> </dependency> JavaCode: package com; import kafka.admin.AdminUtils; import kafka.admin.Ra

Flume 与 Kakfa结合例子(Kakfa 作为flume 的sink 输出到 Kafka topic) 进行准备工作: $sudo mkdir -p /flume/web_spooldir$sudo chmod a+w -R /flume 编辑 flume的配置文件: $ cat /home/tester/flafka/spooldir_kafka.conf # Name the components on this agentagent1.sources = weblogsrcagent

首先使用w命令查看所有在线用户: [root@VM_152_184_centos /]# w 20:50:14 up 9 days, 5:58, 3 users, load average: 0.21, 0.05, 0.02 USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT root pts/0 101.45.224.253 20:48 0.00s 0.00s 0.00s w root pts/1 101.45.224.253 20:49 17.00s 0.00s

一.删除Kafka topic 运行./bin/kafka-topics  --delete --zookeeper [zookeeper server]  --topic [topic name]:如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么此时的删除并不是真正的删除,而是把topic标记为:marked for deletion 可以通过命令:./bin/kafka-topics --zookeeper

最近用sublime进行项目的开发,感觉懵逼的像个小白菜~~ 今天遇到的问题可是一个超级白痴的问题,sublime的空白项目文件夹怎么都删不掉,我的傻逼操作是:选中文件--->Delete-----    我擦擦,删不掉!!!! 还好度妈妈什么都知道,具体的呢,应该是这样子的~

Linux用root强制踢掉已登录用户   首先使用w命令查看所有在线用户: [root@VM_152_184_centos /]# w 20:50:14 up 9 days, 5:58, 3 users, load average: 0.21, 0.05, 0.02 USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT root pts/0 101.45.224.253 20:48 0.00s 0.00s 0.00s w root pts/1 101.45.224.

kafka topic的制定,我们要考虑的问题有很多,比如生产环境中用几备份.partition数目多少合适.用几台机器支撑数据量,这些方面如何去考量?笔者根据实际的维护经验,写一些思考,希望大家指正. 1.replicas数目 可以从上图看到,备份越多,性能越低,因为kafka的写入只写入主分区,备份相当于消费者从主分区pull数据,这样势必会造成性能的损耗,故建议在生产环境中使用一主一备即可. 2. partition数量 (1)设置partition数量的时候我们需要注意:kafka的pa

linux上的mysql中,最近遇到表和库删不掉,并且表也打不开,不能导出的情况. 在删除数据库时,出现以下错误: ERROR 1010 (HY000): Error dropping database(can't rmdir './data',errno:39) 解决方法: 直接删除mysql目录下的文件 由于linux中mysql的文件默认存在/var/lib/mysql/中 在root权限下,切换到该目录中 使用命令:cd /var/lib/mysql/ 找到data数据库目录删除 使用命