http://stackoverflow.com/questions/23228222/running-into-leadernotavailableexception-when-using-kafka-0-8-1-with-zookeeper-3 Kafka uses an external coordination framework (by default Zookeeper) to maintain configuration. It seems the configuration is…

问题描述: 我之前使用kafka的命令删除了改topic: ./kafka-topics.sh --delete --zookeeper [zookeeper server]  --topic [topic name] kafka是启用了自动创建topic功能的(之气那测试过可以使用),发布消息到该topic上,此时报错,感觉没删除干净,只是标记为删除状态. 抛出异常信息为: WARN clients.NetworkClient: Error while fetching metadata wi…

发现:ERROR: The partition with /var/lib/mysql is too full! failed! 然后df -h 发现硬盘100%   于是分析到底什么占用了这近两百G的硬盘,结果发现是数据库的备份文件日积月累,占满了这近两百G的硬盘. 然后 cd /varrm -rf log也就是删除日志文件,然后重启mysql/etc/init.d/mysql start结果我的mysql还是启动不了. 于是删除一部分的备份文件,保留最近的一些,然后重启mysql.结果还是报…

windows下使用kafka遇到这个问题: Error when sending message to topic test with key: null, value: 2 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) 百度了下,没找到答案,还是自己看输出台日志...其实你只要看下输出台的内容总能找到答案的.. 我是看kafka-server-start这个cmd窗口,…

报错背景: 单机安装了kafka,创建完成主题,启动生产者的时候产生报错现象.报错时持续不断打印日志信息. 报错现象: [-- ::,] WARN [Producer clientId=console-producer] Error : {alarmHis=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) [-- ::,] WARN [Producer clientId=console-producer] Error :…

[hadoop@datanode3 logs]$ kafka-topics.sh --delete --zookeeper datanode1:2181 --topic firstTopic first is marked for deletion.Note: This will have no impact if delete.topic.enable is not set to true. [hadoop@datanode3 logs]$ kafka-topics.sh  --create…

Problem description: There is error messge when run spark app using spark streaming Kafka version 0.10.0.1(https://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html) to send message to version 0.9 or 0.8 of Kafka broker. 2019-04-08 0…

问题描述:kafka单台机器做集群操作是没有问题的,如果分布多台机器并且partitions或者备份的个数大于1都会报kafka.common.KafkaException: Should not set log end offset on partition 这个错误,如果使用kafka默认的日志等级,过不了几分钟错误日志就会把磁盘刷满,导致服务器down掉. 这个问题困扰了我几天,怎么搞都不行,开始以为是版本问题,升级到最新版本问题还是存在,后来在官方FQA中找到了一段描述,原文如下: Wh…

原因,最近开发的kafka消息接收,突然报如下错: org.apache.kafka.common.errors.SerializationException: Error deserializing... Caused by: org.apache.kafka.common.errors.SerializationException: Size of data received by IntegerDeserializer is not 4 原因如下,我的kafka序列化配置中配置的序列化类如…

很多用户都有这样的需求:实时监控某个topic各分区在broker上所占的磁盘空间大小总和.Kafka并没有提供直接的脚本工具用于统计这些数据. 如果依然要实现这个需求,一种方法是通过监控JMX指标得到分区当前总的日志大小,然后手动相加所有分区的值得出:另一种方法就是使用1.0.0引入的DescribeLogDirsRequest请求.本文即介绍如何通过Java API获取某broker上某topic总的空间大小,代码如下: package huxihx; import org.apache.k…