kafka调试遇到的问题
在三台机器上以不同的端口部署了三个kafka和zookeeper实例,对应三套环境。
如:
zk1:2181
zk2:2182
zk3:2183
kafka1:9092
kafka2:9093
kafka3:9094
中午打开dev环境准备调个东西发现,producer能发出消息,但consumer收不到消息。
各种排查:
1. kafka版本匹配。
2. 命令行用kafka producer发、kafka consumer收。
3. 重建topic,换成其他topic。
4. 查看日志。
都正常,就是java应用consumer收不到。郁闷啊,头疼痛啊。。
到快下班了,突然发现是consumer的brokers IP写错了。。。原来改环境、排查问题只注意端口了没注意IP。晕啊,浪费一个下午。
还有一个问题:
为什么命令行producer发消息时发到brokers。收消失从zookeeper收。
但是java spring配置consumer也应该是从zookeeper收才对啊,但是只能从brokers收,为什么呢?
kafka调试遇到的问题的更多相关文章
- Kafka调试入门(一)
很多人对kafka消息队列应该不陌生,使用起来也比较方便.对kafka最常见的操作一般有如下几种: 启动kafka集群 创建一个名称为xxx的主题(topic) 查看已经创建好的主题 向xxx这个主题 ...
- kafka调试中遇到Connection to node -1 could not be established. Broker may not be available.
https://blog.csdn.net/Mr_Hou2016/article/details/79484032
- 利用Pycharm本地调试spark-streaming(包含kafka和zookeeper等操作)
环境准备就不说了! 第一步:打开Pycharm,在File->Setting->Project Structure中点击Add Content Root 添加本地python调用java和 ...
- 调试 kafka manager 源码
前提:可以上外网. kafka manager 是一款优秀的监控 kafka 的工具,采用 scala 语言编写,如何调试 kafka manager 呢? kafka manager 使用 play ...
- Angel - 模拟Kafka数据流调试FTRL的方法
Angel - 模拟Kafka数据流调试FTRL的方法 Mac或者Linux版本(Win10的Linux子系统同样适用) 创建一个目录用来安装kafka以及zookeeper等相关软件,比如,新建一个 ...
- Kafka远程调试简单记录
Kafka启动脚本: ./kafka-server-start.sh -daemon ../config/server.properties 最终翻阅脚本可以确定是调用kafka-run-class. ...
- Kafka(五) —— Kafka源码本地调试
搭建环境 安装scala 安装gradle 在kafka源码的根目录执行命令 gradle wrapper gradle idea 打开IDEA,File -> Open -> kafka ...
- 基于Kafka的生产者消费者消息处理本地调试
(尊重劳动成果,转载请注明出处:http://blog.csdn.net/qq_25827845/article/details/68174111冷血之心的博客) Kafka下载地址:http://d ...
- idea本地调试spark,hive,kafka
https://note.youdao.com/share/?id=753c443aa4a665679d8d00c9c50363b0&type=note#/
随机推荐
- poj3614 Sunscreen【贪心】
Sunscreen Time Limit: 1000MS Memory Limit: 65536K Total Submissions: 11772 Accepted: 4143 Descri ...
- kdevelop使用笔记
https://www.cnblogs.com/-Mr-y/p/7707176.html#_label7
- MapReduce的分区
第一部分 分区简述(比如国家由省市来划分) 分区:map的输出经过partitioner分区进行下一步的reducer.一个分区对应一个reducer,就会使得reducer并行化处理任务.默认为1 ...
- iOS 项目架构tabbarController 嵌套 navbarController
简单思路: 进入APP,首先加载 splashVC,加载完成之后,在viewDidAppear里跳转到loginVC,(这里一定要在viewDidLoad方法里新建loginVC跳转). 登陆成功之后 ...
- shuffle
<?php function genArr($len) { $arr = array(); $len = $len; for ($w=1; $w < $len ; $w++) { $arr ...
- getopts shell command -options parameters
说明:原文网址http://blog.chinaunix.net/uid-26807463-id-3151601.html 获取UNIX类型的选项: unix有一个优点就是标准UNIX命令在执行时都具 ...
- MongoDB的”存储过程“
使用 db.system.js.insert({_id:"aaa", value:"zzq"}); 这条命令向全局系统的js中添加了一个_id为"aa ...
- 2018最新php笔试题及答案(持续更新)
php中include和require的区别 在 PHP 中,您可以在服务器执行 PHP 文件之前在该文件中插入一个文件的内容.include 和 require 语句用于在执行流中插入写在其他文件中 ...
- 网站用sqlite库,报attempt to write a readonly database,解决方法
将sqlite数据库文件,设置为users完全控制.重启网站即可!
- 评价指标的局限性、ROC曲线、余弦距离、A/B测试、模型评估的方法、超参数调优、过拟合与欠拟合
1.评价指标的局限性 问题1 准确性的局限性 准确率是分类问题中最简单也是最直观的评价指标,但存在明显的缺陷.比如,当负样本占99%时,分类器把所有样本都预测为负样本也可以获得99%的准确率.所以,当 ...