问题反馈: xx现场测试环境下,整个平台的数据,除了原始数据模块,其他模块正常运行。相同版本的包,在线上环境上原始数据的订阅是正常的,但是测试环境没有,查看所有相关的日志,均没有报异常,且日志中有正常显示已经把数据发送到kafka。但是从kafka的日志里查,没有收到转发过来的数据。
 
这里梳理一下这个 原始数据 的整个流程:
upload 转发 原始数据到 kafka,用的topic为 OREGINAL_DATA ,   storm计算启动一个叫realtime的拓扑,消费 OREGINAL_DATA 上的数据,再把处理后的数据转发到 kafka, 用的topic为  OREGINAL_DATA_FORWARD。
 
排查过程:
1. 查看 upload日志,确定日志中有正常发数据到kafka ,且显示成功了   -- 这个日志有一个很大的误导作用
2. 通过 kafka 的消息积压命令查看(如下),确定是没有新的信息生产(logSize没有变化,通过kafka的 log.dirs 也确定该topic没有 生产到数据)
        kafka-consumer-offset-checker.sh   --topic OREGINAL_DATA --zookeeper zkIP:2181 --group GROUP_OREGINAL_DATA
3. 通过第2步的排除,怀疑 upload机器与kafka集群不通,用ping命令,确定机器是通的,查看 iptables ,没有信息, 用telnet   kafkaIP   9092 ,不通,提供没有路由(no route to host),怀疑是hosts文件配置问题,确认有正常配置。 把 kafka上的防火墙关了,telnet 通了(这里还要恶补一下防火墙的知识,另外,这个是测试环境,所以可以直接关)。
4. 发数据,重复2,问题还是没有解决。通过修改程序中 topic为 OREGINAL_DATA_NEW 确定 程序是否与 kafka集群通。发现topic有正常创建,但是就是没有消息生产出来。
5. 在upload机器上安装 kafka,通过运行kafka自带的producer 行(命令如下),给新建的topic发数据,发现有报错:
        kafka-console-producer.sh --broker-list kafkaIP:9092 --topic  OREGINAL_DATA_NEW
    报错信息为: org.apache.kafka.common.errors.TimeoutException,通过网上搜索,定位原因是发布到zookeeper的advertised.host.name如果没有设置,默认取java.net.InetAddress.getCanonicalHostName().值,被用于生产端和消费端。因此外部网络或者未配置hostname映射的机器访问kafka集群时就会有网络问题了。
 
6. 配置 kafka 集群的主机名到 upload 机器的hosts 文件中, 发数据,问题解决。
 
这里注明一下,upload表本来是有配置 kafka集群的,但是用的是别名,且 公共配置文件上相关集群机器的配置信息也是用的别名,当时测试用的命令,也是别名。
 
 
关于测试这边的疏漏问题总结:
以前测试都是直接在公共配置文件用的主机名测试(这里用的主机别名的方式还没遇到过),另外,在kafka集群不通的情况下,upload日志居然没有报一点异常,还显示成功,这里对于 异常 情况的测试用例设置有些欠缺,后期要专门整理对程序的异常处理情况做测试,来验证程序的健壮性及自我恢复能力。
一: 通过控制防火墙来模拟网络异常的情况
    1.  在环境正常情况下,把 防火墙打开,确定程序是否正常,日志有没有对应的异常信息协助定位问题
    2.  关闭防火墙,确定程序能否自恢复,日志是否正常
二:要把各种基础服务分开部署,这个涉及到机器的申请,不然测试环境所有服务都部署在一台机器 或者几台机器上,所有网络都是通的,完全无法模拟这种测试环境
 

kafka配置的问题排查的更多相关文章

  1. kafka 配置启动

    Kafka配置(注意log.dirs不要配置在tmp目录下,因为该目录会被linux定时任务删除,会导致kafka崩溃)需要三个Kafka实例,分别安装在下面三个机器上:192.168.240.167 ...

  2. CentOS 下 SonarQube 6.7 的下载、配置、问题排查

    CentOS 下 SonarQube 6.7 的下载.配置.问题排查 系统: CentOS 7 x86_64 SonarQube 版本: 6.7.3 Java 版本: 1.8.0_171 MySQL ...

  3. hadoop生态搭建(3节点)-08.kafka配置

    如果之前没有安装jdk和zookeeper,安装了的请直接跳过 # https://www.oracle.com/technetwork/java/javase/downloads/java-arch ...

  4. Kafka配置信息

    Kafka配置信息 broker配置信息 属性 默认值 描述 broker.id 必填参数,broker的唯一标识 log.dirs /tmp/kafka-logs Kafka数据存放的目录.可以指定 ...

  5. windows下kafka配置入门 示例

    实验平台与软件: 操作系统:windows7 32  位 java 开发包: jdk1.8.0_144 集群: zookeeper-3.3.6 消息队列: kafka_2.11-0.11.0.1 安装 ...

  6. 干货!一次kafka卡顿事故排查过程

    由于一次功能上线后,导致某数据量急剧下滑,给我们紧张的呢!排查过程也是个学习过程(这其中有大部分是领导们的功劳,不过分享给大家应该也不犯法吧,ᐓ) 1. 确认问题的真实性? 被数据部门告知,某数据量下 ...

  7. kafka配置参数

    Kafka为broker,producer和consumer提供了很多的配置参数. 了解并理解这些配置参数对于我们使用kafka是非常重要的.本文列出了一些重要的配置参数. 官方的文档 Configu ...

  8. kafka配置

    官网:http://kafka.apache.org/ 主要有3种安装方式: 1. 单机单broker 2. 单机多broker 3. 多机多broker 1. wget http://mirror. ...

  9. Kafka配置及简单命令使用

    一. Kafka中的相关概念的介绍 Kafka是一个scala实现的分布式消息中间件,其中涉及到的相关概念如下: Kafka中传递的内容称为message(消息),message 是通过topic(话 ...

随机推荐

  1. 【SpringBoot】整合日志框架

    一.日志框架概述 1.1 日志框架的产生 1.2 市面上的日志框架 二.SLF4j 使用与整合 2.1 如何在系统中使用SLF4j 2.2 如何整合日志框架 2.3 SpringBoot中的日志关系 ...

  2. 第一章 Django之web框架(1)

    Django 是新一代 Web 框架 中非常出色的成员.那么 Web 框架这个术语的确切含义到底是 什么呢? 要回答这个问题,让我们来看看通过编写标准的 CGI 程序来开发 Web 应用,这在大约19 ...

  3. Python入门之第三方模块安装

    Python入门之第三方模块安装 平台:Win10 x64 + Anaconda3-5.3.0 (+Python3.7.0) Issue说明:pip install line_profiler-2.1 ...

  4. 【Day3】2.re模块使用案例

    课程目标 1.提取 2.匹配 3.替换 1.提取 import re ret = re.findall([正则表达式]) # 返回的类型是列表 2.匹配 import re ret = re.matc ...

  5. PAT Basic 1072 开学寄语 (20 分)

      下图是上海某校的新学期开学寄语:天将降大任于斯人也,必先删其微博,卸其 QQ,封其电脑,夺其手机,收其 ipad,断其 wifi,使其百无聊赖,然后,净面.理发.整衣,然后思过.读书.锻炼.明智. ...

  6. SQLite3学习笔记(3)

    SQLite 表达式 表达式是一个或多个值.运算符和计算值的 SQL函数的组合. SQL表达式与公式类似,都写在查询语言中.您还可以使用特定的数据集来查询数据库. SELECT语句的基本语法如下: S ...

  7. Git---Ubuntu下的安装与使用

    Git---Ubuntu下的安装与使用 注意:学会Git的唯一方式是在实际使用中学习,切记不要尝试先记住一大堆理论知识或者Git命令.

  8. P3528 [POI2011]PAT-Sticks

    题目概述 题目描述 给出若干木棍,每根木棍有特定的颜色和长度.问能否找到三条颜色不同的木棍构成一个三角形. (注意这里所说的三角形面积要严格大于\(0\)) 输入格式 第一行给出一个整数\(k\),表 ...

  9. 一图一知-TS之泛型

  10. 表单重置时 <input type=“hidden”> 隐藏域不可被重置

    可封装全局样式 .hide{ display:none; } 用 <input type="text" class="hide"/> 替代