流式计算中处理延迟是一个非常重要的监控metric

flink中通过开启配置   metrics.latency.interval  来开启latency后就可以在metric中看到askManagerJobMetricGroup/operator_id/operator_subtask_index/latency指标了

如果每一条数据都打上时间监控 输出时间- 输入时间，会大量的消耗性能

来看一下flink自带的延迟监控是怎么做的

其实也可以想到原理很简单，就是在source周期性的插入一条特殊的数据LatencyMarker

LatencyMarker初始化的时候会带上它产生时的时间

每次当task接收到的数据是LatencyMarker的时候他就用 当前时间 - LatencyMarker时间 = lateTime 并发送到指标收集系统

接着继续把这个LatencyMarker往下游emit

来看一下源码是如何实现的

因为是从source加入LatencyMarker先看StreamSource.java

在StreamSource的run 方法中

初始化了一个LatencyMarksEmitter

其实就是在processTimeServera中周期性（我们设置的metrics.latency.interval 时长）去向下游emit  当前时间的LatencyMarker

接着来到task接收数据的地方

StreamInputProcessor的processInput方法中

可以看到就是用当前时间 - LatencyMarker，然后就往report发送了

而sink算子的唯一区别就是

区别就是sink没有emit  LatencyMarker 因为是最后一个算子了嘛

这里就讲完了

注意的点是：

　　　其实可以看到flink中的LatencyMarker是没有走用户代码逻辑的，也就是说统计出来的延迟时间并不是端到端的，而是除了用户逻辑处理外的延迟，

　　　因为LatencyMarker和数据的处理是同步处理的，虽然监控延迟中没有过用户逻辑代码（正常数据接收以后用户代码处理然后emit,LatencyMarker接收后直接emit）

但是就像马路一样，整个马路拥塞了延迟高了，那还是会使这个指标值越来越大

　　　可能这样的设计是考虑到LatencyMarker如果也走用户处理逻辑的话会消耗过多的性能吧，特别是采集频繁的时候

Flink 中LatencyMarks延迟监控（源码分析）的更多相关文章

  1. RocketMQ中Broker的启动源码分析（二）

    接着上一篇博客  [RocketMQ中Broker的启动源码分析(一)] 在完成准备工作后,调用start方法: public static BrokerController start(Broker ...

  2. Netty中NioEventLoopGroup的创建源码分析

    NioEventLoopGroup的无参构造: public NioEventLoopGroup() { this(0); } 调用了单参的构造: public NioEventLoopGroup(i ...

  3. RocketMQ中Broker的启动源码分析（一）

    在RocketMQ中,使用BrokerStartup作为启动类,相较于NameServer的启动,Broker作为RocketMQ的核心可复杂得多 [RocketMQ中NameServer的启动源码分 ...

  4. RocketMQ中Broker的消息存储源码分析

    Broker和前面分析过的NameServer类似,需要在Pipeline责任链上通过NettyServerHandler来处理消息 [RocketMQ中NameServer的启动源码分析] 实际上就 ...

  5. RocketMQ中PullConsumer的启动源码分析

    通过DefaultMQPullConsumer作为默认实现,这里的启动过程和Producer很相似,但相比复杂一些 [RocketMQ中Producer的启动源码分析] DefaultMQPullCo ...

  6. JDK中String类的源码分析(二)

    1.startsWith(String prefix, int toffset)方法 包括startsWith(*),endsWith(*)方法,都是调用上述一个方法 public boolean s ...

  7. Springboot中mybatis执行逻辑源码分析

    Springboot中mybatis执行逻辑源码分析 在上一篇springboot整合mybatis源码分析已经讲了我们的Mapper接口,userMapper是通过MapperProxy实现的一个动 ...

  8. ThreadPoolExecutor的应用和实现分析（中）—— 任务处理相关源码分析 线程利用（转）

    前面一篇文章从Executors中的工厂方法入手,已经对ThreadPoolExecutor的构造和使用做了一些整理.而这篇文章,我们将接着前面的介绍,从源码实现上对ThreadPoolExecuto ...

  9. 【Java】NIO中Selector的创建源码分析

    在使用Selector时首先需要通过静态方法open创建Selector对象 public static Selector open() throws IOException { return Sel ...

随机推荐

  1. JS面试题-<变量和类型>-JavaScript浅拷贝与深拷贝

    前言 最开始了解到深浅拷贝是因为准备面试,但那个时候因为在学校做的项目比较少需求也比较简单,所以没有在项目中遇到这类问题,所以对这个问题就属于知道这个知识点,看过相关内容,却没有自己的总结,也没有深入 ...

  2. Java基础系列5：深入理解Java异常体系

    该系列博文会告诉你如何从入门到进阶,一步步地学习Java基础知识,并上手进行实战,接着了解每个Java知识点背后的实现原理,更完整地了解整个Java技术体系,形成自己的知识框架. 前言: Java的基 ...

  3. php session获取不到的解决方法

    php session获取不到的解决方法 因为sesson数据是存在服务器端的硬盘一般临时空间不足 /tmp/ 1 这个需要清空下系统盘就可以了2 你可以在空间充足的地方mkdir 文件夹——你可以使 ...

  4. avtivmq（订阅写法）

    发布-订阅消息模式与点对点模式类似,只不过在session创建消息队列时,由session.createQuene()变为session.createTopic(). 消息发布者代码: 消息订阅者代码 ...

  5. [spark程序]统计人口平均年龄（本地文件）（详细过程）

    一.题目描述 (1)编写Spark应用程序,该程序可以在本地文件系统中生成一个数据文件peopleage.txt,数据文件包含若干行(比如1000行,或者100万行等等)记录,每行记录只包含两列数据, ...

  6. C#winfrom文件下载到本地

    string remoteUri = System.IO.Path.GetDirectoryName(url); string fileName = System.IO.Path.GetFileNam ...

  7. 安卓JNI精细化讲解，让你彻底了解JNI（一）：环境搭建与HelloWord

    目录 1.基础概念 ├──1.1.JNI ├──1.2.NDK ├──1.3.CMake与ndk-build 2.环境搭建 3.Native C++ 项目(HelloWord案例) ├── 3.1.项 ...

  8. windows版本 MongoDB副本集搭建及开启身份验证

    ------------恢复内容开始------------ ------------恢复内容开始------------ MongoDB副本集搭建 我搭建的是一个主节点,两个副节点 构建目录结构如下 ...

  9. 官宣！Amazon EMR正式支持Apache Hudi

    ​Apache Hudi是一个开源的数据管理框架,其通过提供记录级别的insert, update, upsert和delete能力来简化增量数据处理和数据管道开发.Upsert指的是将记录插入到现有 ...

  10. javescript 的 对象

    一,定义:对象是JavaScript的一个基本数据类型,是一种复合值,它将很多值(原始值或者其他对象)聚合在一起,可通过名字(name/作为属性名)访问这些值.即属性的无序集合. 关键是name属性名 ...