系统实现

整体架构

  • 基线管理模块:负责基线创建、更新、删除等操作,管理基线元信息,包括保障任务,承诺时间,余量及报警配置等);
  • 基线实例生成:系统每天定时触发生成基线实例,生成实例的同时根据保障任务,由下而上逐层遍历 (BFS)所有上游任务并生成基线监控埋点。生成基线监控埋点的过程中,会计算每个任务节点的预测运行时长,承诺时间,预警时间,预警最晚开始时间,承诺最晚开始时间。此外,系统会给基线监控任务添加基线出错/变慢报警规则,当任务执行触发规则后,通过基础报警服务发送基线报警事件;
  • 监控埋点校验:系统维护一个延迟队列,根据校验时间点(预警最晚开始时间,承诺最晚开始时间以及破线加剧时间校验点),定时触发监控埋点校验任务实例运行状态,如果在时间点实例未运行成功,产生基线预警/破线报警事件,发送给基础报警服务发送报警。
由于基线实例生成和基线埋点检测是基线监控的核心模块,因此本文只着重介绍下这两个模块。

基线实例生成

  • 每天固定时间点(如22:00),根据基线类型及业务日期生成对应的基线实例。
  • 针对每一个基线实例,系统根据该基线实例对应的监控链路(任务DAG),由保障任务为起点,自下而上逐层(BFS)计算各任务对应的监控埋点实例的校验时间节点,包括预测运行时长预警时间承诺时间、预警最晚开始时间,承诺最晚开始时间。
如上图所示,上游任务(B)的预警时间为其子任务实例埋点的预警最晚开始时间,

任务节点中的数字表示任务的预测运行时长,如节点A(1.5h),表示A的预测运行时长是1.5小时。
如上图所示,基线保障任务为A,承诺时间为9:00,用户设置的预警余量为0.5h,结合系统推算出该任务本次的预测运行时长为1.5h。因此,任务A监控埋点的预警时间为8:30(9:00-0.5h),预警最晚开始时间为7:00(8:30-1.5h),承诺最晚开始时间为7:30(7:00+0.5h)。

上下游任务之间监控埋点的各时间节点方法如上图所示,满足:上游任务的承诺(预警)时间 = 下游任务的承诺(预警)最晚开始时间。
上图示例只是理想情况,但实际上任务链路会非常复杂,如跨层依赖、循环依赖非常常见。此外,任务链路也是有可能动态变化的,上游依赖新增或者减少也是个普遍现象。因此,基线实例生成时,需要针对上述情况进行处理,以保证基线监控的有效性和合理性。下面,我们针对每种场景介绍基线监控算法的解决办法。
  1. 基线监控的任务链路变化了怎么办?

      目前,基线监控算法是通过基线实例生成时刻该基线监控的任务链路“快照”来生成监控埋点实例的,暂未针对监控埋点生成结束后,基线覆盖的任务链路发生变化的情况进行处理。即,用户操作任务并不改变已经生成的基线监控埋点实例的信息(计算得来的各种时间及任务与基线的映射关系等),而是等到下一次生成基线实例的时候重新去计算。具体实现时,系统会将任务DAG进行缓存(1h),以提高埋点实例生成的效率。
  1. 基线覆盖的任务链路存在跨层依赖怎么办?

      由于在计算监控埋点实例的时候是由下至上逐层计算的,可以理解为是个局部计算,无法获取整个任务链路的全貌。因此,如果基线覆盖的任务链路中存在跨层依赖,那么同一业务任务实例上的监控埋点的时间点需要不断更新至最早值。如下图所示,任务A依赖任务C和E,任务C依赖于任务E,而任务A又直接依赖于任务E。保障任务A的埋点实例计算结束之后,可以计算任务B、C、D、E的埋点实例信息;而当计算任务C的埋点实例信息时,任务E的埋点实例需要根据任务C的埋点实例信息进行更新。这样才能保证整个任务链路监控的合理性。

  1. 基线覆盖的任务链路存在循环依赖怎么办?

      基线覆盖的任务链路中存在循环依赖,一般是由于某两个任务之间在业务时间存在offset导致的。如下图所示,比如任务B 业务时间23:00的实例依赖任务C 业务时间23:00的实例,而任务C 业务时间23:00的实例又依赖于任务A 业务时间22:00的实例。

对于这种情况,处理原则为:只保留任务最新业务时间(latest_task_time)对应的埋点实例,早于latest_task_time的业务时间对应的埋点实例直接丢弃。这是考虑到对更早时间点的实例进行监控的意义不大,因为前一天的基线监控已经发现出问题并触发告警了。

基线埋点校验

基线实例生成结束后,将生成的监控埋点实例维护到一个延迟队列BaselineTimeQueue里,Delay时间节点、监控埋点实例校验阶段及对应阶段触发的报警类型三者之间的关系如下图所示:

  • 基线监控埋点实例的初始阶段为基线预警校验阶段(CHECK_START_WARNING_TIME)其Delay时间点为预警最晚开始时间(earliest_start_time_for_warning)。当到达earliest_start_time_for_warning时间节点时,监控埋点对应的任务仍未开始运行,且该任务是该基线监控链路上的首个满足条件的任务,则基线实例的状态由安全更新为基线预警,并发送基线预警报警无论是否触发报警,监控埋点实例的状态都会从CHECK_START_WARNING_TIME流转至基线破线校验阶段(CHECK_START_COMMIT_TIME),并且重新放至延迟队列中,等待基线破线的校验。
  • 当到达承诺最晚开始时间(earliest_start_time_for_commit)时间节点时,监控埋点对应的任务仍未开始执行,且该任务是该基线监控链路上的首个满足条件的任务,则基线实例的状态由安全/基线预警更新为基线破线,并发送基线破线报警。
  • 在基线破线校验结束之后,需要判断是否需要进入基线破线加剧校验阶段:
    • 如果当前任务或其上游存在破线任务,且当前任务已经开始执行,则基线实例状态更新为基线破线加剧检查阶段(CHECK_OVERTIME_INTENSIFY),Delay时间为基线破线加剧校验时间节点(overtime_intensify_time),即任务实际开始时间 + (预测运行耗时 * (1 + N%));
    • 如果当前任务尚未开始执行,则基线实例状态更新为等待基线破线加剧检查阶段(CHECK_WAIT_OVERTIME_INTENSIFY),此时Delay时间为等待基线破线校验时间节点(wait_overtime_intensify_time),即破线开始时间 + (预测运行耗时 * (1 + N%))。
  • 当到达wait_overtime_intensify_time时间节点进行校验时,若任务仍未开始执行,则检查阶段保持不变,wait_overtime_intensify_time增加 30 秒,重新入队等待下次检查。
  • 当到达overtime_intensify_time时间节点进行校验时,若任务仍未运行成功,则触发基线破线加剧报警,并将基线实例的状态更新为FINISH_WITH_UNSAFE,埋点监控结束;若任务已运行成功,则不触发报警,并将基线实例的状态更新为FINISH_WITH_SAFE,监控结束。

总结

未来,我们将继续针对基线监控进行优化,如基线关键路径分析、基线实例生成效率优化等,不断提高基线监控算法性能,完善基线链路分析能力,不断提升用户体验,致力于向火山引擎DataLeap用户提供更强大的全链路监控运维能力。

DataLeap的全链路智能监控报警实践(三): 系统实现的更多相关文章

  1. 京东全链路压测军演系统(ForceBot)架构解密

    摘要:全链路压测是应对电商大促容量规划最有效的手段,如何有效进行容量规划是其中的架构关键问题.京东在全链路压测方面做过多年尝试,本文转载京东商城基础平台技术专家文章,介绍其最新的自动化压测 Force ...

  2. 基于SLF4J的MDC机制和Dubbo的Filter机制,实现分布式系统的日志全链路追踪

    原文链接:基于SLF4J的MDC机制和Dubbo的Filter机制,实现分布式系统的日志全链路追踪 一.日志系统 1.日志框架 在每个系统应用中,我们都会使用日志系统,主要是为了记录必要的信息和方便排 ...

  3. 高德全链路压测平台TestPG的架构与实践

    导读 2018年十一当天,高德DAU突破一个亿,不断增长的日活带来喜悦的同时,也给支撑高德业务的技术人带来了挑战.如何保障系统的稳定性,如何保证系统能持续的为用户提供可靠的服务?是所有高德技术人面临的 ...

  4. 全链路实践Spring Cloud 微服务架构

    Spring Cloud 微服务架构全链路实践Spring Cloud 微服务架构全链路实践 阅读目录: 网关请求流程 Eureka 服务治理 Config 配置中心 Hystrix 监控 服务调用链 ...

  5. 全链路压测平台(Quake)在美团中的实践

    背景 在美团的价值观中,以“客户为中心”被放在一个非常重要的位置,所以我们对服务出现故障越来越不能容忍.特别是目前公司业务正在高速增长阶段,每一次故障对公司来说都是一笔非常不小的损失.而整个IT基础设 ...

  6. 基于 Istio 的全链路灰度方案探索和实践

    作者|曾宇星(宇曾) 审核&校对:曾宇星(宇曾) 编辑&排版:雯燕 背景 微服务软件架构下,业务新功能上线前搭建完整的一套测试系统进行验证是相当费人费时的事,随着所拆分出微服务数量的不 ...

  7. 融云技术分享:融云安卓端IM产品的网络链路保活技术实践

    本文来自融云技术团队原创分享,原文发布于“ 融云全球互联网通信云”公众号,原题<IM 即时通讯之链路保活>,即时通讯网收录时有部分改动. 1.引言 众所周知,IM 即时通讯是一项对即时性要 ...

  8. <转>二十问全链路压测干货汇总(上)

    本文转载自:微信公众号-数列科技<二十问全链路压测干货汇总(上)> 最近几年全链路压测无疑成为了一个热门话题,在各个技术峰会上都可以看到它的身影. 一些大型的互联网公司,比如阿里巴巴.京东 ...

  9. 性能利器 Takin 来了!首个生产环境全链路压测平台正式开源

    6 月 25 日,国内知名的系统高可用专家数列科技宣布开源旗下核心产品能力,对外开放生产全链路压测平台产品的源代码,并正式命名为 Takin. 目前中国人寿.顺丰科技.希音.中通快递.中国移动.永辉超 ...

  10. C#编写Windows服务程序 (服务端),client使用 消息队列 实现淘宝 订单全链路效果

    需求: 针对 淘宝提出的 订单全链路 产品接入 .http://open.taobao.com/doc/detail.htm?id=102423&qq-pf-to=pcqq.group oms ...

随机推荐

  1. [Python急救站课程]健康食谱搭配

    健康食谱搭配输出 diet = ['西红柿', '花椰菜', '黄瓜', '牛排', '虾仁'] for x in range(0, 5): for y in range(0, 5): if not ...

  2. JPA中@ElementCollection使用

    转载请注明出处: 在JPA中,@ElementCollection注解主要用于映射集合属性,例如List.Set或数组等集合属性,以及Map结构的集合属性,每个属性值都有对应的key映射.这个注解可以 ...

  3. DOT 学习笔记

    开始大恶补图论了. 说句闲话,\(\text{ODT}\) 和 \(\text{DOT}\). \(\text{DOT}\),全称「树上启发式合并(\(\text{dsu on tree}\))」,乍 ...

  4. 从DPlayer说起,有哪些开源的H5播放器

    引言 ​ H5指的是HTML5,也就是介绍网页播放器(只是列出而已).首先我不是什么大佬,并没有完全体验过以下我会介绍的全部播放器:其次,因为我水平比较低,主要介绍拥有中文文档的播放器,不了解开发的朋 ...

  5. DP:使用最小花费爬楼梯

    数组的每个索引做为一个阶梯,第 i个阶梯对应着一个非负数的体力花费值 cost[i](索引从0开始). 每当你爬上一个阶梯你都要花费对应的体力花费值,然后你可以选择继续爬一个阶梯或者爬两个阶梯. 您需 ...

  6. go基础-泛型

    概述 在强类型变成语言中,类型是确定不可变,如函数入参是确定类型.链表元素是确定类型,这极大限制了函数功能.也有些解决方案,为每种类型都实现一版函数,会导致大量重复代码:使用类型转换,使用特殊形参(如 ...

  7. Git、GitHub、Gitlab的区别以及与SVN的比较

    概念解析 Git   Git是一个开源的分布式版本控制系统(Version Control System,VCS),可以有效.高速地处理项目版本管理.   版本控制是一种记录一个或若干文件内容变化,以 ...

  8. Linux删除‘-’开头的文件

    版权声明:原创作品,谢绝转载!否则将追究法律责任. ----- 作者:kirin 先看两个特殊文件(以--开头) [root@kirin ~]# ll total 0 -rw-r--r-- 1 roo ...

  9. JAVA学习week3

    本周由于c++小学期作业.未能按时学习JAVA 主要复习了基本语法 hello word 输出语法 输出格式的选择,进制的转换,注释的选择 还预习了变量相关的知识点

  10. 基于 Echarts实现可视化数据大屏展示?

    当涉及到使用Echarts实现可视化数据大屏展示时,以下是一份非常详细的介绍说明. 第一部分:介绍Echarts Echarts是一个由百度开源的基于JavaScript的可视化图表库.它支持多种图表 ...