作者:顾欣

Triple 是 Dubbo 3 提出的基于 HTTP2 的开放协议,

旨在解决 Dubbo 2 私有协议带来的互通性问题。

Triple 基于 HTTP/2 定制自己的流控,支持通过特定的异常通知客户端业务层服务端负载高情况,

保护了服务端被大流量击垮,提高系统高可用能力。

一、流控反压现状

客户端和服务器端在接收数据的时候有一个缓冲区来临时存储数据,

但是缓冲区的大小是有限制的,所以有可能会出现缓冲区溢出的情况,

HTTP 通过流控保护数据溢出丢失风险。

1、HTTP/1 流控

在 HTTP/1.1 中,流量的控制依赖的是底层TCP协议,在客户端和服务器端建立连接的时候,

会使用系统默认的设置来建立缓冲区。在数据进行通信的时候,会告诉对方它的接收窗口的大小,

这个接收窗口就是缓冲区中剩余的可用空间。如果接收窗口大小为零,则说明接收方缓冲区已满,

则发送方将不再发送数据,直到客户端清除其内部缓冲区,然后请求恢复数据传输。

2、HTTP/2 流控

HTTP/2 使用了多路复用机制,一个TCP连接可以有多个 HTTP/2 连接,

故在 HTTP/2 中,有更加精细的流控制机制,允许服务端实现自己数据流和连接级的流控制。

服务端与客户端初次见了连接时,会通过发送 HTTP/2 SettingsFrame设置初始化的流控窗口大小,

用于 Stream 级别流控,默认为 65,535 字节。

定好流控窗口后,每次客户端发送数据就会减少流控窗口的大小,

服务端收到数据后会发送窗口更新包(WINDOW_UPDATE frame)通知客户端更新窗口。

客户端收到窗口更新包后就会增加对应值的流控窗口,从而达到动态控制的目的。

二、Triple流控反压

Netty 基于 HTTP/2 实现了基础的流控,当服务端负载过高,客户端发送窗口为 0 时,

新增请求就无法被发送出去,会在缓存到客户端待发送请求队列中,缓存数据过大,

就会造成客户端内存溢出,影响业务程序。

Triple 基于 Netty 实现了 HTTP/2 协议,通过 HTTP/2 FlowController接口统一封装,

在实现分为进站(inbound)和出站(outbound)两个维度的实现。

Triple 在 inbound 流量上使用了 Netty 的默认流控实现,

在 outbound 上实现了自己流控,基于服务端负载,

将服务端流量压力透传到客户端业务层,实现客户端的业务反压,暂停业务继续发送请求,

保护服务端不被大流量击垮。

1、连接初始化

Triple在初次建立连接时,通过 TripleHttpProtocol 初始化 HTTP/2 配置,

默认流控窗口 DEFAULT_WINDOW_INIT_SIZE = MIB_8

并在服务端和客户端加入自己的 outbound 流控接口。

2、Inbound流控

Inbound 流量会通过 DefaultHttpLocalFlowControllerconsumeBytes 方法实现流控窗口更新与发送。

1) 入口传入HTTP 流与更新数据大小

2) 找到对应连接实现数据消费

3) 更新流控窗口

4) 发送流控更新数据包(window_update)

3、Outbound流控

Outbound 通过 Triple 自己的流控实现 TriHttpRemoteFlowController

将服务端压力反馈到业务层,保护服务端被大流量击垮。

1) 发送数据时判断是否还有窗口

2) 窗口为0时抛出特定异常

3) 反馈客户端流控异常

4、总结

Triple 通过将底层客户端发送窗口为 0 场景封装为特定流控异常,

透传至客户端上层业务,阻止客户端业务继续数据发送,

有效的保护了服务端被大流量击垮和客户端的内存溢出的问题。

三、未来展望

目前 Triple 已经基本实现了流控反压能力,未来我们将深度联动业务,

基于业务负载自适应调整反压流控,

一是在 inbound 上将流控窗口包发送时机调整到服务端业务处理完成后,

二是在 outbound 流量上关联客户端业务层,动态调整客户端发送速率。

从而实现基于服务端业务负载动态反压流控机制。

欢迎在 https://github.com/apache/dubbo 给 Dubbo Star。

搜索关注官方微信公众号:Apache Dubbo,了解更多业界最新动态,掌握大厂面试必备 Dubbo 技能

Dubbo 3 之 Triple 流控反压原理解析的更多相关文章

  1. 1、flink介绍,反压原理

    一.flink介绍  Apache Flink是一个分布式大数据处理引擎,可对有界数据流和无界数据流进行有状态计算. 可部署在各种集群环境,对各种大小的数据规模进行快速计算. 1.1.有界数据流和无界 ...

  2. 一文搞懂 Flink 网络流控与反压机制

    https://www.jianshu.com/p/2779e73abcb8 看完本文,你能get到以下知识 Flink 流处理为什么需要网络流控? Flink V1.5 版之前网络流控介绍 Flin ...

  3. sentinel流控规则校验之源码分析

    前言: 上节给大家把sentinel流控整个执行大致过了,但涉及到最核心的流控算法还没有讲,先提前说明一下 sentinel用的流控算法是令牌桶算法,参考了Guava的RateLimiter,有读过R ...

  4. 咱们从头到尾讲一次 Flink 网络流控和反压剖析

    本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor.OPPO 大数据平台研发负责人张俊老师分享.主要内容如下: 网络流控的概念与背景 TCP的流 ...

  5. [转帖]实时流处理系统反压机制(BackPressure)综述

    实时流处理系统反压机制(BackPressure)综述 https://blog.csdn.net/qq_21125183/article/details/80708142 2018-06-15 19 ...

  6. flink - 反压

    http://wuchong.me/blog/2016/04/26/flink-internals-how-to-handle-backpressure/ https://ci.apache.org/ ...

  7. 线上应用接入sentinel的第一个流控规则

    sentinel接入第1个应用A以及控制台,已经上线一段时间了,本周接入了第2个应用B: 因为测试同学只有几个,没有压测团队.测试平台.. 各接口能承载的最大qps不确定 ,接入的应用暂时都没有配置规 ...

  8. 性能百万/s:腾讯轻量级全局流控方案详解

    WeTest 导读 全新的全局流控实现方案,既解决了目前流控的实现难点,同时保证运行稳定且流控准确的前提下,实现更简单,部署成本更低,容灾能力更强. 该方案组件化之后,可以推广到别的有需要的部门使用, ...

  9. 又拍云张聪:OpenResty 动态流控的几种姿势

    2019 年 1 月 12 日,由又拍云.OpenResty 中国社区主办的 OpenResty × Open Talk 全国巡回沙龙·深圳站圆满结束,又拍云首席架构师张聪在活动上做了< Ope ...

  10. 性能百万/s:腾讯轻量级全局流控方案详解【转自Wetest】

    阿里用的方案是在nginx中配置限流(限流功能模块是自己开发的),流量统计线上是有监控打通的,具体的限流值是通过线上流量表现+线下性能测试(模拟线上场景)测试得出的. 全新的全局流控实现方案,既解决了 ...

随机推荐

  1. this硬绑定

    一.this显示绑定 this显示绑定,顾名思义,它有别于this的隐式绑定,而隐式绑定必须要求一个对象内部包含一个指向某个函数的属性(或者某个对象或者上下文包含一个函数调用位置),并通过这个属性间接 ...

  2. gradle项目对比maven项目的目录架构以及对gradle wrapper的理解

    转载请注明出处: 1.使用 idea 搭建 gradle项目 注意 type 选择 gradle 以及 language 选择 grooy                       搭建后的项目架构 ...

  3. Goland Socket 服务

    客户端发送消息 并接收服务端消息 package main import ( "fmt" "net" ) func main() { // conn, err ...

  4. rowkey设计原则和方法

    rowkey设计首先应当遵循三大原则: 1.rowkey长度原则 rowkey是一个二进制码流,可以为任意字符串,最大长度为64kb,实际应用中一般为10-100bytes,它以byte[]形式保存, ...

  5. CSS 渐变锯齿消失术

    在 CSS 中,渐变(Gradient)可谓是最为强大的一个属性之一. 但是,经常有同学在使用渐变的过程中会遇到渐变图形产生的锯齿问题. 何为渐变锯齿? 那么,什么是渐变图形产生的锯齿呢? 简单的一个 ...

  6. 题解 P6745 『MdOI R3』Number

    前言 不知道是不是正解但是觉得挺好理解. 科学计数法 将一个数表示为\(a\times 10^x\) 的形式.其中\(a\leq10\),\(x\) 为整数. \(\sf Solution\) 其实这 ...

  7. 聊一聊对一个 C# 商业程序的反反调试

    一:背景 1.讲故事 前段时间有位朋友在微信上找到我,说他对一个商业的 C# 程序用 WinDbg 附加不上去,每次附加之后那个 C# 程序就自动退出了,问一下到底是怎么回事?是不是哪里搞错了,有经验 ...

  8. MYSQL一键导库脚本

    上周完成了一个性能测试环境搭建,有富余时间的同时研究了一个一键导库的脚本,一周的开始先马住!!! 一.思路 准备:54.158服务器上分别已经装好了MYSQL数据库 目的:把部分库从54导出并导入到1 ...

  9. 5、有一行电文,译码规律为: a ——> z b——> y c ——> x. 即把第一个字母变成第26个字母, 第i个字母变成第(26-i+1)个字母, 非字母字符不变

    /* 有一行电文,译码规律为: a --> z b--> y c --> x. 即把第一个字母变成第26个字母, 第i个字母变成第(26-i+1)个字母, 非字母字符不变 */ #i ...

  10. 【云原生 · Kubernetes】apiserver高可用

    个人名片: 因为云计算成为了监控工程师‍ 个人博客:念舒_C.ying CSDN主页️:念舒_C.ying 7.1 高可用选型 ipvs+keepalived nginx+keepalived hap ...