Dubbo 3 之 Triple 流控反压原理解析
作者:顾欣
Triple 是 Dubbo 3 提出的基于 HTTP2 的开放协议,
旨在解决 Dubbo 2 私有协议带来的互通性问题。
Triple 基于 HTTP/2 定制自己的流控,支持通过特定的异常通知客户端业务层服务端负载高情况,
保护了服务端被大流量击垮,提高系统高可用能力。
一、流控反压现状
客户端和服务器端在接收数据的时候有一个缓冲区来临时存储数据,
但是缓冲区的大小是有限制的,所以有可能会出现缓冲区溢出的情况,
HTTP 通过流控保护数据溢出丢失风险。
1、HTTP/1 流控
在 HTTP/1.1 中,流量的控制依赖的是底层TCP协议,在客户端和服务器端建立连接的时候,
会使用系统默认的设置来建立缓冲区。在数据进行通信的时候,会告诉对方它的接收窗口的大小,
这个接收窗口就是缓冲区中剩余的可用空间。如果接收窗口大小为零,则说明接收方缓冲区已满,
则发送方将不再发送数据,直到客户端清除其内部缓冲区,然后请求恢复数据传输。
2、HTTP/2 流控
HTTP/2 使用了多路复用机制,一个TCP连接可以有多个 HTTP/2 连接,
故在 HTTP/2 中,有更加精细的流控制机制,允许服务端实现自己数据流和连接级的流控制。
服务端与客户端初次见了连接时,会通过发送 HTTP/2 SettingsFrame
设置初始化的流控窗口大小,
用于 Stream
级别流控,默认为 65,535 字节。
定好流控窗口后,每次客户端发送数据就会减少流控窗口的大小,
服务端收到数据后会发送窗口更新包(WINDOW_UPDATE frame
)通知客户端更新窗口。
客户端收到窗口更新包后就会增加对应值的流控窗口,从而达到动态控制的目的。
二、Triple流控反压
Netty 基于 HTTP/2 实现了基础的流控,当服务端负载过高,客户端发送窗口为 0 时,
新增请求就无法被发送出去,会在缓存到客户端待发送请求队列中,缓存数据过大,
就会造成客户端内存溢出,影响业务程序。
Triple 基于 Netty 实现了 HTTP/2 协议,通过 HTTP/2 FlowController
接口统一封装,
在实现分为进站(inbound)和出站(outbound)两个维度的实现。
Triple 在 inbound 流量上使用了 Netty 的默认流控实现,
在 outbound 上实现了自己流控,基于服务端负载,
将服务端流量压力透传到客户端业务层,实现客户端的业务反压,暂停业务继续发送请求,
保护服务端不被大流量击垮。
1、连接初始化
Triple在初次建立连接时,通过 TripleHttpProtocol
初始化 HTTP/2 配置,
默认流控窗口 DEFAULT_WINDOW_INIT_SIZE = MIB_8
,
并在服务端和客户端加入自己的 outbound 流控接口。
2、Inbound流控
Inbound 流量会通过 DefaultHttpLocalFlowController
的 consumeBytes
方法实现流控窗口更新与发送。
1) 入口传入HTTP 流与更新数据大小
2) 找到对应连接实现数据消费
3) 更新流控窗口
4) 发送流控更新数据包(window_update)
3、Outbound流控
Outbound 通过 Triple 自己的流控实现 TriHttpRemoteFlowController
,
将服务端压力反馈到业务层,保护服务端被大流量击垮。
1) 发送数据时判断是否还有窗口
2) 窗口为0时抛出特定异常
3) 反馈客户端流控异常
4、总结
Triple 通过将底层客户端发送窗口为 0 场景封装为特定流控异常,
透传至客户端上层业务,阻止客户端业务继续数据发送,
有效的保护了服务端被大流量击垮和客户端的内存溢出的问题。
三、未来展望
目前 Triple 已经基本实现了流控反压能力,未来我们将深度联动业务,
基于业务负载自适应调整反压流控,
一是在 inbound 上将流控窗口包发送时机调整到服务端业务处理完成后,
二是在 outbound 流量上关联客户端业务层,动态调整客户端发送速率。
从而实现基于服务端业务负载动态反压流控机制。
欢迎在 https://github.com/apache/dubbo 给 Dubbo Star。
搜索关注官方微信公众号:Apache Dubbo,了解更多业界最新动态,掌握大厂面试必备 Dubbo 技能
Dubbo 3 之 Triple 流控反压原理解析的更多相关文章
- 1、flink介绍,反压原理
一.flink介绍 Apache Flink是一个分布式大数据处理引擎,可对有界数据流和无界数据流进行有状态计算. 可部署在各种集群环境,对各种大小的数据规模进行快速计算. 1.1.有界数据流和无界 ...
- 一文搞懂 Flink 网络流控与反压机制
https://www.jianshu.com/p/2779e73abcb8 看完本文,你能get到以下知识 Flink 流处理为什么需要网络流控? Flink V1.5 版之前网络流控介绍 Flin ...
- sentinel流控规则校验之源码分析
前言: 上节给大家把sentinel流控整个执行大致过了,但涉及到最核心的流控算法还没有讲,先提前说明一下 sentinel用的流控算法是令牌桶算法,参考了Guava的RateLimiter,有读过R ...
- 咱们从头到尾讲一次 Flink 网络流控和反压剖析
本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor.OPPO 大数据平台研发负责人张俊老师分享.主要内容如下: 网络流控的概念与背景 TCP的流 ...
- [转帖]实时流处理系统反压机制(BackPressure)综述
实时流处理系统反压机制(BackPressure)综述 https://blog.csdn.net/qq_21125183/article/details/80708142 2018-06-15 19 ...
- flink - 反压
http://wuchong.me/blog/2016/04/26/flink-internals-how-to-handle-backpressure/ https://ci.apache.org/ ...
- 线上应用接入sentinel的第一个流控规则
sentinel接入第1个应用A以及控制台,已经上线一段时间了,本周接入了第2个应用B: 因为测试同学只有几个,没有压测团队.测试平台.. 各接口能承载的最大qps不确定 ,接入的应用暂时都没有配置规 ...
- 性能百万/s:腾讯轻量级全局流控方案详解
WeTest 导读 全新的全局流控实现方案,既解决了目前流控的实现难点,同时保证运行稳定且流控准确的前提下,实现更简单,部署成本更低,容灾能力更强. 该方案组件化之后,可以推广到别的有需要的部门使用, ...
- 又拍云张聪:OpenResty 动态流控的几种姿势
2019 年 1 月 12 日,由又拍云.OpenResty 中国社区主办的 OpenResty × Open Talk 全国巡回沙龙·深圳站圆满结束,又拍云首席架构师张聪在活动上做了< Ope ...
- 性能百万/s:腾讯轻量级全局流控方案详解【转自Wetest】
阿里用的方案是在nginx中配置限流(限流功能模块是自己开发的),流量统计线上是有监控打通的,具体的限流值是通过线上流量表现+线下性能测试(模拟线上场景)测试得出的. 全新的全局流控实现方案,既解决了 ...
随机推荐
- Goland Socket 服务
客户端发送消息 并接收服务端消息 package main import ( "fmt" "net" ) func main() { // conn, err ...
- 在某网站的登录页面登录时如果选择“记住用户名”,登录成功后会跳转到一个中间层(页面代码将登录的用户名和密码存在cookie),中间页面中存在一个超链接,单击超链接可以链接到第三个页面查看信息。若选择“
Response实现登录并记录用户名和密码信息 在某网站的登录页面登录时如果选择"记住用户名",登录成功后会跳转到一个中间层(页面代码将登录的用户名和密码存在cookie),中间页 ...
- 第二阶段:高级核心基础知识·第1章Linux三剑客·1
1.用vmware添加一块10G的硬盘,且永久挂载到/data01中,写出详细的步骤 2.用自己语言描述raid0和raid1的区别 RAID 0: 将两个或以上相同信号,容量的硬盘组合,磁盘阵列的总 ...
- 微信小程序之顶部导航栏
wxml: <!--导航条--><view class="navbar"> <text wx:for="{{navbar}}" d ...
- 一次 Java log4j2 漏洞导致的生产问题
一.问题 近期生产在提交了微信小程序审核后(后面会讲到),总会出现一些生产告警,而且持续时间较长.我们查看一些工具和系统相关的,发现把我们的 gateway 差不多打死了. 有一些现象. 网关有很多接 ...
- ES6 学习笔记(五)基本类型Boolean
Boolean 1.需要注意的地方: 取值:true false 对于值为空字符串,0,-0,NaN,Null,undefined,false的布尔对象,它都会有一个初始值false.对于其它的值如& ...
- java查询三级树(三级目录)
背景: 三级树实现效果 这里只介绍,查询数据库,构建三级目录的后端业务逻辑 1.创建查询类(对应数据库需要查出的字段) @Data @AllArgsConstructor @NoArgsConstru ...
- java学习之JSON
0X00前言 JSON可以说是javascript的一种数据类型,我们学习JSON是为了在客户端的数据给读取出来,官方的解释是:概述:JSON(JavaScript Object Notation, ...
- Hutool 的学习
1. Hutool 介绍 Hutool 是一个小而全的Java工具类库,通过静态方法封装,降低相关API的学习成本,提高工作效率,使Java拥有函数式语言般的优雅,让Java语言也可以"甜甜 ...
- Kubernetes集群管理工具kubectl
Kubernetes集群管理工具kubectl 概述 kubectl是Kubernetes集群的命令行工具,通过kubectl能够对集群本身进行管理,并能够在集群上进行容器化应用的安装和部署 命令格式 ...