Dubbo 3.0 前瞻系列 | 2020双11,Dubbo3.0 在考拉的超大规模实践
很多开发者一直以来好奇:阿里自己有没有在用Dubbo,会不会用Dubbo?在刚刚结束的双11,我们了解到阿里云今年提出了“三位一体”的理念,即将“自研技术”、“开源项目”、“商业产品”形成统一的技术体系,最大化技术的价值。终于,在2020的双11,阿里巴巴经济体也用上了Dubbo!本文是阿里双十一在考拉大规模落地 Dubbo3.0 的技术分享,系统介绍了 Dubbo3.0 在性能、稳定性上对考拉业务的支撑。
覃柳杰(花名:未宇)Github ID: qinliujie,Apache Dubbo PMC;阿里巴巴微服务框架 HSF 负责人,负责 HSF 研发及 Dubbo 在阿里的落地。
HSF 是阿里内部的分布式的服务框架,作为集团中间件最重要的中间件之一,历经十多届双十一大促,接受万亿级别流量的锤炼,十分的稳定与高效。另外一方面,Dubbo 是由阿里中间件开源出来的另一个服务框架,并且在 2019 年 5 月以顶级项目身份从 Apache 毕业,坐稳国内第一开源服务框架宝座,拥有非常广泛的用户群体。
在集团业务整体上云的大背景下,首要挑战是完成 HSF 与 Dubbo 的融合,以统一的服务框架支持云上业务,同时在此基础上衍生出适应用下一代云原生的服务框架 Dubbo 3.0,最终实现自研、开源、商业三位一体的目标。今年作为 HSF&Dubbo 融合之后的 Dubbo 3.0 在集团双十一落地的第一年,在兼容性、性能、稳定性上面都面临着不少的挑战。可喜的是,在今年双十一在考拉上面大规模使用,表现稳定,为今后在集团大规模上线提供了支撑。
Dubbo 3.0 总体方案
在上面的方案中,可以看出来我们是以 Dubbo 为核心,HSF 作为功能扩展点嵌入到其中,同时保留 HSF 原有的编程 API,以保证兼容性。为什么我们选址以 Dubbo 为核心基础进行融合,主要这两点的考量:
1.Dubbo 在外部拥有非常广泛的群众基础,以 Dubbo 为核心,符合开源、商业化的目标;
2.HSF 也经历过核心升级的情况,我们拥有比较丰富的处理经验,对于 Dubbo 3.0 新核心内部落地也是处于可控的范围之内。
选定这个方案之后,我们开始朝着这个方向努力,由于 Dubbo 开源已久,不像 HSF 这样经历过超大规模集群的考验验证,那么我们是如何去保证它的稳定性呢?
稳定性
为了保证新核心的稳定,我们从各个方面进行巩固,保证万无一失
1.功能测试
HSF3 共有集成用例数百个, 100% 覆盖到了 HSF 的核心功能;HSF3 的单测共有上千个,行覆盖率达到了 51.26%
2.混沌测试
为了面对突发的异常情况,我们也做了相应的演练测试,例如 CS 注册中心地址停推空保护测试、异常注入、断网等情况,以此验证我们的健壮性;例如,我们通过对部份机器进行断网,结果我们发现有比较多的异常抛多。
原因是 Dubbo 对异常服务端剔除不够及时,导致还会调用到异常服务器,出现大量报错。
同时,我们也构建了突发高并发情况下的场景,发现了一些瓶颈,例如:
瞬间大并发消耗掉绝大部分 CPU 。
3.性能优化
Dubbo 核心之前未经历过超大规模集团的考验,性能上面必将面临着巨大的挑战;对于 Dubbo 来说,优化主要从地址推送链路和调用服务链路两个链路来进行。对于地址推送链路,主要是减少内存的分配,优化数据结构,减少静态时地址占用内存对应用的影响,从而减少 ygc/fgc 造成的抖动问题。我们利用测试同学提供的风暴程序,模拟了反复推送海量地址的场景,通过优化,120万个 Dubbo 服务地址常态内存占用从 8.5G 下降到 1.5G,有效降低 GC 频率
另外一方面,在调用链路上,我们主要对选址过程、LoadBalacer、Filter 等进行优化,总体 CPU 下降达到 20%,RT 也有一个比较明显的下降。
成果
在双十一考拉零点高峰,某个 Dubbo 接口,总的流量达到了数百万次/每分钟 ,全程稳定顺滑,达到了预定的目标,Dubbo 3.0 是至重启开源以来,首次在这么大规模的场景进行验证,充分证明了 Dubbo 3.0 的稳定性。
结语
在本次双11考拉落地 Dubbo 3.0 只是在阿里内部全面落地 Dubbo3.0 的第一步,现在 Dubbo 3.0 云原生的新特性也如火如荼的进行开发与验证,如应用级服务发现、新一代云原生通信协议 Triple 等已经开始在集团电商应用开始进行 Beta 试点。
阿里微服务体系完成了通过开源构建生态和标准,通过云产品 MSE、EDAS 等完成产品化和能力输出,通过阿里内部场景锻炼高性能和高可用的核心竞争力。从而完成了三位一体的正向循环,通过标准持续输出阿里巴巴的核心竞争力,让外部企业快速享有阿里微服务能力,加速企业数字化转型!
原文链接
本文为阿里云原创内容,未经允许不得转载。
Dubbo 3.0 前瞻系列 | 2020双11,Dubbo3.0 在考拉的超大规模实践的更多相关文章
- 单机Oracle+asm(11.2.0.3.0) Patch Set Update(11.2.0.3.7 )
之前写过一篇关于PSU升级的案例,参考如下: http://blog.csdn.net/jyjxs/article/details/8983880 但是,感觉有些地方理解的不是很透彻明白,照猫画虎的比 ...
- Oracle 11g 的bug?: aix 上,expdp 11.2.0.1 导出,impdp 11.2.0.3 导入,Interval 分区的 【Interval】 分区属性成了【N】
如题: Oracle 11g 的bug?: aix 上,expdp 11.2.0.1 导出,impdp 11.2.0.3 导入,Interval 分区的 [Interval] 分区属性成了[N] 谨记 ...
- Oracle 11.2.0.3.0 RAC GI_DB升级到11.2.0.4.0
转载: http://blog.csdn.net/frank0521/article/details/18226199 前言 还是大家常说的那句:生产环境千万记得备份哈~~~ 以下的环境,是我的测试 ...
- 迁移 Windows 上 Oracle 11.2.0.3.0 到 Linux 上 Oracle 11.2.0.3.0
一.迁移前数据库基本信息统计 查看数据库版本 SELECT * FROM V$VERSION; /* Oracle Database 11g Enterprise Edition Release 11 ...
- 完整记录一则Oracle 11.2.0.4单实例打PSU补丁的过程
本文记录了打PSU的全过程,意在体会数据库打PSU补丁的整个过程. 1.OPatch替换为最新版本2.数据库软件应用19121551补丁程序3.数据库应用补丁4.验证PSU补丁是否应用成功 1.OPa ...
- Oracle 11.2.0.4单实例打PSU,OJVM PSU补丁快速参考
写在前面: 1.Oracel打每个补丁的操作有时存在差异,所以不管多熟悉,都应该在打任何补丁之前阅读新补丁中附带的readme. 2.Oracle每季度都会更新一个最新的PSU,本文最新指的是当前最新 ...
- Oracle 11.2.0.4 RAC安装最新PSU补丁
环境:两节点RAC(RHEL 6.4 + GI 11.2.0.4 + Oracle 11.2.0.4) 需求:安装最新PSU补丁11.2.0.4.7 1.下载补丁和最新OPatch 2.检查数据库当前 ...
- RHEL6.5安装11.2.0.3 RAC并打补丁
[TOC] 一,主机配置 1.修改hosts文件(两节点) #127.0.0.1 localhost localhost.localdomain localhost4 localhost4.local ...
- oracle 11.2.0.4单实例文件系统安装与补丁
[TOC] 一,预安装处理 1.版本准备 操作系统:RHEL 6.5 数据库版本:Oracle 11.2.0.4 相关包:p13390677_112040_Linux-x86-64_1of7.zip ...
- Oracle Database 11g Release 2(11.2.0.3.0) RAC On Redhat Linux 5.8 Using Vmware Workstation 9.0
一,简介 二,配置虚拟机 1,创建虚拟机 (1)添加三块儿网卡: 主节点 二节点 eth0: 公网 192.168.1.20/24 NAT eth0: 公网 192.168.1 ...
随机推荐
- Educational Codeforces Round 141:B. Matrix of Differences
一.来源:Problem - B - Codeforces 二.题面 三.思路 我们先从一维思考如何构造尽可能多的数值差.以n=2为例,此时有1,2,3,4数,其中构成差值为3的方案有一个1,4,构成 ...
- Android 8.0 Only fullscreen activities can request orientation解决方法
原文:Android 8.0 Only fullscreen activities can request orientation解决方法 | Stars-One的杂货小窝 公司的项目坑太多,现在适配 ...
- javascript import maps 特性现已被全部主流浏览器支持
值得庆祝 Import maps 特性现在可以在全部三个主要浏览器内使用 现在主流现代web 应用 引入和利用javascript 是通过 Es module 模块实现. 在开发javascript上 ...
- idea提交时候忽略改动部分文件
之前因为本地开发环境和线上开发环境有区别,bootstrap.xml里的log存放位置在我本地mac不存在路径,我就只能通过修改log路径才能让项目跑起来.但是,本地修改的东西每次commit时候都显 ...
- Android native项目编译v7a时-Werror参数导致报错
在GitHub上下载了一个demo,自己编译运行时,v8a的so是可以正常编译运行的,但是就是v7a的不能也一直报错,最后发现在Android.mk文件里去掉-Werror字段就可以了.于是上网了解了 ...
- 记录--开始使用Vue 3时应避免的10个错误
这里给大家分享我在网上总结出来的一些知识,希望对大家有所帮助 Vue 3 稳定已经有一段时间了.许多代码库正在生产中使用它,其他人最终也必须进行迁移.我有机会与它一起工作,并记录了我的错误,这可能是你 ...
- protected和private继承方式的不同
环境:QT 5.12 继承方式规定了子类如何访问从基类继承的成员.继承方式有public.protected.private三种.继承方式不影响派生类的访问权限,影响了从基类继承而来的成员的访问权限, ...
- Eagle+微力同步实现素材资源协同共享
在设计团队中,会有一些通用,标准的素材资料或者项目参考方案.这些资料当多人,多台电脑,多地电脑都需要时,就会有素材共享,素材统一管理的需求. Eagle共享数据能够使用的几种方法 1.将需要共享的素材 ...
- 【Oracle】手动安装和卸载Oracle,这是最全的一篇了!!
写在前面 之前写过一篇在CentOS 7/8上安装Oracle的文章,按照我写的文章安装成功了,但是卸载Oracle时出现了问题.今天,我就整理一篇手动安装和卸载Oracle的文章吧.全文为实战型内容 ...
- Shell脚本关闭Nginx进程
[root@testapp ~]# ps -ef | grep nginx root 25265 25216 0 09:22 pts/0 00:00:00 grep --color=auto ngin ...