华为云发布冷启动加速解决方案:助力Serverless计算速度提升90%+
摘要:本文介绍了华为云对冷启动优化这一业界难题的探索之路,创新提出了基于进程级快照的优化方案。
作者信息——
子游:华为元戎高级工程师
平山:华为云中间件 Serverless 负责人
琪君:华为元戎负责人
Key Takeaways
- 冷启动 (Cold Start)一直是Serverless领域面临的优化难题之一,华为云创新提出了基于进程级快照的冷启动加速解决方案,致力于在用户几乎无感知的前提下,有效提升应用的冷启动性能;
- 特别的,Java应用冷启动速度慢的问题尤为突出。本文以Java场景为例,介绍华为云在冷启动性能优化方面的探索历程,并揭秘90%+性能提升背后的技术实现原理。文末我们也提供了Quick Start,帮助用户更快地上手该新特性。
一、问题引言:Java应用冷启动速度面临巨大挑战
Serverless应用启动时,都需要先进行初始化。其初始化时长一般取决于应用本身的属性,如业务逻辑、编程语言等,其中Java应用的初始化过程通常是最慢的。以下基于一个典型的Java应用,对其启动时延进行拆解,各阶段耗时分布如图1所示:
图1:Java应用启动耗时分解
其中,端到端冷启动耗时可分为2大部分:
- 平台侧时间:
主要包含执行环境创建(如容器启动)、执行环境初始化(如代码包下载、部署)等准备工作,此阶段最多是秒级响应,在冷启动整体耗时中占比很低,通常不到5%,平台侧也支持一些优化方式,将耗时进一步压缩至毫秒级;
- 服务侧时间:
主要包含应用框架启动(如构建Spring ApplicationContext)、业务初始化(如业务数据初始化)等动作,此阶段耗时一般较长。在本例中,应用框架启动耗时占比约30%,业务初始化占比约65%。由此推断,该阶段执行的动作是Java应用启动慢的核心所在。
Java应用启动慢的根因其实也不难理解,主要有:
- 框架复杂:Spring作为一个企业级的框架,为了支持广泛的应用需求,存在大量的可配置和初始化逻辑,并通过复杂的设计模式来支撑这种灵活性。例如,一个spring-boot-web的hello world,依赖的class文件就多达7404个,见图2;
- JVM的一次编译,到处运行:类加载时,查找类、校验类的开销会随着应用复杂度而增长;同时,在应用刚启动时,方法还没有完全被JIT编译完成,因此大部分情况停留在解释执行,影响了应用启动的速度。
图2: hello world依赖的class个数
因此,对于时延敏感型的Java应用程序,在突发流量下发生冷启动时,可能会导致用户体验下降。为了应对这一挑战,用户可以提前预留资源来减少冷启动发生的频率,或者对自己的应用进行性能调优,但是第一类方案无形中增加了用户的keep-alive成本,第二类方案也有着较高的技术门槛且往往效果比较有限。
二、基于快照技术的冷启动加速:华为云的优化探索之路
Part I:站在巨人的肩膀上
业界针对Java应用的启动速度优化已有一些优秀的实践,可分为以下几类:
- AOT:
主要有GraalVM[1]、EJET等,AOT方案是通过在程序运行前,直接将Java源码编译成本地机器码,因为提前编译并不占用运行时间,以此来显著提升应用的启动速度,同时本地机器码可以持久化于磁盘中,不占用内存且可重复使用。但是该类方案在特定场景也存在一定的局限性,如GraalVM对反射的支持并不友好,在涉及反射的地方都需要新增配置;EJET虽然解决了反射的问题,但是其编译时间较长且不稳定,在复杂应用场景下也存在性能劣化问题。 - AppCDS[2]:
AppCDS方案是通过在JVM启动时从JSA文件读取共享数据,省略了共享类的加载过程,提升JVM启动速度;同时,多个JVM共享同一个归档文件,减少动态内存占用,可以提升内存使用率。该类方案主要适用于类加载比较多的场景,在一般场景下提升有限,且其对共享类的支持有一定限制,如运行时动态生成类不支持共享等。 - 其他针对性(Spring框架)方案:
如Lazy Initialization[3]、Scanning-index[4]等,前者通过懒加载的方式来减少启动时加载类的数量,一定程度上提升启动速度;后者通过在编译阶段创建索引,避免启动时扫描所有路径来进行加速。但是该类方案在Serverless场景缺乏一定的普适性。
华为云FunctionGraph创新提出的基于进程级快照的冷启动加速解决方案,致力于在用户无感知(无需/少量进行代码适配)的前提下,帮助用户突破冷启动的性能瓶颈。本优化方案直接从应用初始化后的快照进行运行环境恢复,跳过复杂的框架、业务初始化阶段,从而显著降低Java应用的启动时延,实测性能提升达90%+。
Part II:快照方案如何优化Java应用启动速度
当用户Java函数打开冷启动加速的配置开关后,华为云FunctionGraph会预先执行函数对应的初始化代码,获取其初始化执行上下文环境的快照,并进行加密缓存。后续调用该函数并触发冷启动扩容时,会直接从提前初始化后的应用快照来恢复执行环境,而非重新走一遍初始化流程,以此达到极大提升启动性能的效果。
先结合图3直观对比一下优化前、后的冷启动流程差异:
图3:基于快照加速的冷启动流程
基于快照的冷启动流程,主要包含以下几个关键步骤:
Step 1:平台侧提前准备执行环境,并预执行初始化代码、保存应用快照,此动作后续统称为Checkpoint
- 与图1对应,此阶段一般占总耗时的90%左右。
Step 2:在请求到达,触发函数新实例扩容时,直接从应用快照来恢复新的执行环境,此动作后续统称为Restore
- Restore 耗时是秒级,相当于将数十秒完整的初始化时间(在图 1 的示例中)缩短至秒级 Restore 耗时,启动性能提升了一个数量级。
Step 3:(可选)应用进程从快照恢复后,执行Restore Hook完成业务状态的刷新
- 由于Image File是进程运行时的快照,在重建进程之后,会涉及到进程持有状态的有效性更新。例如已建立的外部链接、加载到进程里的缓存信息等。故我们引入了Restore Hook的概念,提供手段让业务对这些状态进行刷新,详见Part IV。
Step 4:应用Ready,具备接着往下执行业务逻辑的能力
特别的,容器本身也是主机上的进程,故本优化方案也支持容器粒度的Checkpoint,即对容器内指定进程进行CR,与传统的轻量化虚机快照相比,其精细化程度更高、也更灵活。其原理详见图4:
图4:基于容器的CR流程
- 在Source机器上启动微服务,通过健康检查和初始化调用后,进行Checkpoint,停止服务,生成进程快照信息;
- 在Source机器上将进程快照信息和微服务所有相关依赖,进行压缩,加密生成内存快照包,并上传至云端存储。
- 在Target机器上从持久化存储中下载对应微服务的内存快照包,进行解压恢复。
- 在Target机器上Restore微服务进程;
Part III:快照技术揭秘
华为云提出的基于进程级快照的冷启动加速方案,其核心技术依托于CRIU[5],它支持对用户空间指定的进程进行“冻结”(即停止进程,并将该进程运行的所有上下文持久化为镜像文件),并在必要时对其进行“解冻”(即通过保存的镜像文件来正确恢复进程运行的上下文),其核心工作流程如图5-6所示[6]:
图5:CRIU如何工作——Checkpoint
图6:CRIU如何工作——Restore
Checkpoint
- CRIU首先通过操作系统的 /proc 目录获取指定进程和该进程下所有子进程的信息,包含文件描述符(/proc/$pid/fd)、管道参数、网络配置和内存映射文件(/proc/$pid/maps)等;
- CRIU接着通过Linux 的ptrace syscall接口把一段特殊代码动态注入到该进程的地址空间,通过执行该动态代码,CRIU以UNIX守护进程的方式收集dumpee进程存放在寄存器里的内存数据;
- CRIU将所有进程信息都收集完毕后,再次调用ptrace接口,去掉动态注入的代码,恢复该进程的原有代码;
- CRIU根据收集的进程内存信息,生成多个以功能分类的镜像文件,并默认杀死进程,完成Checkpoint;
Restore
- CRIU解析Checkpoint阶段生成的镜像文件,并分析多进程的共享资源;
- CRIU通过Linux 的fork 接口重新构建、恢复进程和其共享资源;
- CRIU恢复所有任务的资源,但不包含内存映射地址,定时器,线程等;
- CRIU根据镜像文件重新映射内存空间,切换进程上下文,恢复进程的继续执行,完成Restore;
Part IV:Restore Hook
如Part II所述,虽然本优化方案能极大提升Java应用的冷启动速度,但是快照技术在某些场景也存在一定的局限性,较难做到对现有应用的全透明化。通过快照恢复后,应用的网络连接状态会受到影响,涉及到TCP Socket重连等场景,如服务注册、DB连接,分布式通信,消息队列等。
这部分场景依赖应用本身的网络重连机制来更新正确,因此,本优化方案中也引入了Restore Hook的概念,提供手段让业务对这些状态进行刷新。
Restore Hook当前已支持大部分主流第三方组件的重连,详见图7:
图7:Restore Hook支持的第三方组件
不难发现,Restore Hook需要应用本身进行少量的代码适配。为了进一步简化应用的改造负担,我们也进行了一种新的技术尝试,可以理解其充当了用户应用与BaaS之间的纽带,通过状态卸载等手段,对开发者透明,帮助应用完成状态的自动化刷新。这部分探索会在后续的技术博文中跟大家分享,敬请期待。
三、效果实测:Java冷启动时延降低90%+
我们选取了公司内部典型的Java应用,对其原始初始化流程、Restore流程进行了对比测试,如图8所示。测试结果表明,本优化方案将应用的启动速度平均提升了95%+,即使快照包的增大一定程度上增加了包下载、解压的耗时,但最终端到端的冷启动时延也降低了90%+。
图8:冷启加速前后的数据对比
四、快速上手:基于华为云FunctionGraph的简单实战
华为云发布的基于进程级快照的冷启动加速方案,是一种性能优化服务,用户无需额外付费,只需进行简单的配置、少量的代码修改,即可享受到该创新方案带来的冷启动性能提升。
下文基于华为云FunctionGraph,为大家带来特性Quick Start:
1、登录FunctionGraph控制台,创建Java函数,并打开“快照式冷启动”开关
2、(可选)配置Restore Hook,并在函数代码中实现对应的Hook逻辑
3、函数发布新版本后,触发快照的自动化制作
4、请耐心等待快照制作完成(5min超时时间)
5、调用Java函数,体验快照优化后的性能提升
五、总结与展望
本文介绍了华为云对冷启动优化这一业界难题的探索之路,创新提出了基于进程级快照的优化方案。当然,本方案也并非十全十美,它依然面临着一系列挑战,如文中提到的应用状态刷新、进程级CR的精细化控制、多平台的兼容性等,我们也在持续探索、优化中。
同时,FunctionGraph 作为华为元戎内核加持的下一代 Serverless 函数计算与编排服务,致力于持续为用户提供方便、迅捷的Serverless 服务体验。您可以登录华为云FunctionGraph控制台来深入体验,更多信息请参阅FunctionGraph官方文档[7]。后续我们将分享更多围绕通用全场景 Serverless的前沿理论及其案例实践,回馈社区。
参考资料
[1]https://www.graalvm.org/22.3/reference-manual/java/compiler/
[2]https://wiki.openjdk.org/display/HotSpot/Application+Class+Data+Sharing+-+AppCDS
[3]https://spring.io/blog/2019/03/14/lazy-initialization-in-spring-boot-2-2
[4]https://docs.spring.io/spring-framework/docs/current/reference/html/core.html#beans-scanning-index
[5]https://github.com/checkpoint-restore/criu
[6]https://speakerdeck.com/udzura/introduction-to-criu?slide=32
[7]https://support.huaweicloud.com/functiongraph/index.html
华为云发布冷启动加速解决方案:助力Serverless计算速度提升90%+的更多相关文章
- 华为云发布桌面IDE-CodeArts
摘要:华为伙伴暨开发者大会2022,发布华为云桌面IDE-CodeArts. 本文分享自华为云社区<华为云发布桌面IDE-CodeArts,让连接更简单.编码更智能>,作者: Huawei ...
- 华为云FusionInsight湖仓一体解决方案的前世今生
摘要:华为云发布新一代智能数据湖华为云FusionInsight时再次提到了湖仓一体理念,那我们就来看看湖仓一体的来世今生. 伴随5G.大数据.AI.IoT的飞速发展,数据呈现大规模.多样性的极速增长 ...
- 不服跑个分:ARM鲲鹏云服务器实战评测——华为云鲲鹏KC1实例 vs. 阿里云G5实例【华为云技术分享】
原文链接:https://m.ithome.com/html/444828.htm 今年一月份,华为正式发布了鲲鹏920数据中心高性能处理器,该处理器兼容ARM架构,采用7纳米制造,最高支持64核,主 ...
- Forrester:华为云容器是容器混合云最佳选择
近日,国际权威咨询机构Forrester发布<The Forrester New WaveTM: Public Cloud Enterprise Container Platforms, Q3 ...
- 一图读懂基于鲲鹏处理器的全栈混合云华为云Stack6.5
[摘要] 够料的全栈混合云干货信息,速戳! 近日,在2019华为云城市峰会广州站上,华为云发布基于鲲鹏处理器的全栈混合云解决方案HCS 6.5.x86+鲲鹏,双驱动开启云上新架构;云上+本地,双平台无 ...
- 揭秘丨7分钟看懂华为云鲲鹏Redis背后的自研技术【华为云技术分享】
2019年5月,华为云发布全球首个基于自研ARM架构的分布式缓存鲲鹏Redis,搭载华为LibOS+华为编译器+安全容器引擎三项黑科技,在保证Redis强劲高性能外,还降低客户30%的使用成本,真正实 ...
- [转帖]华为鲲鹏云服务器实战:华为云鲲鹏KC1实例 vs. 阿里云G5实例
鲲鹏云服务器实战:华为云鲲鹏KC1实例 vs. 阿里云G5实例 https://m.ithome.com/html/444828.htm 2019-09-12 15:25IT之家 (阿迷) 今年一月份 ...
- 华为云亮相QCon2020深圳站,带你体会大厂的云原生玩法与秘诀
摘要:在QCon全球软件开发大会上,华为云开发者生态总监张全文作为"云原生应用开发实践"专题出品人,携手华为云四位资深技术专家带来精彩分享. 作为当下技术领域最火热的技术趋势之一, ...
- FPGA图像加速解决方案来了
近日,百度云与联捷计算科技(CTAccel)共同推出基于FPGA的图像加速解决方案(CIP,CTAccel Image Processor),实现对JPEG转码JPEG.JPEG转码WebP(M6)等 ...
- 华为云企业级Redis评测第一期:稳定性与扩容表现
摘要:采用Redis Labs推出的多线程压测工具memtier_benchmark对比测试下GaussDB(for Redis) 和原生Redis的特性差异. 本文分享自华为云社区<华为云企业 ...
随机推荐
- DQL-limit分页
DQL-limit分页 在我们使用查询语句的时候,经常要返回前几条或者中间某几行数据,这个时候怎么办呢?不用担心,mysql已经为我们提供了这样一个功能-limit. 一.limit概述 Limit是 ...
- Spark简单介绍,Windows下安装Scala+Hadoop+Spark运行环境,集成到IDEA中
一.前言 近几年大数据是异常的火爆,今天小编以java开发的身份来会会大数据,提高一下自己的层面! 大数据技术也是有很多: Hadoop Spark Flink 小编也只知道这些了,由于Hadoop, ...
- 详解pyautogui模块
一.安装 pip install pyautogui 或者 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyautogui 二.全 ...
- perl匹配特殊写法
my $name='4'; #找匹配4 for($name) { if(/^4$/) { print "success\n"; } else { print "faile ...
- 使用 JWT 生成 token
JWT 简介 JWT:Json Web Token 官网:https://jwt.io 优点:可生成安全性较高的 token 且可以完成时效性的检验(登陆过期检查) JWT 结构:(由官网获取) JW ...
- 基于python的数学建模---图论模型(Dijkstra)
from collections import defaultdict from heapq import * # 堆--先进后出 inf = 99999 # 不连通值 mtx_graph = [[0 ...
- i春秋Test
点开是个莫名其妙的网站...看看源码, 第一排好像有点东西 最后也有点东西,所以我们直接百度海洋CMS漏洞(https://www.freebuf.com/vuls/150042.html) 所以这里 ...
- ubuntu 22.04安装多个gcc
sudo apt install gcc-9 g++-9 sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 90 - ...
- 【Advanced Installer】打包winfrom程序出现您没有任何数字签名的实用程序。请安装平台 SDK。错误
出现这个问题的原因是设置了磁铁,此功能只会在win8.1上有效.也就是开始菜单里面的磁铁图 只需要把这个删除掉就可以解决了
- 关于python3调用matplotlib中文乱码问题
问题描述 我用来绘制柱形图,横坐标上面的数据, 但是网上大部分说的都是更改横纵坐标标签的乱码问题,而不是横坐标数据乱码问题 解决办法 更改横纵坐标上标签的中文不乱码 import matplotlib ...