Cloud Bursting解决方案,Serverless容器降本增效极致体验
本文分享自华为云社区《DTSE Tech Talk | 第42期:Cloud Bursting解决方案,Serverless容器降本增效极致体验》,作者:华为云社区精选。
线下IDC自建K8s集群容量无法满足业务峰值诉求?IDC基础设施扩容流程慢,一次性投入大,管理维护成本高?在《云原生Bursting,如何助力企业降本增效》的主题直播中,华为云云原生 DTSE 技术布道师刘雨青,聚焦华为云Serverless容器服务CCI提供的云原生Cloud Bursting解决方案,结合典型场景案例及实操演示,帮助企业和用户快速构建降本增效方案。
什么是Cloud Bursting
Cloud Bursting(云爆发)是一种在本地基础设施到达峰值容量时使用云计算资源的配置方法。当企业内部数据中心的计算资源不足时,他们会将额外的工作负载突增到外部第三方云服务。Cloud Bursting是一种方便而经济高效的方式,可为具有不同需求模式和周期性需求峰值的工作负载提供支持。
通过Cloud Bursting,云消费者可以执行以下操作:
- 高效使用本地资源
- 减少对本地基础设施的进一步投资
- 享受公有云带来的规模和灵活性
- 避免因业务激增而导致业务关键型应用程序服务中断
Cloud Bursting在云原生场景下新实现
Gartner预测,2025年,基于云原生平台的数字化业务比例将达到95%。云原生技术持续发展且市场占比不断提高, Serverless容器成为云原生2.0时代企业上云新的选择。
Serverless即通过容器来运行一个应用,且基于Serverless架构,我们无需为基础设施维护做管理,当前Serverless容器的采用规模也在逐渐增高,使用公有云Serverless容器服务可以有效降低运维成本和减少资源浪费。
华为云Serverless容器服务CCI ( Cloud Container Instance)是基于Serverless架构的容器服务。它具有极致弹性、随取随用、安全隔离、大规模多元算力、低成本等一系列特点。CCI服务是作为云原生Cloud Bursting场景下的资源提供者。云原生Bursting解决方案主要有三种接入方式——客户IDC接入、华为云容器集群接入、Console/API接入。
客户IDC接入
客户IDC场景下,即用户在自己的线下IDC中,拥有自建的K8s集群或者已使用类似华为云CCE 敏捷版服务,它托管了一套K8s集群,通过安装CCI提供的弹性套件,将自己的IDC业务弹性到云上的CCI。
华为云容器集群接入
用户通过华为云提供的CCE/ CCE Turbo,可以一键式创建K8s集群,但用户还需要自行管理Node节点。安装弹性套件后,用户可以将CCE内的高峰业务,弹性到CCI,做一个灵活的配合——用户可以将常用业务运行在集群上,高峰场景业务将它弹性到CCI。
Console/API接入
正常的接口调用,用户通过Console/API接入,进行业务下发。这种场景比较使用一些当前内部未使用K8s服务的企业,但内部具备自有的调度平台,虚机和容器同时使用,这种状态下,我们建议其可以采用这种方式。
云原生Bursting关键能力解析
云原生Bursting重要插件Virtual Kubelet
Virtual Kubelet是基于社区Virtual Kubelet开源项目开发的插件,作为一种虚拟的Kubelet用来连接Kubernetes集群和其他平台的API,主要场景是将K8s集群内业务弹性扩展到Serverless容器平台(如CCI等)。
社区VK基础能力:
- 管理VK-Node的生命周期
- 管理调度到VK-Node Pod的生命周期
- 提供节点级API(Pod Exec、Logs等)
CCI增强型VK扩展能力:
- Pod间网络互通、Service互通
- 支持挂载存储
- 智能校验、智能调度、智能屏蔽弹性资源池
- 云上日志、监控打通
- 环境一致性优化(DNS解析、Hostname、同步Event等)
- 大规模、可靠性增强
灵活的的调度控制策略
提供容器组(Pod)级别弹性控制能力
工作负载中添加virtual-kubelet.io/burst-to-cci标签,进行弹性控制,支持如下配置能力:
- auto:根据用户集群内调度器实际打分结果自动决定是否弹性至CCI,其中在TaintToleration算法上会优先选择调度到CCE节点
- localPrefer:集群资源不足时,将Pod部署到CCI
- enforce:强制调度至CCI
- off:不调度至CCI
使用Scheduler Profile对象管理弹性数量和缩容优先级
容器镜像线下线上统一管理
提供统一的镜像管理能力,简化Bursting过程镜像管理。
- 默认对接华为云SWR仓库,支持SWR企业仓库
- 提供工具一键式同步存量镜像到华为云SWR / SWR企业仓库
- 提供工具支持新增镜像的增量、定时同步华为云
- 支持直接访问自建harbor、云厂商企业仓库
- 支持通过镜像快照能力提升容器镜像下载性能,单镜像5s内下载
- Bursting弹性套件支持弹性过程中地址替换,业务配置零改造
基于Bursting套件,定义正则表达,替换pod yaml中镜像地址到华为云SWR。弹性过程业务无感,无需处理配置差异
自动匹配华为云仓库认证凭据,无需业务适配
全局的一致体验
提供全局业务统一入口
- Pod、ConfigMap、Service和Secret等资源统一从原K8s集群下发
- Pod依赖项增量同步,避免全量同步造成的带宽压力
- 支持K8s集群容器实例与弹性至CCI实例通过Service灵活互访
提供统一运维管理
- CCI Pod提供普罗标准监控接口,支持对接客户普罗监控平台
- CCI Pod内置fluent-bit插件,支持上传业务日志至kafka
- Virtual Kubelet根据用户Pod变化上报event等信息回传用户集群
云原生Bursting客户案例
基于Serverless容器打造Cloud Bursting灵活上云新体验
Q公司是全球最大的中文在线旅行网站,为消费者提供机票、酒店、会场、度假产品的实时搜索,并提供旅游产品团购以及其他旅游信息服务,为旅游行业合作伙伴提供在线技术、移动技术解决方案。
客户核心诉求:
受前期疫情等影响,客户减少IDC的硬件资源投资,改用云上资源,以降本增效。客户业务已经容器化,并在线下IDC中使用Kubernetes进行容器编排,希望减少或避免应用改造。
方案价值:
打通IDC和华为云容器CCI,实现IDC资源在公有云上弹性伸缩,云上资源按需使用,按秒计费,成本节省30+%。云上实例秒级弹性扩缩容,构筑基础设施层支撑上层业务流量变化的动态响应能力和稳定性。通过华为云提供的Virtual Kubelet组件完成从IDC的K8S集群到云上Serverless容器对接,无需客户二次开发,云上/IDC体验一致。
基于云原生Bursting打造开放、高效的云原生大数据平台
Z公司拥有2.3亿职场人用户,累计合作企业数达616万家。依托强大的数据实力,颠覆传统招聘模式,建设开放职岗生态系统,重塑人力资源市场招聘服务标准。凭借大数据和AI技术打造开放的人力资本生态,让人才和机会更精准高效的建立连接,为生态内的合作伙伴创造更多价值。
客户核心诉求 :
- 春招秋招及日常活动,算力流量上浮几倍,无法提前预测,需实时弹性。
- 未来计划与业务应用、算法业务等统一资源池和技术栈,混合部署;Yarn调度无法按部门按业务统计费用,预算申请与资源分配难。
- 原有大数据集群CPU、内存及硬盘等资源使用率低,但资源仍不足,节点弹性颗粒度大,资源浪费严重。
方案价值:
- 降本增效:改造后资源按需使用,CCE Turbo少量节点部署控制面,所有业务均弹性CCI,较之前的成本减低20%。利用云上高性能弹性资源,报表任务执行周期缩短一半,实时计算性能提高数倍。
- 统一平台:将Flink on K8s实践和经验拓展到Spark领域,构建出高效低成本云原生大数据平台,为更多人才和机会提供更高效连接,为企业提供更高价值的数据服务。
- 极致弹性助力头部社交公司轻松应对突发流量洪峰
W公司是互联网行业的重点和标杆,日活2.55亿、月活5.93亿,突发业务峰值流量高(如各种明星事件、春晚等),需要借助公有云实现快速弹性扩容能力。
客户核心诉求:
- IDC资源不足,应对突发事件难以支撑流量洪峰;
- 流量预警后,弹性伸缩效率低下,未及时扩容导致业务中断后难以快速恢复,直到流量洪峰退去;
- 远高于日常流量需求,高规格部署,资源成本造成巨大浪费。
方案价值:
日峰伸缩,每日业务高峰触发扩容,按需申请资源,按需计费,节省资源成本30%+;热点事件平稳运行,规模虚机+容器实例扩容运行业务,30秒扩容2.4万核,帮助W公司应对50+次热点事件突发流量。
更多华为云Serverless容器服务CCI以及量身定制Cloud Bursting解决方案,欢迎访问华为云官网:
- 产品页:https://www.huaweicloud.com/product/cci.html
- 帮助中心:https://support.huaweicloud.com/cci/index.html
Cloud Bursting解决方案,Serverless容器降本增效极致体验的更多相关文章
- kubernetes 降本增效标准指南| 容器化计算资源利用率现象剖析
作者:詹雪娇,腾讯云容器产品经理,目前主要负责腾讯云集群运维中心的产品工作. 张鹏,腾讯云容器产品工程师,拥有多年云原生项目开发落地经验.目前主要负责腾讯云TKE集群和运维中心开发工作. 引言 降本增 ...
- kubernetes 降本增效标准指南|ProphetPilot:容器智能成本管理引擎
作者 田奇,腾讯云高级工程师,专注大规模离在线混部,弹性伸缩,云原生成本优化,熟悉Kubernetes,关注云原生大数据.AI. 王孝威,腾讯云容器产品经理,热衷于为客户提供高效的 Kubernete ...
- 降本超30%,智聆口语通过 TKE 注册节点实现 IDC GPU 节点降本增效实践
背景介绍 腾讯云智聆口语评测(Smart Oral Evaluation,SOE)是腾讯云推出的中英文语音评测产品,支持从儿童到成人全年龄覆盖的语音评测,提供单词.句子.段落.自由说等多种评测模式,从 ...
- kubernetes 降本增效标准指南|理解弹性,应用弹性
弹性伸缩在云计算领域的简述 弹性伸缩又称自动伸缩,是云计算场景下一种常见的方法,弹性伸缩可以根据服务器上的负载.按一定的规则.进行弹性的扩缩容服务器. 弹性伸缩在不同场景下的含义: 对于服务运行在自建 ...
- kubernetes 降本增效标准指南| 资源利用率提升工具大全
背景 公有云的发展为业务的稳定性.可拓展性.便利性带来了极大帮助.这种用租代替买.并且提供完善的技术支持和保障的服务,理应为业务带来降本增效的效果.但实际上业务上云并不意味着成本一定较少,还需适配云上 ...
- 宙斯盾 DDoS 防护系统“降本增效”的云原生实践
作者 tomdu,腾讯云高级工程师,主要负责宙斯盾安全防护系统管控中心架构设计和后台开发工作. 导语 宙斯盾 DDoS 防护系统作为公司级网络安全产品,为各类业务提供专业可靠的 DDoS/CC 攻击防 ...
- 阿里云宣布 Serverless 容器服务 弹性容器实例 ECI 正式商业化
摘要: 阿里云宣布弹性容器实例 ECI(Elastic Container Instance)正式商业化,ECI 是阿里云践行普惠的云计算理念,将 Serverless 和 Container 技术结 ...
- 降本增效利器!趣头条Spark Remote Shuffle Service最佳实践
王振华,趣头条大数据总监,趣头条大数据负责人 曹佳清,趣头条大数据离线团队高级研发工程师,曾就职于饿了么大数据INF团队负责存储层和计算层组件研发,目前负责趣头条大数据计算层组件Spark的建设 范振 ...
- 英特尔内存革新助平安云 Redis 云服务降本增效
英特尔内存革新助平安云 Redis 云服务降本增效 英特尔 傲腾 数据中心级持久内存的引入,为平安云的降本增效开启了一条新的道路.通过对平安云 Redis 数据库产品的支持,用户能享受到性能优异且价格 ...
- 京东云开发者|ElasticSearch降本增效常见的方法
Elasticsearch在db_ranking 的排名又(双叒叕)上升了一位,如图1-1所示;由此可见es在存储领域已经蔚然成风且占有非常重要的地位. 随着Elasticsearch越来越受欢迎,企 ...
随机推荐
- 国产MCU兆易GD32实现矩阵按键扫描
一.矩阵键盘 为了减少I/O口的占用,通常将按键排列成矩阵形式.在矩阵式键盘中,每条水平线和垂直线在交叉处不直接连通,而是通过一个按键加以连接.使用8个io口来进行16个按键的控制读取,可以减 ...
- LLaMA模型微调版本:斯坦福 Alpaca 详解
项目代码:https://github.com/tatsu-lab/stanford_alpaca 博客介绍:https://crfm.stanford.edu/2023/03/13/alpaca.h ...
- Google Colab:云端的Python编程神器
Google Colab,全名Google Colaboratory,是Google Research团队开发的一款云端编程工具,它允许任何人通过浏览器编写和执行Python代码.Colab尤其适合机 ...
- 使用Stable Diffusion生成艺术二维码
在数字艺术的世界中,二维码已经从单纯的信息承载工具转变为可以展示艺术表达的媒介.这是通过使用Stable Diffusion的技术实现的,它可以将任何二维码转化为独特的艺术作品.接下来,我们将一步步教 ...
- 一文了解io包中的discard类型
1. 引言 io.discard是Go语言标准库提供一个结构体类型,其在丢弃不需要的数据场景下非常好用.本文我们将从io.discard 类型的基本定义出发,讲述其基本使用和实现原理,接着简单描述 i ...
- ISP图像处理之Demosaic算法及相关
CFA及Demosaic介绍 1.Bayer(拜耳滤波器得到彩色) 图像在将实际的景物转换为图像数据时, 通常是将传感器分别接收红. 绿. 蓝三个分量的信息, 然后将红. 绿. 蓝三个分量的信息合成彩 ...
- kali下对压缩包的压缩与解压(转)
kali linux 压缩文件解压缩命令(包含7z) tar tar 解包:tar xvf FileName.tar 打包:tar cvf FileName.tar DirName (注:tar是打包 ...
- 解读 --- yield 关键字
引言 yield关键字是 C# 中的一种语言特性,用于在枚举器中简化迭代器的实现.它使得开发人员可以通过定义自己的迭代器来简化代码,而不必手动实现 IEnumerable 和 IEnumerator ...
- Centos7安装Python3.x
一.修改yum源 查看Centos发行版本 cat /etc/redhat-release 换阿里云yum源 备份原始yum源 mv /etc/yum.repos.d/CentOS-Base.repo ...
- 图技术在 LLM 下的应用:知识图谱驱动的大语言模型 Llama Index
LLM 如火如荼地发展了大半年,各类大模型和相关框架也逐步成型,可被大家应用到业务实际中.在这个过程中,我们可能会遇到一类问题是:现有的哪些数据,如何更好地与 LLM 对接上.像是大家都在用的知识图谱 ...