双11大考 POLARDB分钟级弹性让企业轻松扩展
无处不在的脉冲计算
阿里有双11,中国有春运,高考后有分数出来的那天,歌迷心中有周杰伦演唱会门票在线开售之时。。。。有人的地方就有江湖,有人的地方也有脉冲计算,这些热点事件背后都需要大量的计算资源给予支撑,而这些突然急需的计算资源就像脉冲一样,急迫而猛烈,我们称之为脉冲计算。不仅ECS服务器,数据库也需要应对这些突如其来的脉冲波动,才能保证整个系统的平滑稳定。
存储与计算分离
我们知道POLARDB一个最大的特点是存储与计算分离,所谓分离就是计算节点(DB Engine)和存储节点(DB Store)在不同的物理服务器上,任何落地到存储设备的I/O操作均为网络I/O。可能会有人问,走网络,延迟怎么样,性能好不好?在『性价比』这篇文章中简单介绍过借助PolarFS经过网络访问PolarStore的测试效果,与本地单副本SSD几乎持平,这里就不再赘述。
POLARDB的存储与计算分离的架构,除了可以降低存储成本,保证主备数据强一致、不丢数据之外,还带来了一个巨大的优势,就是让数据库的『弹性伸缩』变得极为简单、便捷。
做数据库弹性的挑战
虽然弹性伸缩是云的一大特点,很多人也正是看上这一点,才把自己的IT系统搬迁到云上。但数据库的弹性伸缩一直都是业界难题,不同于纯粹提供计算服务的ECS,数据库要想做好弹性需要应对这些问题:
- 首先,横向扩展难。数据库往往是业务系统的核心。数据必须流动、共享才有价值,因此在规模还不算很大的时候,数据库一般都是集中式部署,这样用起来简单,比如多个业务库的查询,一个SQL就出来了。所以,对于数据库很难通过横向增加服务器数量,达到线性的扩展能力。
- 其次,0宕机要求。数据库的核心地位决定了一旦数据库故障,真个业务就会瘫痪。因此数据库是一定要做高可用,屏蔽任何的硬件故障,来保障业务不间断。既要保障高可用,又要做弹性伸缩,就好像在高速飞行的飞机上换引擎,难度可想而知。
- 再次,数据比计算『重(zhong)』。数据库的本质是存数据,但数据本质上是存储在存储设备上的,当你发现存储设备I/O性能不够时,升级存储设备并不是一件容易的事。同样,假如数据和计算在同一台物理机时,这台物理机的CPU核数和主频,就决定了计算力的上限,很难扩容。
现在,当突破了存储与计算分离的性能瓶颈后,结合多节点共享同一份数据的架构设计,我们终于可以在数据库的弹性伸缩领域有了新的进展。
POLARDB的弹性优势
如上图,POLARDB是一个分层架构,从上层的代理PolarProxy提供了读写分离、SQL加速等功能,到中间的数据库引擎节点PolarDB构造了一写多读的数据库集群,再到底层的分布式存储PolarStore为上层提供多节点挂载的数据共享,每一层各司其职,共同构建了POLARDB云数据库集群。
从POLARDB产品定义上看,用户购买的节点数和规格大小(比如4核16G)指的是中间这一层PolarDB的配置,上层PolarProxy可以根据PolarDB的配置自适应调整,用户不需购买也不用关心性能和容量。底层PolarStore的容量是自动扩容,只须按照实际使用容量付费。
通常意义的扩展性,一般有纵向(Scale up)和横向(Scale out)和两种方式,纵向是指提升配置,横向是指配置不变,但增加节点。对于数据库来说,都是先纵向,比如4核不够升到8核。但终归会遇到瓶颈,一方面性能提升非线性,跟数据库引擎自身的设计和应用访问模型有关(比如MySQL的多线程设计,如果只有一个session,那么很难体现出多核的优势),另一方面,计算物理服务器配置有上限,存在天花板。因此终极手段还是横向扩展,增加节点数。
一句话概括,__POLARDB横向最多可以到16个节点,纵向最高可到88核 ,存储容量动态扩展,毋须配置。__
纵向扩展(升级/降级配置)
得益于存储与计算分离,我们可以单独升级或降级POLARDB数据库节点的配置,如果当前服务器资源不足,还可以快速地迁移到其他服务器,整个过程只需要5-10分钟(持续优化中),中间不需要任何的数据搬迁,只是如果涉及到跨机迁移,可能会有几十秒的连接闪断(未来,这个影响可以通过PolarProxy消除掉,升级对业务应用完全无影响)。
因为目前同一集群内的所有节点必须绑定升级,因此我们会采用非常柔和的Rolling Upgrade滚动升级的方式,通过控制升级的节奏、搭配主备切换来进一步减少不可用时间。
横向扩展(增/减节点)
由于存储是共享的,因此可以快速增加节点,而不需要任何的数据COPY。整个过程也只需要5-10分钟(持续优化中),如果是增加节点,对业务应用没有任何影响,如果是减少节点,那么仅对落到该节点执行的连接有影响,重练即可。
当增加节点之后,PolarProxy可以动态感知并自动加入到读写分离后端的读节点中,对于使用集群访问地址(读写分离地址)连接POLARDB的应用程序可以立马享受到更好的性能和吞吐。
毋须管理的存储空间
POLARDB的存储空间不需要关心,用多少付多少钱,每小时自动结算。
对于I/O能力,目前的设计是跟数据库节点的规格有关系,规格越大,IOPS和I/O吞吐量越高,在节点上对I/O有隔离和限制,避免多个数据库集群之间的I/O争抢。
本质上,数据是被保存在由大量服务器构成的存储池中,由于可靠性要求,每个数据块复制出3个副本,保存在不同机架的不同服务器上。存储池能够进行自我管理,动态扩容、平衡,避免存储碎片和数据热点。
典型场景
某位于北京的在线教育公司在云上部署了一个小学生在线答题考试系统,平时有5万到10万人在线,周末有20万,考试高峰期能达到50万到100万,数据规模500G以内。主要难点在于高用户并发访问,读写争用,I/O较高,如果一直买最高配置,成本又接受不了。通过使用POLARDB,借助快速弹性的能力,在高峰期临时增加数据库配置和集群规模,与之前的方案相比整体成本下降了70%。
双11大考 POLARDB分钟级弹性让企业轻松扩展的更多相关文章
- 备战双 11!蚂蚁金服万级规模 K8s 集群管理系统如何设计?
作者 | 蚂蚁金服技术专家 沧漠 关注『阿里巴巴云原生』公众号,回复关键词"1024",可获取本文 PPT. 前言 Kubernetes 以其超前的设计理念和优秀的技术架构,在容器 ...
- 第四章 电商云化,4.2 集团AliDocker化双11总结(作者: 林轩、白慕、潇谦)
4.2 集团AliDocker化双11总结 前言 在基础设施方面,今年双11最大的变化是支撑双11的所有交易核心应用都跑在了Docker容器中.几十万Docker容器撑起了双11交易17.5万笔每秒的 ...
- 最强CP!阿里云联手支付宝小程序如何助力双11?
作为首次“全面上云”的双11,阿里云征服了每秒订单峰值54.4万笔的世界新记录.正是在阿里云的保驾护航下,即使访问量是平时的5到6倍,小程序也鲜少出现卡顿或者宕机的现象,“依靠阿里云,我们整个天猫双1 ...
- 媲美5G的Wifi网速、“备战”资产一键领……揭秘双11小二背后的保障力量
如今,双11不光是购物狂欢节,更是对技术的一次“大考”,对于阿里巴巴企业内部运营的基础保障技术而言,亦是如此. 回溯双11历史,这背后也经历过“小米加步枪”的阶段:作战室从随处是网线,交换机放地上的“ ...
- 第八章 交互技术,8.4 Weex 双11会场大规模应用的秒开实战和稳定性保障(作者:鬼道)
8.4 Weex 双11会场大规模应用的秒开实战和稳定性保障 前言 Native 开发的诸多亮点中,流畅体验和系统调用是最多被提及的.流畅体验体现在页面滚动/动画的流畅性,背后是更好的内存管理和更接近 ...
- 我们知道CDN护航了双11十年,却不知道背后有那么多故事……
情不知如何而起,竟一往情深.恰如我们.十年前,因为相信,所以看见.十年后,就在眼前,看见一切. 当2018天猫双11成交额2135亿元的大屏上,打出这么一段字的时候,参与双11护航的阿里云CDN技术掌 ...
- 深入探访支付宝双11十年路,技术凿穿焦虑与想象极限 | CYZONE特写
小蚂蚁说: 双11十年间,交易规模的指数级增长不断挑战人们的想象力,而对蚂蚁技术团队来说,这不仅是一场消费盛宴,而是无数次濒临压力和焦虑极限的体验,更是技术的练兵场.如今双11对蚂蚁金服而言,已经绝不 ...
- 2684亿!阿里CTO张建锋:不是任何一朵云都撑得住双11
2019天猫双11 成交额2684亿! "不是任何一朵云都能撑住这个流量.中国有两朵云,一朵是阿里云,一朵叫其他云."11月11日晚,阿里巴巴集团CTO张建锋表示,"阿里 ...
- 订单峰值激增 230%,Serverless 如何为世纪联华降本超 40%?|双11 云原生实践
作者 | 朱鹏 导读:2020 年 双11,世纪联华基于阿里云函数计算 (FC) 弹性扩容,应用于大促会场 SSR.线上商品秒杀.优惠券定点发放.行业导购.数据中台计算等多个场景,业务峰值 QPS 较 ...
随机推荐
- centos7安装完成之后必要的配置
一配置yum源 curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo wget ...
- 2017 ACM-ICPC乌鲁木齐网络赛 B. Out-out-control cars(计算几何 直线相交)
题目描述 Two out-of-control cars crashed within about a half-hour Wednesday afternoon on Deer Park Avenu ...
- 【Java】时间戳与Date相互转换
时间戳转Date public static void main(String[] args) { // 10位的秒级别的时间戳 long time1 = 1527767665; String res ...
- LOJ 2541 「PKUWC2018」猎人杀——思路+概率+容斥+分治
题目:https://loj.ac/problem/2541 看了题解才会……有三点很巧妙. 1.分母如果变动,就很不好.所以考虑把操作改成 “已经选过的人仍然按 \( w_i \) 的概率被选,但是 ...
- textarea 根据光标位置添加内容
// 获取焦点 let txt = document.getElementById("countRule"); let temp = txt.value; txt.focus(); ...
- Android setXfermode 模式
参考:http://onewayonelife.iteye.com/blog/1169176 setXfermode 设置两张图片相交时的模式 我们知道 在正常的情况下,在已有的图像上绘图将会在 ...
- HTMLTestRunner优化:带截图、饼图、失败重跑
github地址:https://github.com/yoyoketang/sele_project_th9
- Linux下MySQL 命令导入导出sql文件
导出数据库 直接使用命令: mysqldump -u root -p database >database.sql 然后回车输入密码就可以了: mysqldump -u 数据库链接用户名 -p ...
- note《JavaScript 秘密花园》
点我跳转 (一)JavaScript-Garden-Object (二)JavaScript-Garden-Function (三)JavaScript-Garden-Array (四)JavaScr ...
- 搜索的应用--计算最优解:Aizu - ALDS1_4_D Allocation
搜索的应用-计算最优解 题目: You are given nn packages of wiwi kg from a belt conveyor in order (i=0,1,...n−1i=0, ...