阿里云数据库再获学术顶会认可,一文全览VLDB最新亮点
一年一度的数据库领域顶级会议VLDB 2019于当地时间8月26日-8月30日在洛杉矶圆满落幕。在本届大会上,阿里云数据库产品团队浓墨登场,不仅有多篇论文入选Research Track和Industrial Track,为了进一步加深产学研学术交流,阿里云还在大会期间举办了“阿里之夜”交流晚宴。
8月29日晚,超200名论文作者、行业专家、来自MIT、CMU等高校的学术界资深教授、学者和产业界人士共赴“阿里之夜——Alibaba Night Networking Event“,活动空前爆满。在轻松氛围中,参会者共同探讨全球数据库生态,并就阿里云目前在数据库和大数据方面的最新技术进展进行交流与研讨,开启了一场智慧碰撞的盛宴。
在VLDB大会上,阿里巴巴集团副总裁、阿里云数据库事业部总裁、达摩院数据库首席科学家李飞飞进行题为《Cloud Native Database System at Alibaba: Opportunities and Challenges》的主题演讲。李飞飞分享了云原生数据库在阿里发展的心路历程,并表示:“云原生数据库天然拥有云计算的弹性能力,不仅具备开源数据库的易用、开放特点,而且拥有传统数据库的管理和处理性能等优势“。
他还详细介绍了阿里云自研数据库的两款明星产品:OLTP数据库——POLARDB基于共享存储的Scale-up 架构和基于分片的scale-out分布式架构,以及OLAP数据库——AnalyticDB的MPP架构、极具特色的全索引和行列混存结构,以及在海量数据场景下极致性能。
领跑数据时代 技术实力再获权威认可
VLDB大会全称International Conference on Very Large Data Bases,是数据库及相关领域研究者、供应商、参与者、应用开发者所广泛关注的主要国际学术会议,也是公认的数据库领域三大顶级会议 (SIGMOD、VLDB、ICDE) 之一,反映了当前数据库研究的前沿方向、工业界的最新技术以及各国的研发水平。在发表论文难度和受关注程度上,与SIGMOD可谓并驾齐驱。
根据大会官方公布,今年VLDB共接收了128篇Research Paper、22篇Industrial Paper和48个Demo。从投稿数量与录用率来看,Research Paper投稿677篇,录用率18.9%,Industry Paper为72/30.6%,只有具有极高创新性的论文才有机会被VLDB录用。
作为阿里巴巴IT基础设施的重要组成部分,阿里云数据库在工程实践和技术创新上一直走在领域前列,相关研究成果已多次入选国际数据库顶级会议(SIGMOD、VLDB、ICDE等)。本次VLDB大会,阿里云数据库共有3篇论文被收录,下面小编将对入选的论文佳作进行汇总赏析,萃取精华之精华,以飨读者。
No.1
论文题目:《S3: A Scalable In-memory Skip-List Index for Key-Value Store》
亮点:阿里云携手浙江大学的最新联合研究成果入选Industrial Track
作者:浙江大学Jingtian Zhang、Sai Wu、Zeyuan Tan、Gang Chen,阿里云数据库产品事业部成柱石、曹伟、高玉嵩、酆晓杰
附送论文下载链接:http://www.vldb.org/pvldb/vol12/p2183-zhang.pdf
本文贡献
- 针对 Skip List 这种被广泛使用的索引结构,对其在高并发场景下的性能表现进行了详实的测试验证,建立数据模型分析在垂直下降和水平移动两个不同方向上的 cost-model,确立 Skip List 在当前实现下的性能上限。
- 基于上述模型分析,设计实现了 S3:A Scalable In-memory Skip-List Index,通过分层的方法把整个结构分为两部分:Top layer 利用 cache-sensitive 的数据结构来索引 bottom layer 的部分节点(guard entries),以大幅降低现有 Skip-List 在垂直下降过程中的性能损耗;Bottom layer 维护一个低层高的 Semi-ordered Skip-List,由多个 guard entries 分隔开,各 entries 之间有序、内部无序,以进一步提升其在插入方面的优势。
- 考虑到 guard entryies 选择的非确定性,结合实际场景中业务 workload 变化比较平滑,引入 Neural Model 来指导其selection,以达到更优的优化效果。
VLDB评委点评
“Many previous in-memory indexes, although showing significantly better performance than skip-list, have not been integrated with the real systems and thus, there is no clue about how they will work with other system modules. S3, on the other hand, can be easily integrated with the disk part of RocksDB and LevelDB, because it maintains the same interface.
The top layer is cache-oblivious, while the bottom layer can speed up the lookup operations of skip-list.
It’s an interesting idea to use a neural model, LSTM, to tune the index, i.e., optimizing guard entry selection and using some rules to optimize multi-thread access.
Extensive experiments for comparison of the proposed method with different in-memory indexes have been conducted and the result shows benefit, not to mention that it is implemented in a real system RocksDB.”
No.2
论文题目:《iBTune: Individualized Buffer Tuning for Large-scale Cloud Databases》
亮点:阿里巴巴在数据库智能化方向的重要里程碑,入选Research Track
作者:阿里云谭剑、铁赢、飞刀、艾奥、祺星、池院、洪林、石悦、鸣嵩、张瑞
附送论文下载链接:http://www.vldb.org/pvldb/vol12/p1221-tan.pdf
本文贡献
基于数据驱动和机器学习算法的数据库参数优化是近年来数据库智能优化的一个热点方向,但也面临着很大的技术挑战。要解决的问题是在大规模数据库场景下,如何对百万级别运行不同业务的数据库实例完成自动配置,同时权衡性能和成本,在满足SLA的前提下资源成本最低,该技术对于CSP(Cloud Service Provider)有重要价值。
学术界近一两年在该方向有一些研究(比如CMU的OtterTune),但该算法依赖于一些人工先验经验且在大规模场景下不具备可扩展性。据了解, 其他云厂商Azure SQL Database以及AWS该方向都有投入,目前尚未看到相关论文或产品发布。
从18年初开始,阿里云开始数据库智能参数优化的探索,从问题定义,关键算法设计,算法评估及改进,到最终端到端自动化流程落地,多个团队通力合作完成了技术突破且实现了大规模落地。
这项工作不仅在数据库智能参数优化理论方面提出了创新想法,而且目前已经在阿里集团~10000实例上实现了规模化落地,累计节省~12%内存资源,是目前业界唯一一家真正实现数据库智能参数优化大规模落地的公司。
经过算法探索和端到端自动Buffer Pool优化流程建设,FY2019集团内全网最终优化 ~10000 个实例,将整体内存使用量从 217T内存缩减到 190T内存,节省 12.44%内存资源(27TB)。
论文深度解读请戳↓:
前沿 | VLDB 2019论文解读:阿里巴巴大规模数据库智能参数优化的创新与实践
VLDB评委点评
Lessons learned from tuning many database instances in a production system offer interesting insights to the data management community.
It is encouraging to see how deep neural networks can help with tuning a parameter of the database system and how its results are used by the control plane of a large scale deployment to tune many database instances in a rolling fashion.
No.3
论文题目:《AnalyticDB: Realtime OLAP Database System at Alibaba Cloud》
亮点:阿里云大规模、海量数据实时分析型数据库系统——AnalyticDB最新研究成果入选Industrial Track
作者:阿里云数据库产品事业部占超群、苏茂萌、魏闯先、彭晓强、林亮、汪晟、陈哲、李飞飞、潘岳、郑方、柴成亮
附送论文下载链接:http://www.vldb.org/pvldb/vol12/p2059-zhan.pdf
本文贡献
已有的分析型数据库(以下简称OLAP)诸如Impala、Pinot、Druid等,总结了OLAP系统在设计的过程中应该解决的问题:低延迟、数据新鲜度、多样性、低成本、高扩展性、高可靠性。和这些已有的OLAP系统相比,AnalyticDB承载着更大的规模:2000+台物理机器、10PB+规模数据、百万张数据表以及万亿条数据行。
论文讲述了AnalyticDB如何在设计与实现上,不仅解决了已有OLAP系统的问题,还攻克了以下三大业界难题:
- 1) 随着用户分析需求的急剧增加,用户的查询变得复杂且多样化:这些查询涵盖点查询、全表扫描、多表关联等,还会包含对任意列组合的筛选条件。如何在这种复杂分析场景下依然保证大部分甚至所有查询的低延迟,是一个非常大的挑战;
- 2) 如何在保证低延迟查询的情况下,仍然能处理每秒千万级别的写吞吐。传统的设计理念在同一条链路上同时处理读写请求,这会造成读写性能的互相严重影响。
- 3) 复杂分析场景下,会对行存、列存、关系型存储、复杂数据类型(JSON、vector、text)都有着强烈需求。如何设计一个对这些存储格式都很友好的存储层,也是一个业界难题。
深度解读请戳↓:
前沿 | VLDB论文解读:阿里云超大规模实时分析型数据库AnalyticDB
VLDB评委点评
This paper presents a solid OLAP database integrating a few interesting and well-designed ideas including an asynchronous all-column index, an extended hybrid row-column layout and a read/write decoupling architecture. The presentation is clear and the solution has been shown to be effective empirically.
The combination of different design choices indicate that the system achieves significant performance improvements over other similar systems.
本文作者:Roin
本文为云栖社区原创内容,未经允许不得转载。
阿里云数据库再获学术顶会认可,一文全览VLDB最新亮点的更多相关文章
- 再不懂时序就 OUT 啦!,DBengine 排名第一时序数据库,阿里云数据库 InfluxDB 正式商业化!
云数据库 InfluxDB® 版介绍 阿里云数据库 InfluxDB® 版已于近日正式启动商业化 . 云数据库 InfluxDB® 是基于当前最流行的开源数据库 InfluxDB 提供的在线数据库服务 ...
- 【IT名人堂】何云飞:阿里云数据库的架构演进之路
[IT名人堂]何云飞:阿里云数据库的架构演进之路 原文转载自:IT168 如果说淘宝革了零售的命,那么DT革了企业IT消费的命.在阿里巴巴看来,DT时代,企业IT消费的模式变成了“云服务+数据”, ...
- 从运维的角度分析使用阿里云数据库RDS的必要性--你不应该在阿里云上使用自建的MySQL/SQL Server/Oracle/PostgreSQL数据库
开宗明义,你不应该在阿里云上使用自建的MySQL or SQL Server数据库,对了,还有Oracle or PostgreSQL数据库. 云数据库 RDS(Relational Database ...
- 重新定义数据库的时刻,阿里云数据库专家带你了解POLARDB
摘要:POLARDB是阿里云ApsaraDB数据库团队研发的基于云计算架构的下一代关系型数据库,其最大的特色是计算节点与存储节点分离,借助优秀的RDMA网络以及最新的块存储技术.POLARDB不但满足 ...
- 赋能时空云计算,阿里云数据库时空引擎Ganos上线
随着移动互联网.位置感知技术.对地观测技术的快速发展,时空信息已从传统GIS行业渗透到大众应用及各行各业.从静态POI(兴趣点)到APP位置信息,从导航电子地图到车辆行驶轨迹,从卫星影像到三维城市建模 ...
- Future Maker | 领跑亚太 进击的阿里云数据库
7月31日,阿里云马来西亚峰会在吉隆坡召开,阿里巴巴集团副总裁.阿里云智能数据库事业部总裁李飞飞在演讲中表示:“作为亚太地区第一的云服务提供商,阿里云数据库已为多家马来西亚知名企业提供技术支持,助力企 ...
- 公网访问阿里云数据库MongoDB——填坑日记
业务情景 两台服务器,一台阿里云ECS云服务器(专用网络),另一台是阿里云数据库MongoDB,处于安全考虑MongoDB是不运行外网连接的,那接下来就看怎么实现公网访问. 看到上面红色的网络类型描述 ...
- 云栖神侠传—阿里云数据库专家德歌告诉你PostgreSQL的那些事
什么是云栖神侠传: 云栖社区(http://yq.aliyun.com/?utm_source=yqdg),是阿里云面向开发者群体的开放型社区.在云栖社区中,活跃着许多阿里技术大牛,他们在自己的技术领 ...
- 阿里云数据库RDS迁移,DTS 迁移过程中,是否会锁表,对源数据库是否有影响?
阿里云数据库RDS迁移,DTS 迁移过程中,是否会锁表,对源数据库是否有影响? DTS 在进行全量数据迁移和增量数据迁移的过程中,均不会对源端数据库进行锁表,因此在全量数据迁移和增量数据迁移的过程中, ...
随机推荐
- 异或+桶——cf768C
有个结论是到最后肯定出现循环节..感觉这种做法有点歪 正解当然是题解啦 虽然到了1e8,但是cf上还是能过的 #include<bits/stdc++.h> #define rep(i,s ...
- LUOGU P2860 [USACO06JAN]冗余路径Redundant Paths (双联通,缩点)
传送门 解题思路 刚开始是找的桥,后来发现这样不对,因为一条链就可以被卡.后来想到应该缩点后找到度数为1 的点然后两两配对. #include<iostream> #include< ...
- Mysql中“select ... for update”排他锁(转)
原帖地址 https://blog.csdn.net/claram/article/details/54023216 Mysql InnoDB 排他锁 用法: select … for update; ...
- Han Xin and His Troops(扩展中国剩余定理 Python版)
Han Xin and His Troops(扩展中国剩余定理 Python版) 题目来源:2019牛客暑期多校训练营(第十场) D - Han Xin and His Troops 题意: 看标 ...
- Font Awesome 完全兼容 Bootstrap 的所有组件。
"F_FullName": "其他", "F_Icon": "glyphicon glyphicon-backward fa-lg ...
- Static 关键字的 5 种用法,你会几种?
); System.out.println(Thread.currentThread().getName() ...
- TIB、TEB 信息
https://en.wikipedia.org/wiki/Win32_Thread_Information_Block 这是重点 Position Length Windows Versions D ...
- tbody设置超出固定的高度出现滚动条,没超出不显示。
没有超出时显示样式,不显示滚动条: 超出时显示滚动条: 1.html <table class="table"> <thead> <tr> &l ...
- CSS - 定位相关
定位 (position) 1. 相对定位 (relative) 相对于元素原来的位置进行移动 2. 绝对定位 (absolute) 如果父级元素中有相对定位属性, 则参照父级元素进行定位, 默认参照 ...
- springBoot_JPA和lombok
一.JPA 特点:JPA可以根据方法名自动匹配sql语句. JPA是一个标准 Hibernate是JPA的一个实现,宗旨是尽量少写sql语句. 使用JPA 1.application.properti ...