日前,全球权威咨询与服务机构Forrester发布了《The Forrester WaveTM: Cloud Data Warehouse, Q4 2018》报告。这是Forrester Wave首次发布关于云数仓解决方案(Cloud Data Warehouse,简称CDW)的测评。报告对云数仓的当前产品功能、产品路线和发展策略、市场表现等几个方面进行全面的评估,在产品能力排行榜中,阿里云力压微软排行第7。

Forrester测评报告对CDW核心功能的评估主要从解决方案的多样性、数据集成、性能和弹性扩展、安全性等方面进行,Forrester给出的评价是:阿里云(MaxCompute+DataWorks+ADB)在广泛的基础设施之上提供了一个可靠的数据分析平台,能够满足客户实时和EB规模的数据处理需求。此前媒体已经报道了DataWorks的相关细节,今天我们就来聊聊MaxCompute。

EB级数据处理能力

首先来看一组数据。

2018年双11,MaxCompute单日数据处理超过600PB,平稳支撑电商混布单元在线流量洪峰12万笔/s交易,稳定承载45%导购流量,为双11交易峰值提供了有力保障和平滑支撑。

根据官方介绍,MaxCompute是一种快速、完全托管的数据仓库解决方案,通俗地理解就是大型分布式数据计算,所以大规模计算是最基础的能力。MaxCompute已经是阿里巴巴的主力计算平台,支持了整个阿里巴巴集团内部99%的大数据存储和95%的计算,数据规模已达到EB级,上文提到的双11场景就很好地体现了规模这能力。

当然,它和传统 Hadoop 相比还有其它的优势。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

整体来说有如下特点:

●  MaxCompute在计算引擎、分布式存储上做了优化,在Sort Benchmark中MaxCompute消耗的时间和成本都是最低,保证了最优性价比。

●  服务器资源、集群规模都是动态的弹性拓展,无需用户关心。

●  支持SQL、MR、迭代计算、内存计算、图计算等计算模型。

经历了大规模应用实践

据了解,目前MaxCompute正在为全球企业提供大数据计算能力。阿里巴巴通用计算平台负责人关涛曾表示,“在公共云上,MaxCompute每年以250%的用户量和计算量在增长,并在全球十几个国家和地区部署服务,为当地企业提供计算力。”

例如,城市大脑的底层就在使用MaxCompute做存储和大数据计算,支持了杭州、澳门、吉隆坡等城市进行智能化升级。这其中,由MaxCompute、PAI、流计算服务组成的计算平台发挥了巨大的价值。

不仅如此,MaxCompute在各大行业已经有广泛应用:

天气预测有着广泛的需求群体,每天几亿次的天气查询需求和近几十亿次的广告请求, MaxCompute则很好地应对了这一挑战。MaxCompute帮助墨迹天气实现了对每天上亿用户的天气查询需求的快速响应和几十亿次广告请求的精准投放。 互联网保险行业,MaxCompute帮助众安实现精准的用户画像分析,助力企业为数亿用户提供数十亿的保单服务,提升企业效率的同时,为亿万用户送去健康与安全。

总而言之,只要有海量数据处理需求的场景,MaxCompute都能通过阿里云为用户提供快速、稳定的计算能力。

结语

从Forrester的本次研究报告可以看出,大数据技术已经进入CDW阶段,在广泛的基础设施之上提供一个可靠的数据分析平台,满足客户实时和大规模数据计算成为核心需求。

MaxCompute作为大数据计算平台,不只是单一引擎,更是面向企业的完整服务。在过去10年中,MaxCompute稳定支撑阿里集团所有数据业务的同时,早已将强大的数据能力普惠给广泛的云上企业。基于MaxCompute构建稳定、安全、可扩展及与应用系统高效交互的数据中台,已成为众多行业下客户数字转型的首选方案。

 
更多技术干货 请关注阿里云云栖社区微信号 :yunqiinsight

揭秘阿里云EB级大数据计算引擎MaxCompute的更多相关文章

  1. 王坚十年前的坚持,才有了今天世界顶级大数据计算平台MaxCompute

    如果说十年前,王坚创立阿里云让云计算在国内得到了普及,那么王坚带领团队自主研发的大数据计算平台MaxCompute则推动大数据技术向前跨越了一大步. 数据是企业的核心资产,但十年前阿里巴巴的算力已经无 ...

  2. Apache Flink 为什么能够成为新一代大数据计算引擎?

    众所周知,Apache Flink(以下简称 Flink)最早诞生于欧洲,2014 年由其创始团队捐赠给 Apache 基金会.如同其他诞生之初的项目,它新鲜,它开源,它适应了快速转的世界中更重视的速 ...

  3. 大数据计算引擎之Flink Flink CEP复杂事件编程

    原文地址: 大数据计算引擎之Flink Flink CEP复杂事件编程 复杂事件编程(CEP)是一种基于流处理的技术,将系统数据看作不同类型的事件,通过分析事件之间的关系,建立不同的时事件系序列库,并 ...

  4. 什么是大数据计算服务MaxCompute

    大数据计算服务(MaxCompute,原名ODPS)是一种快速.完全托管的EB级数据仓库解决方案. 当今社会数据收集手段不断丰富,行业数据大量积累,数据规模已增长到了传统软件行业无法承载的海量数据(百 ...

  5. 免费带你体验阿里巴巴旗舰大数据计算产品MaxCompute

    什么是MaxCompute? 众所周知,MaxCompute是阿里云推出的承载EB级的数据存储能力,百PB级的单日计算能力,公共云覆盖国内外十几个国家和地区,专有云包含城市大脑在内部署超过100+套的 ...

  6. 首次公开!单日600PB的计算力--阿里巴巴EB级大数据平台的进击

    MaxCompute作为阿里巴巴的主力计算平台,在2018年的双11中,再次不负众望,经受住了双11期间海量数据和高并发量的考验.为集团的各条业务线提供了强劲的计算力,不愧是为阿里巴巴历年双11输送超 ...

  7. 阿里云ODPS <====>蚂蚁大数据

    1.命令行客户端工具的安装参考文档:http://repo.aliyun.com/odpscmd/?spm=a2c4g.11186623.2.17.5c185c23zHshCq 2.创建和查看表:ht ...

  8. 阿里云Mysql导入大数据文件

    1.查询数据保存为CSV文件 select * from account into outfile '/root/account.csv' fields terminated by ',' enclo ...

  9. 大数据计算引擎之Flink Flink状态管理和容错

    这里将介绍Flink对有状态计算的支持,其中包括状态计算和无状态计算的区别,以及在Flink中支持的不同状态类型,分别有 Keyed State 和 Operator State .另外针对状态数据的 ...

随机推荐

  1. typedef 复杂函数指针

    下面是三个变量的声明,我想使用typedef分别给它们定义一个别名,请问该如何做? >1:int *(*a[5])(int, char*); >2:void (*b[10]) (void ...

  2. qq for linux tar.gz安装

    借用官网的一段话 QQ for Linux 怎么命令行安装和卸载 RPM版本 安装 ①打开控制台,使用管理员身份登录 :②在终端中输入命令“rpm –U package_name.rpm“ , pac ...

  3. shell 以指定字符拆分字符串

    string="hell|ttt|sss|2222" OLD_IFS="$IFS" IFS="|" array=($string) IFS= ...

  4. vue基础九

    1.使用组件 1.1注册 要注册一个全局组件,你可以使用 Vue.component(tagName, options). 例如: Vue.component('my-component', { // ...

  5. mysql添加索引和sql分析

    mysql索引操作 查看索引 show indexes from students; #students为表名 mysql添加索引命令 创建索引 .PRIMARY KEY(主键索引) mysql> ...

  6. HTML5: HTML5 表单属性

    ylbtech-HTML5: HTML5 表单属性 1.返回顶部 1. HTML5 表单属性 HTML5 新的表单属性 HTML5 的 <form> 和 <input>标签添加 ...

  7. PHP面试 MySQL创建高性能索引考点

    MySQL索引 MySQL索引的基础和类型 索引的基础:索引类似于书籍的目录,要想找到一本书的某个特定篇章,需要查找书的目录,定位对应的页码 存储引擎使用类似的方式进行数据查询,先去索引当中找到对应的 ...

  8. 字母加密-C基础

    输入一个英文小写字符和正整数k(k<26),将英文字母加密并输出.加密思想:将每个字母c加一个序数k, 即用它后面的第k个字母代替,变换公式:c = c + k.如果字母为z,则后一个字母是a, ...

  9. 微信小程序 使用wxParse解析html

    微信小程序 加载 HTML 标签:https://blog.csdn.net/zclengendary/article/details/54312030 微信小程序 使用wxParse解析html:h ...

  10. python面试题之如何用Python找出你目前在哪个目录?

    >>> import os >>> os.getcwd() 'C:\Users\lifei\AppData\Local\Programs\Python\Python ...