大数据服务大比拼:AWS VS. AzureVS.谷歌
【TechTarget中国原创】 对于企业用户来说,大数据服务是一项较具吸引力的云服务。三大巨头AWS、Azure以及谷歌都在力争夺得头把交椅,但是最后到底是哪一家能够取得王座之战的胜利呢? 云市场正在快速发展,同样大数据服务也在不断地变化着。虽然因为这三大云供应商(亚马逊网络服务、微软Azure和谷歌)的起点是不同的,这使得云供应商之间的比较也变得更为困难,但那还是值得尝试的。 云大数据是谷歌公司一直以来在搜索应用方面拥有丰富经验具有协同效应的市场领域,但是亚马逊网络服务(AWS)和Azure则将吸纳一些有趣的初创企业以提升各自的竞争力。 其结果就是大数据服务因功能性和经济性方面的原因变得更具吸引力,从而获得良好发展前景。云用户们将在三大巨头的大数据服务应用争霸战中成为最后的赢家,但这场旷日持久的战争似乎会持续多年。 以下让我们逐一介绍AWS、Azure和谷歌三家现时今日的大数据服务。 亚马逊网络服务 AWS提供了内容极为广泛的大数据服务。例如,亚马逊弹性MapReduce就可以运行Hadoop 和 Spark,而Kinesis Firehose 和 Kinesis Streams 则提供了一种将大型数据集导入AWS的方法。用户可以在Redshift(这是一个PB级的数据仓库)中存储数据,并进行数据比较以便于实现成本降低。Amazon Elasticsearch则是一个在AWS中部署开源Elasticsearch工具的服务,它可用于诸如点击率和日志监控等分析应用。Kinesis Analytics可通过分析数据流辅助实现这一目标。 与谷歌公司不同的是,AWS提供了一整套更大型的数据存储选择。除了大量的AWS简单存储服务,它还提供了一个低延迟的NoSQL数据库DynamoDB;DynamoDB的Titan版可为Titan图形数据库提供存储服务; ApacheHBase则是一个PB级的NoSQL数据库;以及关系型数据库。 AWS还提供了一个商业智能(BI)服务QuickSight,它主要使用内存内并行处理技术以实现高速运行。它主要通过亚马逊机器学习和物联网平台实现,它们可将众多设备连接至云,并可扩展连接数以十亿计的设备和处理万亿数量级的消息。 总之,虽然谷歌公司在搜索和分析引擎方面拥有较大优势,但是AWS拥有更为广泛的服务、BI以及图形处理单元(GPU)实例。 微软Azure 对于分析应用来说,Azure有Data Lake Analytics,该服务使用专用的U-SQL(SQL与C++)和一个基于Hadoop的服务HDInsight。还有一个Azure Stream Analytics服务,它有一个使用全局元数据系统识别数据资产的Data Catalog,以及连接内部与云数据源并管理数据管道的Data Factory。 Azure的大数据存储服务是一个被称为Data Lake Store的Dadoop文件系统。这家云服务供应商提供了各种通用的存储产品,其中包括StorSimple、SQL 和NoSQL数据库以及存储块等。 Azure还配合提供了Power BI和机器学习服务,并设有一个物联网中心。它的云平台还包括了一个搜索引擎。微软的Cortana套件和Cognitive Services则提供了更高级的智能功能。 谷歌 谷歌公司的BigQuery数据服务使用了一个大多数用户(即便是非技术人员)都可直观学习使用、类似于SQL的接口。它可支持PB级数据库,它能够以每秒10万行的速度进行数据流处理,并作为在云存储中运行数据的替代选项。BigQuery还支持地域数据复制,即用户可以自行选择存储他们数据的位置。 BigQuery是一个无需专用基础设施实例的所用即所付服务,它能够让谷歌使用大量的处理器来维持低延迟的快速查询响应。与Spark集成,它还支持Hadoop、Pig和Hive。企业用户还可以使用谷歌的Analytics 和DoubleClick作为数据源,那是一个广告业用户收集供BigQuery使用数据的工具。谷歌的Cloud Dataflow还允许用户对云数据服务进行排序。 谷歌公司提供的其他大数据服务还包括一个用于非关系型数据的NoSQL数据库Cloud Datastore;一个大规模可扩展NoSQL数据库Cloud BigTable;一个针对机器学习应用的托管平台Cloud Machine Learning;以及诸如翻译器和语音转换器这类的辅助工具。 谷歌在大数据服务中所明显缺少的一个产品是GPU实例。鉴于GPU所带来令人难以置信的性能提升,为数据分析应用编写GPU代码确实是一个具有高附加值的技能。谷歌公司在GPU实例产品系列的缺失着实有点让人颇为费解,尤其是AWS公司在2011年就推出了该类服务,而Azure则在2015年新增了该服务。 AWS、Azure和Google:一场你追我赶的大数据应用竞赛 在大数据服务的很多方面,云供应商三大巨头都是步调一致的,但是在性能和易用性方面还是存在着一些差异的,这需要通过实际测试才能予以区分。虽然谷歌公司可能在搜索技术上拥有一定优势,但它在BI前端应用方面落后,而拥有Cortana的微软则在此拥有先机。谷歌公司GPU实例的缺失也是一个显著的区别。 鉴于大数据产品服务如此繁多,而所有的产品都还处于生命周期的初期,它们之间的差异还会因用例或数据类型不同而不同。要在三巨头中做出选择将是比较困难的。确定最适合你自己的云服务的一个方法就是在沙箱中用几个星期的时间来试用各种服务以便掌握它们的第一手使用体验和价格信息。
TechTarget中国原创内容,原文链接: http://www.searchcloudcomputing.com.cn/showcontent_92823.htm
© TechTarget中国:http://www.techtarget.com.cn
大数据服务大比拼:AWS VS. AzureVS.谷歌的更多相关文章
- InfoQ —— 腾讯游戏大数据服务场景与应用
简介 周东祥,本人从2010年毕业进入腾讯互动娱乐部门工作,一直致力在腾讯游戏运营开发工作.先后负责SAP业务受理系统,盗号自助系统,元数据系统以及近2年在腾讯游戏大数据运营开发中积累大量的大数据开发 ...
- MaxCompute,基于Serverless的高可用大数据服务
摘要:2019年1月18日,由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学,本次技术沙龙上,阿里巴巴高级技术专家吴永明为大家分享了 ...
- IT大数据服务管理高级课程(IT服务,大数据,云计算,智能城市)
个人简历 金石先生是马克思主义中国化的研究学者,上海财经大学经济学和管理学硕士,中国民主建国会成员,中国特色社会主义人文科技管理哲学的理论奠基人之一.金石先生博学多才,对问题有独到见解.专于工作且乐于 ...
- 通过Ambari2.2.2部署HDP大数据服务
node1 amari-server node2 amari-agent namenode1,datanode,resourcemanager,zk node3 amari-agent namen ...
- 大数据理论篇 - 通俗易懂,揭秘谷歌《The Dataflow Model》的核心思想(一)
目录 前言 目标 核心的设计原则 通用的数据处理流程 切合实际的解决方案 总结 延伸阅读 最后 作者:justmine 头条号:大数据达摩院 创作不易,未经授权,禁止转载,否则保留追究法律责任的权利. ...
- Windows Azure上的大数据服务: HDInsight的介绍
这个视频介绍了目前非常流行的大数据处理框架Hadoop的Windows Azure上的实现:HDInsight,以及利用MapReduce来对大数据进行分析,利用Hive进行查询,利用客户端Power ...
- chinacloud大数据新闻
2015年大数据发展八大趋势 (0 篇回复) “数据很丰满,信息很骨感”:Sight Machine想用大数据的方法,打碎两者间的屏障 (0 篇回复) 百度携大数据"圈地" ...
- 【学习笔记】大数据技术原理与应用(MOOC视频、厦门大学林子雨)
1 大数据概述 大数据特性:4v volume velocity variety value 即大量化.快速化.多样化.价值密度低 数据量大:大数据摩尔定律 快速化:从数据的生成到消耗,时间窗口小,可 ...
- 【技术与商业案例解读笔记】095:Google大数据三驾马车笔记
1.谷歌三驾马车地位 [关键词]开启时代,指明方向 聊起大数据,我们通常言必称谷歌,谷歌有“三驾马车”:谷歌文件系统(GFS).MapReduce和BigTable.谷歌的“三驾马车”开启了大数据时 ...
随机推荐
- redis笔记(三)
redis配置文件 配置文件对单位大小写不敏感 tcp-backlog 511 高并发环境连接数 tcp-keepalive 单位为秒 0 表示不会进行keepalive检测,,,建议设置 ...
- vos限制客户呼出时间
问题: 公司希望自己的卡线晚上 21:00-24:00 早上00:00-7:30不能打出电话,以防遭投拆, 那么如何设置? 方法: 找到客户使用的落地网关, 落地网关——补充设置——
- nginx处理HTTP header问题
在实际开发中遇到http header 自定义key中包含下划线(_)时服务端header丢失的问题,解决办法详细见以下网页内容,感谢原博主 http://blog.csdn.net/dac55300 ...
- 笨办法学Python(二)
习题 2: 注释和井号 程序里的注释是很重要的.它们可以用自然语言告诉你某段代码的功能是什么.在你想要临时移除一段代码时,你还可以用注解的方式将这段代码临时禁用.接下来的练习将让你学会注释: #-- ...
- Python基本数据类型(一)
一.int的函数说明(部分函数Python2特有,Python3已删除,部分函数Python3新增:) class int(object): """ int(x=0) - ...
- MVC中某个页面不需要引用母版页的正确写法
有些页面想使用单独的样式不想用母版页的时候,可以在开始声明下,就可以不用母版页的CSS和JS引用了语法如下: @{Layout = "";} . 非常之简单
- Ubuntu 18.04 一键安装深度截图工具 Deepin Screenshot
一直在寻找Linux下的截图软件,终于发现了Deepin ScreenShot,其功能齐全,界面美观,唯一的缺点需要自己配置快捷键(后面会讲). 安装 直接在Ubuntu商店搜索“深度截图”,点击“安 ...
- Android 最新学习资料收集
收集这份资料的灵感来源于我的浏览器收藏夹快爆了,后来在github 上也看到了很优秀的开源库的收集资料,非常的好,但是太过于多,也不够新,所以决定自己来做一个.原始的markdowm文件已经放到git ...
- 基于SOA架构和流媒体技术的在线教育平台的研究
简介 现代远程教育是指通过音频.视频(直播或录像)以及包括实时和非实时在内的计算机技术把课程传送的教育.现代远程教育是随着现代信息技术的发展而产生的一种新型教育方式.计算机技术.多媒体技术.通信技术的 ...
- 如何在RedHat 7.0系统中安装mysql 5.7.22
如何在RedHat 7.0系统中安装mysql 5.7.22 今天给大家介绍一下如何安装mysql5.7,在安装之前,首先要查看的是,你的系统中有没有已经安装过的情况.键入rpm -qa|grep m ...