大数据服务大比拼:AWS VS. AzureVS.谷歌
【TechTarget中国原创】 对于企业用户来说,大数据服务是一项较具吸引力的云服务。三大巨头AWS、Azure以及谷歌都在力争夺得头把交椅,但是最后到底是哪一家能够取得王座之战的胜利呢? 云市场正在快速发展,同样大数据服务也在不断地变化着。虽然因为这三大云供应商(亚马逊网络服务、微软Azure和谷歌)的起点是不同的,这使得云供应商之间的比较也变得更为困难,但那还是值得尝试的。 云大数据是谷歌公司一直以来在搜索应用方面拥有丰富经验具有协同效应的市场领域,但是亚马逊网络服务(AWS)和Azure则将吸纳一些有趣的初创企业以提升各自的竞争力。 其结果就是大数据服务因功能性和经济性方面的原因变得更具吸引力,从而获得良好发展前景。云用户们将在三大巨头的大数据服务应用争霸战中成为最后的赢家,但这场旷日持久的战争似乎会持续多年。 以下让我们逐一介绍AWS、Azure和谷歌三家现时今日的大数据服务。 亚马逊网络服务 AWS提供了内容极为广泛的大数据服务。例如,亚马逊弹性MapReduce就可以运行Hadoop 和 Spark,而Kinesis Firehose 和 Kinesis Streams 则提供了一种将大型数据集导入AWS的方法。用户可以在Redshift(这是一个PB级的数据仓库)中存储数据,并进行数据比较以便于实现成本降低。Amazon Elasticsearch则是一个在AWS中部署开源Elasticsearch工具的服务,它可用于诸如点击率和日志监控等分析应用。Kinesis Analytics可通过分析数据流辅助实现这一目标。 与谷歌公司不同的是,AWS提供了一整套更大型的数据存储选择。除了大量的AWS简单存储服务,它还提供了一个低延迟的NoSQL数据库DynamoDB;DynamoDB的Titan版可为Titan图形数据库提供存储服务; ApacheHBase则是一个PB级的NoSQL数据库;以及关系型数据库。 AWS还提供了一个商业智能(BI)服务QuickSight,它主要使用内存内并行处理技术以实现高速运行。它主要通过亚马逊机器学习和物联网平台实现,它们可将众多设备连接至云,并可扩展连接数以十亿计的设备和处理万亿数量级的消息。 总之,虽然谷歌公司在搜索和分析引擎方面拥有较大优势,但是AWS拥有更为广泛的服务、BI以及图形处理单元(GPU)实例。 微软Azure 对于分析应用来说,Azure有Data Lake Analytics,该服务使用专用的U-SQL(SQL与C++)和一个基于Hadoop的服务HDInsight。还有一个Azure Stream Analytics服务,它有一个使用全局元数据系统识别数据资产的Data Catalog,以及连接内部与云数据源并管理数据管道的Data Factory。 Azure的大数据存储服务是一个被称为Data Lake Store的Dadoop文件系统。这家云服务供应商提供了各种通用的存储产品,其中包括StorSimple、SQL 和NoSQL数据库以及存储块等。 Azure还配合提供了Power BI和机器学习服务,并设有一个物联网中心。它的云平台还包括了一个搜索引擎。微软的Cortana套件和Cognitive Services则提供了更高级的智能功能。 谷歌 谷歌公司的BigQuery数据服务使用了一个大多数用户(即便是非技术人员)都可直观学习使用、类似于SQL的接口。它可支持PB级数据库,它能够以每秒10万行的速度进行数据流处理,并作为在云存储中运行数据的替代选项。BigQuery还支持地域数据复制,即用户可以自行选择存储他们数据的位置。 BigQuery是一个无需专用基础设施实例的所用即所付服务,它能够让谷歌使用大量的处理器来维持低延迟的快速查询响应。与Spark集成,它还支持Hadoop、Pig和Hive。企业用户还可以使用谷歌的Analytics 和DoubleClick作为数据源,那是一个广告业用户收集供BigQuery使用数据的工具。谷歌的Cloud Dataflow还允许用户对云数据服务进行排序。 谷歌公司提供的其他大数据服务还包括一个用于非关系型数据的NoSQL数据库Cloud Datastore;一个大规模可扩展NoSQL数据库Cloud BigTable;一个针对机器学习应用的托管平台Cloud Machine Learning;以及诸如翻译器和语音转换器这类的辅助工具。 谷歌在大数据服务中所明显缺少的一个产品是GPU实例。鉴于GPU所带来令人难以置信的性能提升,为数据分析应用编写GPU代码确实是一个具有高附加值的技能。谷歌公司在GPU实例产品系列的缺失着实有点让人颇为费解,尤其是AWS公司在2011年就推出了该类服务,而Azure则在2015年新增了该服务。 AWS、Azure和Google:一场你追我赶的大数据应用竞赛 在大数据服务的很多方面,云供应商三大巨头都是步调一致的,但是在性能和易用性方面还是存在着一些差异的,这需要通过实际测试才能予以区分。虽然谷歌公司可能在搜索技术上拥有一定优势,但它在BI前端应用方面落后,而拥有Cortana的微软则在此拥有先机。谷歌公司GPU实例的缺失也是一个显著的区别。 鉴于大数据产品服务如此繁多,而所有的产品都还处于生命周期的初期,它们之间的差异还会因用例或数据类型不同而不同。要在三巨头中做出选择将是比较困难的。确定最适合你自己的云服务的一个方法就是在沙箱中用几个星期的时间来试用各种服务以便掌握它们的第一手使用体验和价格信息。
TechTarget中国原创内容,原文链接: http://www.searchcloudcomputing.com.cn/showcontent_92823.htm
© TechTarget中国:http://www.techtarget.com.cn
大数据服务大比拼:AWS VS. AzureVS.谷歌的更多相关文章
- InfoQ —— 腾讯游戏大数据服务场景与应用
简介 周东祥,本人从2010年毕业进入腾讯互动娱乐部门工作,一直致力在腾讯游戏运营开发工作.先后负责SAP业务受理系统,盗号自助系统,元数据系统以及近2年在腾讯游戏大数据运营开发中积累大量的大数据开发 ...
- MaxCompute,基于Serverless的高可用大数据服务
摘要:2019年1月18日,由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学,本次技术沙龙上,阿里巴巴高级技术专家吴永明为大家分享了 ...
- IT大数据服务管理高级课程(IT服务,大数据,云计算,智能城市)
个人简历 金石先生是马克思主义中国化的研究学者,上海财经大学经济学和管理学硕士,中国民主建国会成员,中国特色社会主义人文科技管理哲学的理论奠基人之一.金石先生博学多才,对问题有独到见解.专于工作且乐于 ...
- 通过Ambari2.2.2部署HDP大数据服务
node1 amari-server node2 amari-agent namenode1,datanode,resourcemanager,zk node3 amari-agent namen ...
- 大数据理论篇 - 通俗易懂,揭秘谷歌《The Dataflow Model》的核心思想(一)
目录 前言 目标 核心的设计原则 通用的数据处理流程 切合实际的解决方案 总结 延伸阅读 最后 作者:justmine 头条号:大数据达摩院 创作不易,未经授权,禁止转载,否则保留追究法律责任的权利. ...
- Windows Azure上的大数据服务: HDInsight的介绍
这个视频介绍了目前非常流行的大数据处理框架Hadoop的Windows Azure上的实现:HDInsight,以及利用MapReduce来对大数据进行分析,利用Hive进行查询,利用客户端Power ...
- chinacloud大数据新闻
2015年大数据发展八大趋势 (0 篇回复) “数据很丰满,信息很骨感”:Sight Machine想用大数据的方法,打碎两者间的屏障 (0 篇回复) 百度携大数据"圈地" ...
- 【学习笔记】大数据技术原理与应用(MOOC视频、厦门大学林子雨)
1 大数据概述 大数据特性:4v volume velocity variety value 即大量化.快速化.多样化.价值密度低 数据量大:大数据摩尔定律 快速化:从数据的生成到消耗,时间窗口小,可 ...
- 【技术与商业案例解读笔记】095:Google大数据三驾马车笔记
1.谷歌三驾马车地位 [关键词]开启时代,指明方向 聊起大数据,我们通常言必称谷歌,谷歌有“三驾马车”:谷歌文件系统(GFS).MapReduce和BigTable.谷歌的“三驾马车”开启了大数据时 ...
随机推荐
- 获取文件绝对路径:__FILE__与$_SERVER[SCRIPT_FILENAME'']的区别
1.获取路径 (1)__FILE__ 获取某文件在本地目录中的绝对路径,(也就是说,哪个文件执行这行代码,它就获取哪个文件的绝对路径) (2)$__SERVER['SCRIPT_FILENAME'] ...
- 搭建vs2010 boost开发环境
一.编译boost库 第一步:下载boost库,下载地址http://sourceforge.net/projects/boost/files/boost/1.55.0/ 第二部:解压boost库,例 ...
- cesium 显示视角高度以及鼠标经纬度
HTML中的内容 <div id="cesiumContainer"> <!-- 设置经纬度显示 --> <span style="font ...
- POJ-3041 Asteroids---二分图&最小覆盖点
题目链接: https://vjudge.net/problem/POJ-3041 题目大意: 给一个N*N的矩阵,有些格子有障碍,要求我们消除这些障碍,问每次消除一行或一列的障碍, 最少要几次. 解 ...
- eclips新建Maven Web项目
一.创建项目 1.Eclipse中用Maven创建项目 上图中Next 2.继续Next 3.选maven-archetype-webapp后,next 4.填写相应的信息,Packaged是默认创建 ...
- 2018.7.15 解决css中input输入框点击时去掉外边框方法
.input_css{ background:no-repeat 0 0 scroll #EEEEEE; border:none; outline:medium; }
- 2017.9.21 HTML学习总结---多媒体播放系统设计
1.题目:整个页面被划分三个子窗口,上面窗口为页面功能提示区, 下左部分为不同类型播放的功能选项,下右部分为播放系统显示播放信息窗口. (1)网页设计框架: <html> <head ...
- 剑指offer49 把字符串转换成整数
这个代码会报错 class Solution { public: ,kinvalid}; int now_status = kvalid; int StrToInt(string str) { now ...
- 图像上采样(图像插值)增取样(Upsampling)或内插(Interpolating)下采样(降采样),
缩小图像(或称为下采样(subsampled)或降采样(downsampled))的主要目的有两个:1.使得图像符合显示区域的大小:2.生成对应图像的缩略图.放大图像(或称为上采样(upsamplin ...
- mysql常用命令添加外键主键约束存储过程索引
数据库连接 mysql -u root -p123456 查看表 show databases 创建数据库设置编码 create table books character set utf8; 创建用 ...