2019年1月18日,由阿里巴巴 MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学,本次技术沙龙上,高德数据技术专家苗翌辰为大家分享了高德如何应用MaxCompute来管理数据架构,开发易用、高效以及弹性的高德应用,为用户提供更优质的出行服务。

以下内容根据演讲视频以及PPT整理而成

一、高德的业务和数据

地图描绘需要很多支撑数据,包括现实中的道路信息、路形以及路况等。下面的轨迹热力图展示了高德地图显示的北京联合大学的周边路况,描绘了点、线和面三种信息。通过地图信息和轨迹数据叠加形成区域热力。其中,不同颜色的轨迹展示了该区域一天内不同时间段的路况。

下面展示了高德的一些业务场景。第一个场景是大家日常使用的高德APP。高德地图是苹果中国的战略合作伙伴,第二个场景展示了高德为苹果提供的出行服务。高德向整个互联网行业开放了其生态能力,第三个场景是高德为APP应用开放者提供的位置服务接口,目前使用该接口进行开发的移动应用包括手机淘宝、今日头条和小米运动等。另外,第四个场景是高德为车载设备提供的完善的位置服务方案。

高德地图的业务架构可以用“442阵型”来形容,即分为客户端、中间层、服务引擎以及基础地理信息等4层,同时包含AppleMaps、高德App、第三方App以及车载设备等4个业务入口。另外,数字“2”是指高德地图依赖于两个数据源,即自采数据、行业合作数据组成的基础地理信息和轨迹数据、行车数据等服务引擎产生的数据。“442阵型”的业务架构给高德的发展带来了质的飞跃。

下图是高德总裁刘振飞先生正在庆祝高德十一DAU突破一个亿的历史时刻。十一期间,高德为全网用户提供导航的总里程超过135亿公里,相当于在太阳和地球之间往返45次。高德提供海量服务的背后是高德强大的大数据计算能力、超过数千台的高德集群节点和承载超过百 PB数据的集群存储容量。

二、如何管好数据

SPA架构

高德的数据架构称为“SPA架构”。“S”指代Source,即数据源层,收容了高德内部所有的位置、地图和图像数据。“P”指代Platform,即数据平台,提供了数据仓库、数据适配和数据挖掘能力来支撑上层的数据应用层,也就是Application(“A”)。在“SPA架构”中,高德最关注获取数据的权限,即要求所有数据操作都应该符合安全规范。此外,高德还要求所有部门都明确其开发目标,并且使用统一的平台工具进行开发。

数据研发

数据研发的全链路过程包括数据集成、数据开发、运维中心、数据质量、数据地图、数据安全以及数据服务等。高德对数据平台的要求不仅仅是以上全链路都 All in One,还希望都能以可视化的方式进行用户交互,以提高开发效率。以运维中心为例,希望所使用的工具能够将调度节点可视化,并方便进行不同时间粒度的任务依赖。同时,我们还希望拥有可视化的数据地图用于管理元数据信息,方便上下游即时查看。MaxCompute正是符合高德数据业务诉求的给力产品。

MaxCompute平台特点

高德使用的MaxCompute平台具有以下三个特点:
第一, 易用性,具有零学习成本和完善的IDE等优势。
第二, 效率,高德内部迄今为止最大的公共项目“魔方”就是运用阿里云和MaxCompute实现的。
第三, 弹性,高德于十一期间的流量远远超出想象。

易用-上云

2014年,高德的数据架构依赖Flume进行数据采集,依赖一个仅含几百台机器的hadoop集群和Hive等软件实现数据处理。2014年9月份高德内部提出“上云”,即将数据迁移到阿里云,使非流程化的作业得到流程化的管理。与其他复杂的数据迁移工作相比,2014年高德实现了“一键”上云,将源数据的同步从Flume切换成TimeTunnel,后续再可配置化地切换数据。此外,迁移还伴随着代码修改,2014年高德“上云”仅修改了非常少的代码,比如修改老版本M2中的接口等。上方的数据存储层将数据介质替换成OTS等云端产品,以支持更加稳定的前台应用。高德将所有集群数据都迁移到“云上”仅花了两个月时间。

“上云”为高德带来的收益不可估量。图1展示了“上云”后由云端管理所有代码;图2展示了一键式运维管理;图3展示了可计量的计算资源管理,量化地显示各个任务的资源使用情况;图4展示了流程化的可视化安全审批操作。从2014年“上云”到如今2018年,高德经历了飞速的发展,同时也暴露出了一些问题。

效率-魔方

烟囱过多是数据仓库中比较麻烦的问题,高德同样存在该问题。数据使用者可能需要花费一个月寻找数据所在部门、数据的相关产品负责人以及研发人员以索要数据。2017年高德盘点数据仓库时发现,高德内部存在二十个数据仓库项目,并且各个数据仓库间的数据冗余度高达百分之三十,严重影响了团队工作效率。此外,高德数据仓库还存在高时延缺点,核心数据无法保证每天“7点产出”。基于以上两个问题,高德发起了“魔方”项目,将二十个仓库合并成一个以实现全集团的数据治理。

显而易见,要实现全集团的数据治理项目存在严峻的挑战。首先,数据量非常大,“魔方”项目要求实现百PB级数据的全域数据治理。其次,参与人员众多,“魔方”项目涉及到高德全产线的所有数据开发人员,项目团队超过百人。最后,排期紧,为了使数据架构升级不影响正常业务,高德要求“魔方”项目的主体开发工作应在两个半月内完成。此外,数据迁移工作在越短时间内完成对企业的收益就越大,因此高德要求“魔方”项目应在尽量短的时间内完成。应对这几个挑战的主体思路就是引入高效率的研发工具,在规范化的流程中实现协同开发,提高团队的工作效率。

为此,高德首先统一了工具平台,引入了MaxCompute,下图蓝色部分皆为MaxCompute 为我们带来的业务收益。在数百人的团队中统一规范无疑是困难的,而MaxCompute提供了代码编写规范、调度配置规范以及研发自测规范等规范化模块。其中,代码编写规范模块使用 SQL Scan 工具自动化地检查代码是否符合规范,调度配置规范模块提供了完善的用户手册及各种模板辅助开发人员完成配置。统一流程要求实现定制化地管理数据开发流程,包括研发测试、开发自测、调度测试、QA测试以及最后的上线部署等流程。此外,统一建模和语言、统一数据核定标准也非常重要。

阿里云提供了一些优秀工具以构建规范化流程。第一,提供了数据血缘可视化工具,帮助数据开发团队及时地跟踪源数据、数据的上游和下游等信息。第二,提供了开发/测试流程并行的能力,以支持完善的协同开发和高效运转的工作。第三,提供了代码云端版本管理工具,允许实时查看代码变更、代码管理状态并支持回滚。第四,提供了一键数据探查工具,允许数据开发人员通过简单的配置探查海量数据的字段空值率,有效值率,表重复率等信息,极大地提高了数据开发人员的工作效率。

在规范化的流程以及众多效率工具的帮助下,高德在规定时间内完成了“魔方”项目开发,得到了一致好评。高德最终统一了数据仓库,将内部所有百P级数据的月增速降低了40%,同时数据计算效率提升了30%。即使在2018年十一的流量轰炸时期,高德仍然实现了核心数据的“5点产出”目标(5点到7点需完成核心数据计算任务)。

弹性-十一

2018年十一期间,高德的数据处理量随业务快速增长,数据计算任务的性能和平台的稳定性都受到了极大的考验。

数据血缘可视化工具允许数据开发人员可视化地查看系统资源配置,下图展示了高德在2018年9月2日的系统实际使用计算水位,其中,蓝线是系统配额水位,黄线是系统的实际计算水位。阿里云提供的弹性计算能力允许在一定弹性数据量范围内保证系统资源的正常计算和输出。此外,阿里云还提供了稳定的计算环境,保证计算任务高效地运转,同时避免资源竞争问题。另外,为了更好地利用系统计算资源,高德团队提出了“提高蓝线、打散黄线”方案,申请扩大集群资源配额提升算力空间,通过调度错峰打散实际资源水位。在扩容方面,MaxCompute为高德带来了一键资源扩容能力,使得集群扩容在小时级别的时间内完成。最后,高德还实现了计算优化,提供了人员在线值守等保障。下图同时展示了高德在2018年10月2日的系统计算水位,蓝线代表的“系统配额水位”远高于9月2日的,说明集群扩容工作已顺利完成。同时,黄色代表的“实际资源配额水位”已完全被蓝线cover,更好地保障了资源计算任务。此外,黄色高峰被明显打散,一些重要非核心数据被错峰调度到7点,说明计算资源的错峰调度工作也已顺利完成。阿里云提供的一键运维调度工具能够保证系统方便的进行调度错峰,节省人力。MaxCompute为高德带来的弹性能力使得高德于2018年10月2日实现了核心数据“3点产出”的骄人成果。

业务成果

下图展示了中国的路网覆盖图,华东、华北和华南地区基本实现了道路全网覆盖,西部等偏远地区的道路交通还不够发达,许多道路仍在建设。路网覆盖对高德而言非常重要,高德需要用尽可能少的成本自动地发掘新路和过期路。

高德将轨迹数据资产和地图建设能力结合起来构建轨迹热力图,辅以现有路网和数据挖掘算法以自动化地发现新路和过期路。此外,高德还结合区域通车流量和该区域相关的用户上报事件来动态地发现封路、交通事件,更好地实现路网挖掘。

路况预测是高德的另一个重要业务,即实时预测道路的通车状况、道路是否拥堵等。左图展示了高德对右图路段从早到晚的平均车速预测,红线表示数据累计得到的历史均值,蓝线表示模型预测值,黑线表示真实数据值。蓝线和黑线基本重合,有力地说明了高德应用的数据挖掘能力和统一数据仓库建设取得的成果。

此外,高德还面向全网用户开放了一个城市级数据产品,允许用户随时查看城市的道路拥堵状况和城市拥堵指数等相关数据,该产品可在http://report.amap.com/ 页面访问。下图显示了该产品给出的北京北二环某路段一周内的拥堵状况。

三、未来展望

技“数”高德表达了高德的未来规划。作为一家数据公司,高德致力于丰富数据源、优化SPA数据结构,得到更强大的数据平台,为用户提供更优秀的出现工具。从企业责任出发,高德希望能通过自身努力,帮助社会智能化地解决交通拥堵问题。从应用生态出发,高德希望能够帮助生态建立更加场景化的LBS服务,共同打造更专业的位置服务应用。

高德致力于在未来继续联手阿里云,实现“连接真实世界,让出行更美好!”的行业愿景。

原文链接
本文为云栖社区原创内容,未经允许不得转载。

MaxCompute在高德大数据上的应用的更多相关文章

  1. 基于MaxCompute的媒体大数据开放平台建设

    摘要:随着自媒体的发展,传统媒体面临着巨大的压力和挑战,新华智云运用大数据和人工智能技术,致力于为媒体行业赋能.通过媒体大数据开放平台,将媒体行业全网数据汇总起来,借助平台数据处理能力和算法能力,将有 ...

  2. 王坚十年前的坚持,才有了今天世界顶级大数据计算平台MaxCompute

    如果说十年前,王坚创立阿里云让云计算在国内得到了普及,那么王坚带领团队自主研发的大数据计算平台MaxCompute则推动大数据技术向前跨越了一大步. 数据是企业的核心资产,但十年前阿里巴巴的算力已经无 ...

  3. bat坐拥大数据。数据挖掘/大数据给他们带来什么。

    阿里巴巴CTO即阿里云负责人王坚博士说过一句话:云计算和大数据,你们都理解错了.   实际上,对于大数据究竟是什么业界并无共识.大数据并不是什么新鲜事物.信息革命带来的除了信息的更高效地生产.流通和消 ...

  4. 深度剖析 | 基于大数据架构的BI应用

    说起互联网.电商的数据分析,更多的是谈应用案例,如何去实践数据化管理运营.而这里,我们要从技术角度分享关于数据的技术架构干货,如何应用BI. 原文是云猴网BI总经理王卫东在帆软大数据上的演讲,以下是整 ...

  5. C2B未来:大数据定制

    昨天看到微信SuperSofter写了一篇文章,有感而发.以便备记. 这是一种典型的C2B模式.阿里不仅仅是在与腾讯拼移动.它的电商本土业务也在稳步推进.近期一个里程碑事件是.阿里包下了美的.九阳.苏 ...

  6. 【技术与商业案例解读笔记】095:Google大数据三驾马车笔记

     1.谷歌三驾马车地位 [关键词]开启时代,指明方向 聊起大数据,我们通常言必称谷歌,谷歌有“三驾马车”:谷歌文件系统(GFS).MapReduce和BigTable.谷歌的“三驾马车”开启了大数据时 ...

  7. 【转】Apache Kylin 2.0为大数据带来交互式的BI

    本文转载自:[技术帖]Apache Kylin 2.0为大数据带来交互式的BI 编者注:Kyligence的联合创始人兼CEO Luke Han在上做题为“”的演讲. 基于Hadoop的SQL一直在被 ...

  8. 【python】-- Socket接收大数据

    Socket接收大数据 上一篇博客中的简单ssh实例,就是说当服务器发送至客户端的数据,大于客户端设置的数据,则就会把数据服务端发过来的数据剩余数据存在IO缓冲区中,这样就会造成我们想要获取数据的完整 ...

  9. 从技术 Leader 的招聘需求看,如何转岗为当前紧缺的大数据相关人才?

    前段时间,跟候选人聊天的时候,一个有多年工作经验的资深 iOS 工程师告诉我,他最近正在学习 Machine Learning 相关的知识.他觉得,对于程序员来说,技术进步大大超过世人的想象,如果你不 ...

随机推荐

  1. jieba中文分词

      jieba中文分词¶   中文与拉丁语言不同,不是以空格分开每个有意义的词,在我们处理自然语言处理的时候,大部分情况下,词汇是对句子和文章的理解基础.因此需要一个工具去把完整的中文分解成词. ji ...

  2. LeetCode 31 Next Permutation / 60 Permutation Sequence [Permutation]

    LeetCode 31 Next Permutation / 60 Permutation Sequence [Permutation] <c++> LeetCode 31 Next Pe ...

  3. iview安装使用

    iView 是一套基于 Vue.js 的开源 UI 组件库,主要服务于 PC 界面的中后台产品. 安装 cd 项目 cnpm install iview -S 在项目中引入iview 在入口文件mai ...

  4. ES6-个人学习大纲

    1,let   const学习补充 1.1,let的知识点: 01-作用域只限制在当前代码块内,代码块形式如下: { var str = '张三'; console.log(str); let str ...

  5. AtiveMQ初次连接的 http error:503 连接错误 Prolem accessing /.Reason : Service Unavailable

    503错误 说明是服务器内部的错误了 这是 为什么嫩  这是因为你的Linux虚拟机(我用的是centos版本的)的机器名 和 你的 ip地址的映射关系 不一致  导致访问失败 查看机器名的地址:ca ...

  6. spring-security权限管理学习目标

    1.SVN基本介绍: 1.svn基本的概念 2.svn架构 3.svn下载与安装 4.svn搭建与基本操作 2.svn基本操作 1.操作1 2.操作2 3.冲突产生 4.冲突解决 3.SVN在IDEA ...

  7. WPF:How to display a Bitmap on Image control

    一个Bitmap文件,叫做screenShotFile, 你可以这样显示到Image控件上. BitmapImage bi = new BitmapImage();            bi.Beg ...

  8. 版本号严格遵守semver语义化标准

    地址:http://semver.org/lang/zh-CN/?spm=a219a.7629140.0.0.GUJMXE 语义化版本 2.0.0 摘要 版本格式:主版本号.次版本号.修订号,版本号递 ...

  9. Selenium自动化测试插件—Katalon的自述

    Katalon-一款好用的selenium自动化测试插件 Selenium 框架是目前使用较广泛的开源自动化框架,一款好的.基于界面的录制工具对于初学者来说可以快速入门:对于老手来说可以提高开发自动化 ...

  10. 感恩节活动中奖名单 i春秋喊你领礼物啦!

    上周我们组织的感恩节活动,得到了小伙伴们积极踊跃的回复,看到你们这么真诚的留言,我们也是满满的感动,在众多留言中,我们选出了八位幸运用户,让我们一起恭喜获奖的小伙伴们吧. 恭喜以上8位幸运的小伙伴,我 ...