2019年1月18日,由阿里巴巴 MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学,本次技术沙龙上,高德数据技术专家苗翌辰为大家分享了高德如何应用MaxCompute来管理数据架构,开发易用.高效以及弹性的高德应用,为用户提供更优质的出行服务. 以下内容根据演讲视频以及PPT整理而成 一.高德的业务和数据 地图描绘需要很多支撑数据,包括现实中的道路信息.路形以及路况等.下面的轨迹热力图展示了高德地图显示的北京联合大学的周边路况,描绘了点.…

摘要:随着自媒体的发展,传统媒体面临着巨大的压力和挑战,新华智云运用大数据和人工智能技术,致力于为媒体行业赋能.通过媒体大数据开放平台,将媒体行业全网数据汇总起来,借助平台数据处理能力和算法能力,将有价值数据内容和能力开放给用户.本文主要从新华智云数芯平台,媒体行业数据特征,批流处理数据架构,以及通用的媒体大数据平台能力等几个方面介绍了如何基于MaxCompute做媒体大数据开放平台建设. 演讲嘉宾简介:李金波,新华智云首席数据官.负责阿里巴巴大数据通用计算平台MaxCompute(原ODPS)…

如果说十年前,王坚创立阿里云让云计算在国内得到了普及,那么王坚带领团队自主研发的大数据计算平台MaxCompute则推动大数据技术向前跨越了一大步. 数据是企业的核心资产,但十年前阿里巴巴的算力已经无法满足当时急剧增长数据量的需求.基于Hadoop搭建集群是当时解决大规模数据计算的主流方案,Hadoop生态已经比较成熟,而且在规模上也可以解决当时阿里遇到的性能瓶颈.但刚加入阿里的王坚却另辟蹊径,决定自研一个大数据计算平台,也就是今天的MaxCompute. 但王坚看到,当时淘宝的业务还在快速增长…

阿里巴巴CTO即阿里云负责人王坚博士说过一句话:云计算和大数据,你们都理解错了.   实际上,对于大数据究竟是什么业界并无共识.大数据并不是什么新鲜事物.信息革命带来的除了信息的更高效地生产.流通和消费外,还带来数据的爆炸式增长.“引爆点”到来之后,人们发现原有的零散的对数据的利用造成了巨大的浪费.移动互联网浪潮下,数据产生速度前所未有地加快.人类达成共识开始系统性地对数据进行挖掘.这是大数据的初心.数据积累的同时,数据挖掘需要的计算理论.实时的数据收集和流通通道.数据挖掘过程需要使用的软硬件环…

说起互联网.电商的数据分析,更多的是谈应用案例,如何去实践数据化管理运营.而这里,我们要从技术角度分享关于数据的技术架构干货,如何应用BI. 原文是云猴网BI总经理王卫东在帆软大数据上的演讲,以下是整理的文字稿. 在电商领域,我们一般认为所有的数据都可以分为四大类型,流量.销量.商品和会员,这也是最基础的报表需求. 流量部分,可以分为受访.点击.搜索.来源等等.这些流量信息运用的重点在于一些广告包括一些产品的改版以及搜索引擎的相关信息展示.虽然这方面百度.GA可以给你提供这方面的信息,但未必能完…

昨天看到微信SuperSofter写了一篇文章,有感而发.以便备记. 这是一种典型的C2B模式.阿里不仅仅是在与腾讯拼移动.它的电商本土业务也在稳步推进.近期一个里程碑事件是.阿里包下了美的.九阳.苏泊尔等十个品牌的12条生产线,专为天猫特供小家电.阿里通过所掌握的数据以及分析成果,去指导这些生产线的研发.设计.生产.定价. C2B与规模化之间的矛盾 C2B反向定制模式大家并不陌生. 这是用户需求驱动的产品生产模式. 百度百科对其的解释是,消费者依据自身需求定制产品和价格,或主动參与产品设计.生…

 1.谷歌三驾马车地位 [关键词]开启时代,指明方向 聊起大数据,我们通常言必称谷歌,谷歌有“三驾马车”:谷歌文件系统(GFS).MapReduce和BigTable.谷歌的“三驾马车”开启了大数据时代,并为我们指明了大数据的发展方向. 2.谷歌三驾马车诞生(1)诞生时间 [关键词]2010.2003.2004.2006大数据在2010年开始有火起来的苗头,谷歌三驾马车诞生更早.谷歌文件系统第一次公开发表的论文是在2003年,MapReduce公开发表的时间是2004年,而BigTable则公开…

本文转载自:[技术帖]Apache Kylin 2.0为大数据带来交互式的BI 编者注:Kyligence的联合创始人兼CEO Luke Han在上做题为“”的演讲. 基于Hadoop的SQL一直在被持续地改进,但是一个查询等几分钟到几小时还是非常正常.在这篇博文里,将会介绍开源的分布式分析引擎Apache Kylin,尤其会重点介绍它是如何以数量级加速大数据查询,以及在2.0版里面为交互式BI所提供的新特性,包括对雪花模型的支持和流式建立数据立方. Apache Kylin是什么? Kylin…

Socket接收大数据 上一篇博客中的简单ssh实例,就是说当服务器发送至客户端的数据,大于客户端设置的数据,则就会把数据服务端发过来的数据剩余数据存在IO缓冲区中,这样就会造成我们想要获取数据的完整性. 解决思路: 1.改大客户端接收的数据的大小,因为官方建议最多只能接收8k的数据,那服务端发送过来的数据很容易就会大于8K,这个思路并不能从根本上解决问题(不建议使用) 2.客户端可以多收几次,服务端给客户端发数据之前,先计算一下要发给客户端数据大小(len()判断文件长度) ,比如说要发给客户…

前段时间,跟候选人聊天的时候,一个有多年工作经验的资深 iOS 工程师告诉我,他最近正在学习 Machine Learning 相关的知识.他觉得,对于程序员来说,技术进步大大超过世人的想象,如果你不跟随时代进步,就会落后于时代. 我其实已经听过很多人跟我说过类似的话.只不过不同人嘴里提到的词汇各有不同——大数据.数据挖掘.机器学习.人工智能…… 这些当前火热的概念各有不同,又有交叉,总之都是推动我们掌控好海量数据,并从中提取到有价值信息的技术. 程序员对这些技术跃跃欲试,知乎上「深度学习如何入…