阿里云智能数据构建与管理 Dataphin公测,助力企业数据中台建设
阿里云智能数据构建与管理 Dataphin (下简称“Dataphin”)近日重磅上线公共云,开启智能研发版本的公共云公测!
在此之前,Dataphin以独立部署方式输出并服务线下客户,已助力多家大型客户高效自动化构建企业数据中台,不仅大幅度提升大数据研发效率,实现数据资产的标准化管理,更通过数据服务体系让数据智能驱动业务。
经过半年时间准备,Dataphin已于2019年4月23日正式登陆阿里云公共云,以满足更广泛的客户需求。下图为Dataphin在企业数据中台的定位:
Dataphin,亦称智能数据构建与管理平台——旨在基于阿里巴巴中台实践中沉淀的核心方法论和技术体系,提供从数据采,建,管,用的全链路、一站式的大数据能力,以助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。
那么Dataphin如何助力企业发掘大数据价值,完成企业数字化转型?下面让我们深度了解一下Dataphin 的前世今生。
1. Dataphin源自阿里巴巴多年的大数据实战沉淀
Dataphin是多年来阿里巴巴大数据建设的实战沉淀,重点解决了阿里巴巴集团内部数据建设过程中遇到的多种问题,比如:
(1)数据不统一:标准规范难、命名不统一、定义不统一、计算逻辑不统一,对业务响应慢;
(2)数据未打通:孤岛现象严重、缺乏融通,价值挖掘不够;
(3)维护困难:源系统或业务变更与数据不同步,数据质量难保障;
(4)时效性差:重复建设导致任务链冗长、任务繁多,计算资源紧张,数据批量计算晚、实时性不够且范围窄、即时查询返回结果慢……
面对上述问题,阿里巴巴内部的大数据团队进行了探索、实践,将经验沉淀为方法论、工具,并从实际场景出发、不断迭代,逐渐形成了一套阿里巴巴大数据能力的框架。即三个One:OneData、OneID、OneService,进而推动阿里巴巴数据中台的建设。其中阿里巴巴大数据能力的框架,即落地成为今天的Dataphin。
2. Dataphin的核心能力
Dataphin的核心价值在于数据规范定义,完全消除数据的二义性,保证业务数据标准化、规范化生产,具体而言:
(1)提高数据研发效率,标准化构建数据仓库,系统自动生产代码和调度任务;
(2)发现并提升数据价值,可视化、全链路地追踪和分析数据资产;
(3)所见即所得地用数据,自动聚合的主题数据可极大简化查询和分析代码。
3. Dataphin的产品优势
(1)作为PaaS层工具产品,Dataphin可进行可视化数据建模、代码自动化生成、数据资产图谱自动化生成——通过可视化配置方式建设数据模型,提交后系统自动化生成代码,同时有一个直观的可视化资产图谱揭示数据关系、便于确定数据使用方式。
(2)Dataphin拥有代码自动化生产的能力,新颖且具有通用性。历时8年实战打磨的OneData数据智能黑盒技术,通过智能计算与存储算法,轻松实现一站式数仓建设,产品端简单操作录入数据模型信息后,一键提交,即可获取稳定的、计算存储最优的数据生产代码与任务。
(3)Dataphin降低企业数仓建设的复杂度,建模研发设计与开发一体化完成,极大提高原有完全人工编写文档+代码的效率(可视化勾选填写后,代码和数据自动化生产),也降低企业数仓建设复杂度。同时数仓模型的知识得到沉淀,可保证后续的迭代更加系统化、自动化、可持续发展。
4.Dataphin的应用场景及案例
某餐饮集团,该集团与多数公司一样,具有线上线下多个客户触达渠道,业务扩张快,客户的门店数量及会员数量快速增长,传统的数据加工处理和管理能力已经无法匹配业务的发展。在此情景下,客户通过阿里云对企业的业务系统和数据平台进行升级,3个月不到的时间,基于Dataphin快速构建企业数据中台的数据,并基于Quick BI进一步实现对会员数据的分析和挖掘,最终实现业务上千人千面的个性化推荐。此过程中,实现了:
(1)多源异构的数据上云:多种渠道、多种类型的业务数据库中的数据,同步至云上,源数据得到最大化集中与丰富;
(2)数据规范定义和数仓研发:通过可视化、标准化配置会员等主题逻辑模型,自动化生成物理模型和代码脚本,保证数据规范性,同时提高数据研发效率;
(3)标签体系的快速构建:结合Quick BI,完成标签设计、生产、分析、展现,偏好类标签自助构建和消费;
(4)数据资产管理和元数据查询:基于标准化构建沉淀的高质量数据资产,如会员主题数据,可视化地分析和管理数据资产,快速便捷地查询元数据详情及使用数据。
5. Dataphin适合什么样的客户?
前面介绍了Dataphin的前世今生后,那么它适合于什么样的企业呢?
对企业来说,Dataphin是企业数据中台构建的核心组成部分,帮助企业完成大数据的智能构建及管理,助力企业实现大数据的采集集成、加工处理、资产管理及数据服务对接于大数据应用及业务前台流程,是整个企业数据资产化及价值化实现的平台和引擎。
因此Dataphin适合所有希望用数据智能驱动业务的客户,既包括IT侧有数据湖,数据仓库,消费者数据平台(CDP)等系统建设需求的客户,更包括希望通过系统化搭建数据中台体系全方位助力业务的客户。目前已经应用于零售、传媒、地产、金融等行业。
Dataphin已上线阿里云官网,支持公共云客户订购使用。未来,Dataphin将持续不断将阿里中台体系的最佳实践转化为产品能力,快速迭代升级,坚持致力于协助各行各业的企业完成数字化转型,开启数据智能的新时代。
了解更多产品详情,请点击:https://www.aliyun.com/product/dataphin
阿里云新品发布会,获取更多前沿发布:
阿里云新品发布·周刊:持续曝光中
本文作者:云攻略小攻
本文为云栖社区原创内容,未经允许不得转载。
阿里云智能数据构建与管理 Dataphin公测,助力企业数据中台建设的更多相关文章
- 避免闲置云资源浪费 | 阿里云轻量级分布式应用服务 SAE 邀您公测
您是否遇到过: 资源利用率低,多数服务器CPU平均利用率在10%以下,用户需为大量闲置资源买单. 感知 IaaS 购买和集群运维,人员技能要求高,运维效率低. 想拥抱 Kubernetes.微服务架构 ...
- Dataphin公共云重磅发布,提供一站式智能数据构建与管理能
点击订阅新品发布会! 新产品.新版本.新技术.新功能.价格调整,评论在下方,下期更新!关注更多内容,了解更多 最新发布 Dataphin公共云重磅发布 2019年6月26日15时,阿里云Dataphi ...
- 本地 vs. 云:大数据厮杀的最终幸存者会是谁?— InfoQ专访阿里云智能通用计算平台负责人关涛
摘要: 本地大数据服务是否进入消失倒计时?云平台大数据服务最终到底会趋向多云.混合云还是单一公有云?集群规模增大,上云成本将难以承受是误区还是事实?InfoQ 将就上述问题对阿里云智能通用计算平台负责 ...
- 【阿里云产品公测】大数据下精确快速搜索OpenSearch
[阿里云产品公测]大数据下精确快速搜索OpenSearch 作者:阿里云用户小柒2012 相信做过一两个项目的人都会遇到上级要求做一个类似百度或者谷歌的站内搜索功能.传统的sql查询只能使用like ...
- 阿里云智能推荐AIRec产品介绍
一.智能推荐(AIRec)简介 AIRec背景介绍 智能推荐(简称AIRec)基于阿里巴巴集团领先的大数据和人工智能技术,结合阿里巴巴在电商.内容.新闻.视频直播和社交等多个行业领域的积累,为全球企业 ...
- 新一代视频AI服务 —— 阿里云智能视觉重磅发布
3月27日下午,第51期阿里云产品发布会-智能视觉产品隆重发布,本次产品发布会首次面向全网用户深入的解读了智能视觉的前世今生. 行业背景 随着人工智能的技术不断成熟,AI逐渐在各行业内落地.在新零售领 ...
- 面向视频的全新AI架构 —— 阿里云智能视觉技术全解
我们都知道,AI技术正在以可见的速度被应用于各行各业,然而绝大部分业务场景想应用AI技术,都需要算法工程师根据自身业务的标注数据,来进行单独训练,才能打磨出合适的AI模型.如此一来,如何以最低的门槛和 ...
- 即插即用,基于阿里云Ganos快速构建云上开源GIS方案
对于轻量级GIS应用,选择具备时空能力的云上数据库再搭配开源GIS软件,能够快速构建稳定.廉价.实用的GIS解决方案.Ganos是阿里云自研时空基础设施(PaaS层)的核心引擎,该引擎整合了云上异构计 ...
- 阿里云HBase携X-Pack再进化,重新赋能轻量级大数据平台
一.八年双十一,造就国内最大最专业HBase技术团队 阿里巴巴集团早在2010开始研究并把HBase投入生产环境使用,从最初的淘宝历史交易记录,到蚂蚁安全风控数据存储.持续8年的投入,历经8年双十一锻 ...
随机推荐
- ACdream 1112
题目链接 Alice and Bob Time Limit: 6000/3000MS (Java/Others)Memory Limit: 256000/128000KB (Java/Others) ...
- _mysql_exceptions.IntegrityError: (1062, "Duplicate entry, Python操作MySQL数据库,插入重复数据
[python] view plain copy sql = "INSERT INTO test_c(id,name,sex)values(%s,%s,%s)" param = ...
- 彻底删除 Git 项目中的文件(BFG Repo-Cleaner 用法)
一些时候由于开发初期经验不足和贪图方便, 会把一些不应该提交到 Git 的文件上传到 Github, 带来一系列安全问题, 更有可能是把一些大文件上传到 GitHub 上, 导致项目非常臃肿, 每次 ...
- ubuntu 下安装 YouCompleteMe
1.安装用到的软件包 sudo apt-get install vim sudo apt-get install git sudo apt-get install subversion sudo ap ...
- JAVA读取文件操作时路径的斜杠问题
java中的路径一般用"/"windows中的路径用"\"linux,unix中的路径一般用"/"其中java中"/"等 ...
- solr高亮及摘要
修改了原文的一点内容:原文地址为:http://www.cnblogs.com/rainbowzc/p/3680343.html 高亮显示 两种方法: 1.在程序里通过设置query返回高亮信息 pu ...
- Oracle锁表查杀会话进程
一.逐条--锁表 (1)查表名 和 sessionidselect b.owner,b.object_name,a.session_id,a.locked_mode from v$locked_obj ...
- Django项目:CRM(客户关系管理系统)--03--02PerfectCRM创建ADMIN页面01
八.CRM项目创建king_admin python.exe manage.py startapp king_admin 'king_admin', 九.CRM项目分发URL "" ...
- LintCode_469 等价二叉树
题目 检查两棵二叉树是否等价.等价的意思是说,首先两棵二叉树必须拥有相同的结构,并且每个对应位置上的节点上的数都相等. 样例 1 1 / \ / \ 2 2 and 2 2 / / 4 4 就是两棵等 ...
- 【SDOI2017】套路总结
1 第一题是裸的反演: \[\begin{align} Ans&=\prod_{i=1}^n\prod_{j=1}^ma[(i,j)]\\ &=\prod_{d=1}^na[d]^{f ...