一.概述 DataWorks数据工场,是MaxComputer的可视化开发平台,一站式开发.管理界面 1.功能概述 1.强大调度:支持分钟到月的调度 2.多种任务:支持ODPS.SHELL等多种任务 3.可视化开发:B/S架构的可视化开发界面,简单易上手 2.基本概念 1.任务 0个或多个表作为输入,1个或多个表作为输出.主要分为节点任务.工作流任务.内部节点 2.实例 某个任务某个时刻的运行快照 3.提交 提交的任务会到调度系统(不提交的不能加入调度系统) 4.资源和函数 俗称的JAR.UDF

背景 之前写过一篇文章是关于“DataWorks和MaxCompute内部权限体系的区别”有兴趣的朋友可以点击阅读查看详情.但是还是有些同学会问,我如何在DataWorks中实现我的具体某个Resource,Table还是UDF只能被我指定的用户所使用的权限管控.这个UDF可能涉及到数据的加解密算法,属于数据安全管控范围了. 常见方案 package方案,通过打包授权进行权限精细化管控. DataWorks上新建角色(管理>MaxCompute高级配置>自定义用户角色)来进行高级管控. Rol

背景信息: 本文以如下场景为基准进行编写,如下: 用户通过DataWorks-简单模式使用MaxCompute: 用户具有DataWorks默认角色,如DataWorks开发者角色: 用户通过console提交policy配置精细化权限管控, 本案例以禁止某一些用户群体(role)可以删除以tb_开头的表为例来展开讨论. 解决方案: 通过policy进行deny某个role禁止删除以tb_开头的表,同时将属于这一部分的user都添加到该角色中.具体如下: create role denydrop

通过DataWorks归档日志服务数据至MaxCompute 官方指导文档:https://help.aliyun.com/document_detail/68322.html但是会遇到大家在分区上或者DataWorks调度参数配置问题,具体拿到真实的case模拟如下: 创建数据源: 步骤1.进入数据集成,点击作业数据源,进入Tab页面. 步骤2. 点击右上角 新增数据源,选择消息队列 loghub. 步骤3.编辑LogHub数据源中的必填项,包括数据源名称.LogHubEndpoint.Pro

简介 什么是DataWorks: DataWorks(数据工场,原大数据开发套件)是阿里云重要的PaaS(Platform-as-a-Service)平台产品,为您提供数据集成.数据开发.数据地图.数据质量和数据服务等全方位的产品服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索. DataWorks支持多种计算和存储引擎服务,包括离线计算MaxCompute.开源大数据引擎E-MapReduce.实时计算(基于Flink).机器学习PAI.图计算服务Graph Compute和交互

Apache Flink: Powered by Flink https://flink.apache.org/poweredby.html Powered by Flink Apache Flink powers business-critical applications in many companies and enterprises around the globe. On this page, we present a few notable Flink users that run

摘要:大数据计算服务(MaxCompute,原名ODPS)是阿里云提供的一种快速.完全托管的EB级数据仓库解决方案.本文章中阿里云MaxCompute公有云技术支持人员刘力夺通过一个实验向大家介绍了阿里云关系型数据库产品RDS中的MySQL数据如何同步到MaxCompute,帮助用户大体了解MaxCompute产品以及其数据同步过程. 直播视频回顾:MySQL/RDS数据如何同步到MaxCompute 以下内容根据演讲视频以及PPT整理而成. 实验方案概述 本实验是对RDS同步数据到MaxCom

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文.希望对大家有所帮助. 问题一.DataStudio中是否可以通过shell节点调取MaxCompute sql语句? 不可以的,Shell节点支持标准Shell语法,不支持交互性语法.如果任务较多,可以使用ODPS SQL节点来完成任务的执行.关于DataStudio的其他介绍请参考官方文档: https://help.aliyun.com/document_detail/74423.html 问题

通过<MaxCompute安全管理-基础篇>了解到MaxCompute和DataWorks的相关安全模型.两个产品安全方面的关联,以及各种安全操作后,本篇主要给出一些安全管理案例,给安全管理的成员作为参考. 项目创建案例 前面了解了MaxCompute和DataWorks的安全模型以及两个产品之间的权限联系,本章节我们以常见2个基础业务需求来介绍项目创建和管理. 基本ETL开发业务项目 场景描述:多人协同开发,成员责任划分明确,需走正常的开发.调试.发布流程,生产数据查看须严格控制. 分析:

本文是基于对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文.希望对大家有所帮助. 问题一.通过数据源数据增量同步后,如何查看某一条数据具体被同步到MaxCompute中的时间?不支持,查看不了,可以看表元数据的LastModifiedTime时间,但具体某个记录看不到时间. 问题二.开发的数据处理脚本能否在不同地区项目空间迁移?跨项目克隆只能同账号同region,所以不同地区之间可以使用项目备份恢复来完成.可参考官方文档操作:https://help.aliyu

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文.希望对大家有所帮助. 问题一.DataWorks V2.0简单模式和标准模式的区别?公司数仓的数据上云后,在使用MaxCompute计算引擎时,需要一个稳定.可靠的调度系统,将自身数据生产任务(代码)按照所需依赖关系.运行时间来调度运行,那么DataWorks就派上了用场.DataWorks提供简单模式和标准模式两种工作空间模式.简单模式指一个DataWorks工作空间对应一个MaxCompute项

0. 概述 本文档面向需要使用MaxCompute Spark进行开发的用户使用.本指南主要适用于具备有Spark开发经验的开发人员. MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务,它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持用户以熟悉的开发使用方式提交运行Spark作业,以满足更丰富的数据处理分析场景. 本文将重点介绍MaxCompute Spark能够支撑的应用场景,同时说明开发的依赖条件和环境准备,重点对Spark作业开发

3月20号,阿里云正式对外宣布推出MaxCompute产品的新规格-开发者版.MaxCompute开发者版是阿里云大数据计算服务发布的开发者专属版本.区别于原有的按量付费.按CU预付费规格,开发者版是面向开发者群体的优惠套餐,为开发版项目免费提供500GB的存储空间和每月100元的免费计算费用. 开发者版作为MaxCompute的一个售卖规格,除了在计算/存储资源.支持的作业类型方面有所限制,底层的权限体系.操作管理使用方式.配套的生态工具等其他方面与其他规格完全相同.同时,用户可以随时根据需要

Amazon Redshift数据迁移到MaxCompute Amazon Redshift 中的数据迁移到MaxCompute中经常需要先卸载到S3中,再到阿里云对象存储OSS中,大数据计算服务MaxCompute然后再通过外部表的方式直接读取OSS中的数据.如下示意图: 前提条件 本文以SQL Workbench/J工具来连接Reshift进行案例演示,其中用了Reshift官方的Query editor发现经常报一些奇怪的错误.建议使用SQL Workbench/J. 下载Amazon R

场景: 一个企业使用多款阿里云产品,MaxCompute是其中一个产品,用的是同个主账号,主账号不是由使用MaxCompute的大数据同学管理,  大数据同学使用的是子账号.大数据同学日常需要给MaxCompute项目 操作新增子账号(add  user),新的子账号授权(grant xx on project/table)等操作,即日常权限管理.  背景知识: MaxCompute项目权限管理默认只有owner可以操作,而MaxCompute项目的owner只能是主账号. 子账号开通MaxCo

在使用 PyODPS DataFrame 编写数据应用时,尽管编写的是同一个脚本文件,但其中的代码会在不同位置执行,这可能导致一些无法预期的问题,本文介绍当出现相关问题时,如何确定代码在何处执行,以及提供部分场景下解决问题的方法. 概述 假定我们要执行下面的代码: from odps import ODPS, options import numpy as np o = ODPS(access_id, access_key, project, endpoint) df = o.get_table

info:更多Django信息url:https://www.oschina.net/p/djangodetail: Django 是 Python 编程语言驱动的一个开源模型-视图-控制器(MVC)风格的 Web 应用程序框架.使用 Django,我们在几分钟之内就可以创建高品质.易维护.数据库驱动的应用程序. Django 框架的核心组件有: 用于创建模型的对象关系映射 为最终用户设计的完美... info:更多OpenERP信息url:https://www.oschina.net/p/o

1. 概述 数据服务(https://ds-cn-shanghai.data.aliyun.com)  是DataWorks产品家族的一员,提供了快速将数据表生成API的能力,通过可视化的向导,一分钟“零代码”就可以生成API,让API开发从未有过如此便捷!同时支持自定义API查询SQL功能,对您的个性化复杂查询逻辑支持照样不在话下. DataWorks数据服务提供HTTP API服务,采用Serverless架构,您只需关注API本身的查询逻辑,无需关心运行环境等基础设施,零运维成本. Dat

众所周知,数据开发和分析的同学每天都要花大量时间写MaxCompute SQL:Dataworks作为数据开发的IDE直接影响着大家的开发效率,这次新上线的Dataworks我们在编辑体验上做了很多工作,在前端实现MaxCompute SQL和编辑器参数等扩展语法的AST解析,并实现更好更智能的代码提示,更快速的响应,帮助大家提升开发效率:   首先show几张美图: 看起来如何?是不是很像本地编辑器,很Cool ~ 接下来,我们一一介绍一下这些新特性. 1.MaxCompute SQL 语法错

如果您是第一次使用子账号登录数加平台和使用DataWorks,您需要获知以下内容: 该子账号所属主账号的企业别名. 该子账号的用户名和密码. 该子账号的AccessKey ID和AccessKey Secret. 确认主账号已允许子账号启用控制台登录. 确认主账号已允许子账号自主管理accesskeys. 如果您不确定上述信息,请向所属主账号确认如下两件事: 确认主账号用户已根据准备阿里云账号和准备RAM子账号准备好子账号所需的全部配置和信息. 确认主账号用户已参见创建项目和添加项目成员和角色成