阿里云MaxCompute 2019-6月刊
您好,MaxCompute 2019.6月刊为您带来6月产品、技术最新动态,欢迎阅读。
导读
【功能发布】6月产品重要发布
【文档更新】6月重要文档更新推荐
【干货精选】6月精选技术文章推荐
【活动回顾】6月活动回顾及干货整理
【功能发布】6月产品重要发布
1. 支持在阿里云的云监控服务中配置监控报警,以监测 MaxCompute 预付费资源组的使用情况。查看详情>>>
发布功能
MaxCompute预付费资源组的监控数据已支持云监控,请开通云监控服务,配置MaxCompute监控指标,可实时看到各指标的变化趋势图,并支持设置报警阈值,当数据达到阈值,会通过邮件、钉钉、短信等多种渠道发送通知。
适用客户
公共云 MaxCompute 预付费客户
2. 支持生成建表DDL语句功能。 查看详情>>>
发布功能
SHOW CREATE TABLE ; 可生成创建table的SQL DDL语句,方便通过SQL重建schema。
适用客户
MaxCompute开发者
3. 参数化视图。 查看详情>>>
发布功能
创建带参数的VIEW,create view if not exists pv1(@a table (k string,v bigint), @b string) as select srcp.key,srcp.value from srcp join @a on srcp.key=a.k and srcp.p=@b;
支持用 subquery 作为参数的值: select * from view_name( (select 1 from src where a > 0), 1)
定义 view 时,支持 ANY 类型: create view view_name (@a ANY, @b TABLE (x ANY)) as …
定义 view 时,TABLE 定义支持 代表可变长列表: create view view_name(@a bigint, @b TABLE(x bigint, ANY)) as select from @b where x = @a; 这里第二个参数接受任何第一列是BIGINT的表,并且能通过 SELECT *,将变长部分返回到view调用者。
适用客户
MaxCompute SQL开发者
4. UDF支持分区裁剪。 查看详情>>>
发布功能
用户使用这一功能有2个方式:1、在编写UDF的时候,UDF类上加入annotation:@com.aliyun.odps.udf.annotation.UdfProperty(isDeterministic=true)
2、整个script设置flag: set odps.sql.udf.ppr.deterministic = true; 此时sql中所有udf均视为deterministic。结果回填存在一定的限制,即最多回填1000个partition,所以打开这个功能有可能会导致出现超过1000回填结果的报错。用户可以通过flag set odps.sql.udf.ppr.to.subquery = false; 来全局关闭这一功能。
适用客户
使用UDF的开发者
5. UDTF/UDAF支持动态参数。 查看详情>>>
发布功能
annotation里面支持使用 来表示任意类型 ,可以写成 @Resolve("bigint, string, -> bigint,") ,或者@Resolve(" -> *") 。 在输入参数部分,可以表示为任意个数、任意类型、任意长度的参数;在返回值中,表示任意个数、任意长度的String类型的返回值。
适用客户
公共云上使用UDF开发客户
6. UDT支持函数重载。 查看详情>>>
发布功能
UDT 能够提供灵活的函数定义方式。某些情况下UDF 需要通过com.aliyun.odps.udf.ExecutionContext(在setup方法中传入)来获取一些上下文。而UDT也可以通过com.aliyun.odps.udt.UDTExecutionContext.get()方法来获取这样的一个 ExecutionContext 对象。UDT支持泛型,支持类继承,支持变长等功能。
适用客户
MaxCompute UDF开发者
7. MaxCompute UDT支持 Resource。 查看详情>>>
发布功能
MaxCompute UDT 中可以获取 ExecutionContext 对象,从而访问当前的execution context,访问资源等。如在SQL中,通过 com.aliyun.odps.udf.impl.UDTExecutionContext.get() 静态方法获取 ExecutionContext 对象。这个功能可以解决用户“只需要调用一次Java内置类的方法即可实现”的场景,避免通过繁杂的UDF方式解决,从4个步骤减少到1步,从而提升开发效率。
适用客户
MaxCompute 开发者
【文档更新】6月重要文档更新推荐 查看更多>>>
1. 构建与优化数据仓库的教程
3. Elasticsearch数据迁至MaxCompute最佳实践
【干货精选】6月精选技术文章推荐 查看更多>>>
2.MaxCompute客户端(odpscmd)在windows命令行下查询中文乱码问题处理实践
3.PyODPS DataFrame 处理笛卡尔积的几种方式
【活动回顾】6月活动回顾及干货整理
大数据技术公开课第二季四次课程系列视频回放
1.构建企业级大数据平台的经验和对未来的思考 观看回放>>>
2.基于阿里云MaxCompute构建企业云数据仓库CDW的最佳实践建议 观看回放>>>
3.优酷背后的大数据秘密 观看回放>>>
4.当各行各业遇到大数据 观看回放>>>
本文作者:晋恒
本文为云栖社区原创内容,未经允许不得转载。
阿里云MaxCompute 2019-6月刊的更多相关文章
- 阿里云MaxCompute 2019-8月刊
您好,MaxCompute 2019.8月刊为您带来8月产品.技术最新动态,欢迎阅读. 导读 [重要发布]8月产品重要发布 [文档更新]8月重要文档更新推荐 [干货精选]8月精选技术文章推荐 [精彩活 ...
- 阿里云MaxCompute 2019-7月刊
您好,MaxCompute 2019.7月刊为您带来7月产品.技术最新动态,欢迎阅读. 导读 [发布]7月产品重要发布 [资讯]7月重要资讯 [文档]7月重要文档更新推荐 [干货]7月精选技术文章推荐 ...
- 阿里云MaxCompute 2019-4月刊
摘要: 4月新功能发布,精彩技术好文推荐,5月线上线下活动抢先知道,尽在4月刊. 您好,MaxCompute 2019.4月刊为您带来产品最新动态和丰富的产品技术内容,欢迎阅读. 导读 [功能发布]4 ...
- 阿里云MaxCompute被Forrester评为全球云端数据仓库领导者
参考消息网3月19日报道 日前,全球权威调研机构佛瑞斯特研究公司(Forrester)发布<2018年一季度云端数据仓库>报告.报告对大数据服务商的主要功能.区域表现.细分市场和典型客户等 ...
- 解决大数据难题 阿里云MaxCompute获科技大奖
摘要: 据介绍,MaxCompute(大规模分布式的数据计算平台)是国内最早自研的大数据计算平台之一,主要应用于大规模数据处理场景.目前,这项源自浙江.解决世界级难题的成果已拥有EB(百京)级别的数据 ...
- 关于数据上传阿里云MaxCompute调研
1.背景 当前的数据存储基于mysql库表存储形式,目前已经无法满足愈加增大的数据存储需求,新项目基于Maxcompute数据仓库架构,需要将统计日志上传Maxcompute,本文对Maxcomput ...
- 阿里云亮相2019联通合作伙伴大会,边缘计算等3款云产品助力5G时代产业数字化转型
4月23日,2019中国联通合作伙伴大会在上海正式开幕,本次大会以“合作不设限,共筑新生态”为主题,涉及5G.边缘计算.云计算.物联网.新媒体.人工智能.互联网化等各领域超过600家合作伙伴与3万名各 ...
- 阿里云 MaxCompute(ODPS)
大数据产品架构 BASE - Dataworks ODPS - MaxCompute ODPS 功能组成(Open Data Process Service) ODPS 是旧称,阿里云公有云服务中现称 ...
- 共享商业&技术红利,阿里云SaaS加速器让天下没有难做的SaaS
9月26日,阿里云在2019杭州云栖大会上发布了SaaS加速器3.0版“一云多端”多个应用平台,展示了阿里云给伙伴带来的多种商业和技术红利.阿里云SaaS加速器将帮助伙伴做好SaaS,卖好SaaS:帮 ...
随机推荐
- javaWeb-监听器Listener
监听器Listener (一)监听器Listener javaEE包括13门规范 在课程中主要学习 servlet技术 和 jsp技术 其中 servlet规范包括三个技术点:servlet lis ...
- 2.android工具使用及appium启动
1.adb devices 可以查看手机是否连接成功. 2.aapt dump badging xxx.apk 查看app信息. 3.启动appium需配置platformName和deviceN ...
- 解释性语言和非解释性语言,GIL锁
解释性语言:python写的代码就被称为程序,cpu硬件能运行二进制代码指令.demo.py需要经过python解释器编译才做才能执行. 非解释性语言:例如c语言程序,同样需要写代码.demo.c这个 ...
- 【arc077f】AtCoder Regular Contest 074 F - Lotus Leaves
题意 给定一个n*m的池塘,每个格子上可能有叶子. 从一个叶子出发,可以跳到相同行或相同列的叶子. 问至少去掉多少叶子,使得起点不能到达终点. \(n,m<=100\) 解法 很显然的最小割模型 ...
- FFT初步代码分析和逼近曲线
FFT:快速傅里叶变换 文章从两个方面来写,一个是FFT的基础知识,也就是将时域信号转换为频域信号,另一个是合成时域信号. 将时域信号转换为频域信号 代码来源于http://bigsec.net/b5 ...
- 工作记录--使用FFmpeg将一个视频文件中音频合成到另一个视频中
由于工作需要,临时被老大吩咐去研究一个FFmpeg工具,通过linux命令行去将一个视频中的音频提取出来并合成到另一个视频中,最终的效果是要保证2个视频中的音频都在一个视频中播放. 但是本人对FFmp ...
- 【并查集模板】 【洛谷P2978】 【USACO10JAN】下午茶时间
P2978 [USACO10JAN]下午茶时间Tea Time 题目描述 N (1 <= N <= 1000) cows, conveniently numbered 1..N all a ...
- Codeforces 1150E(树、线段树)
要点 括号序列平衡度即树深度的性质 相当于中序遍历,则两点间最浅的地方即是LCA的性质 线段树维护\(d(a) + d(c) - 2*d(lca(a,c))\),一层层剥,思考维护这个量需要什么,结果 ...
- 解决pycharm新建工程项目都需要重新安装库问题
在新建一个工程项目后,发现之前安装的库均不在了.想要使用的情况下还得重新安装.这样也太不智能了,一定会有解决的办法.查找相关文档后,发现在新建工程项目的时候需要进行选择是否使用以前的环境. 选择已存在 ...
- iPhone使用CoreTelephony获得SIM卡网络运营商资讯和通话资料
注意要加头文件目录 /System/Library/Frameworks/CoreTelephony.framework/Headers 到 build 设置 Header Search Paths, ...