头疼的问题 MaxCompute 用户一个常见的问题是:同一个周期任务,为什么最近几天比之前慢了很多?或者为什么之前都能按时产出的作业最近经常破线? 通常来说,引起作业执行变慢的原因有:quota 组资源不足.输入数据量变动.数据分布情况变动.平台硬件故障引发重跑等.本文主要针对数据变动引起的作业慢问题,介绍用户如何通过 MaxCompute Studio 的作业执行图及作业详情功能来自助定位问题. MaxCompute Studio 登场 我们举个例子来说. 下面是同一个任务分别在5月7日,5…

SQL因其简单易学的特点,是用户与MaxCompute服务交互的主要手段.如何帮助用户高效愉快的编写SQL是MaxCompute studio的核心使命,下面就让我们来一探究竟: 忘记语法 相信大家都有过忘记SQL怎么写的时候,一旦忘记,恐怕只能到处去找文档和代码示例,被迫离开全神贯注的SQL editor,十分影响效率.在studio中,我们集成了大量的MaxCompute SQL语法模板,你只需一个快捷键就能唤出,十分方便.譬如,我现在想要在表中加入一列,但不知道SQL语法,那么使用快捷键(…

MaxCompute Studio 是MaxCompute 平台提供的安装在开发者客户端的大数据集成开发环境工具,是一套基于流行的集成开发平台 IntelliJ IDEA 的开发插件,可以帮助您方便地进行数据开发.下面我们一起来看一看Studio的简单用法. 用户登录 Studio提供用户登录功能.常规登录入口在Intellij toolbar中右上角的Sign In.登录完成后可直接使用答疑机器人.添加D2项目.同步D2等功能. 答疑机器人 点击右侧“FAQ Robot”按钮,进入答疑机器人页…

在数据开发过程中,我们通常需要将两个作业进行对比从而定位作业运行性能或者结果有差异的问题,但是对比作业时需要同时打开两个studio 的tab页,或者两个Logview页,不停切换进行对比,使用起来非常的不方便.MaxCompute Studio从3.1.0版本开始支持作业对比,可以在一个页面同时比较两个作业,并且能自动标注出作业的差异点. 本文我以查找同个作业执行两次用时差别很大的原因为例,通过MaxCompute Studio的对比功能对两次执行的job进行对比,找出执行时间差别大的原因.…

Log Parser Studio 分析 IIS 日志 来源 https://www.cnblogs.com/lonelyxmas/p/8671336.html 软件下载地址: Log Parser 2.2 Download: https://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=24659 Log Parser Studio download: https://gallery.technet.micros…

原文:windows管理员利器之用Log Parser Studio分析IIS日志(附逐浪CMS官方命令集) Log Parser Studio是一个强大的IIS图形分析工具,值得推荐. 1. 安装Log Parser Studio a) 需要先安装Log Parser,下载地址:http://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=24659 b) 安装Log Parser Studio,下载地址:http…

由于MaxCompute SQL本身不提供类似数据库的select * from table limit x offset y的分页查询逻辑.但是有很多用户希望在一定场景下能够使用获取类似数据库分页的逻辑,对查询结果进行分页/分批获取结果,本文将介绍几种方法,来实现上述场景. 1. 借助row_number()函数作为递增唯一标识进行过滤查询 select * from (select row_number() over() as row_id,* from orders_delta)t whe…

原文链接:http://click.aliyun.com/m/13990/ UDF全称User Defined Function,即用户自定义函数.MaxCompute提供了很多内建函数来满足用户的计算需求,同时用户还可以创建自定义函数来满足定制的计算需求.用户能扩展的UDF有三种:UDF(User Defined Scalar Function),UDTF(User Defined Table Valued Function)和UDAF(User Defined Aggregation Fun…

方法一:autotrace 1,  connect sys/密码 as sysdba,在sys用户下运行$ORACLE_HOME/sqlplus/admin/plustrce.sql这段sql的实际内容如下:set echo ondrop role plustrace;create role plustrace;grant select  on v_$sesstat to plustrace;grant select on v_$statname to plustrace;grant selec…

今天下午15:11-15:13间出现了类似“黑色30秒”的状况,我们用强大的IIS日志分析工具——Log Parser Studio进行了进一步的分析. 分析情况如下—— 先看一下Windows性能监视器中的问题表现: 然后用Log Parser Studio分析07:11:55与07:13:55(GMT时间)之间的IIS日志,看看这期间有多少time-taken超过1秒的请求. 在短短的2分钟之内,竟然有315个请求的time-taken超过1秒. 而在这期间Request Execution…