0. 概述 本文档面向需要使用MaxCompute Spark进行开发的用户使用.本指南主要适用于具备有Spark开发经验的开发人员. MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务,它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持用户以熟悉的开发使用方式提交运行Spark作业,以满足更丰富的数据处理分析场景. 本文将重点介绍MaxCompute Spark能够支撑的应用场景,同时说明开发的依赖条件和环境准备,重点对Spark作业开发…

1.executor lost /java oom 通常是由于单个task内存占用过多,可以观察是哪个阶段挂的,如果类似groupbykey,可以看看是否有数据倾斜现象 如果不是,可以repartition手动增加partitioin数,减少单个task的资源消耗 有cache操作,partition数需要调的更大 2.看不到log,可能是关闭了eventlog 3.hadoop慢节点,可以考虑配置推测执行,但是需要合理设置阈值 4.spark.max.creatFiles 1000 最后输出使…

作者Michael G. Noll是瑞士的一位工程师和研究员,效力于Verisign,是Verisign实验室的大规模数据分析基础设施(基础Hadoop)的技术主管.本文,Michael详细的演示了如何将Kafka整合到Spark Streaming中. 期间, Michael还提到了将Kafka整合到 Spark Streaming中的一些现状,非常值得阅读,虽然有一些信息在Spark 1.2版本中已发生了一些变化,比如HA策略: 通过Spark Contributor.Spark布道者陈超我…

您好,MaxCompute 2019.8月刊为您带来8月产品.技术最新动态,欢迎阅读. 导读 [重要发布]8月产品重要发布 [文档更新]8月重要文档更新推荐 [干货精选]8月精选技术文章推荐 [精彩活动技术干货]8月重要活动回顾及技术干货整理 [重要发布]8月产品重要发布 1. MaxCompute存储降价 查看详情 >>> MaxCompute存储计费于9月1日进行降价,原5个阶梯价调整为3个阶梯价,同时阶梯单价向下调整.计量计费方式不变,以项目为单位出账,小时级别采集每个项目空间下当…

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文.希望对大家有所帮助. 问题一.DataWorks V2.0简单模式和标准模式的区别?公司数仓的数据上云后,在使用MaxCompute计算引擎时,需要一个稳定.可靠的调度系统,将自身数据生产任务(代码)按照所需依赖关系.运行时间来调度运行,那么DataWorks就派上了用场.DataWorks提供简单模式和标准模式两种工作空间模式.简单模式指一个DataWorks工作空间对应一个MaxCompute项…

您好,MaxCompute 2019.7月刊为您带来7月产品.技术最新动态,欢迎阅读. 导读 [发布]7月产品重要发布 [资讯]7月重要资讯 [文档]7月重要文档更新推荐 [干货]7月精选技术文章推荐 [预告]8月活动预告 [发布]7月产品重要发布 1.MaxCompute西南成都节点正式开服售卖 可在官网购买成都节点资源,在控制台按需求开通project.现在开通>>> 2.MaxCompute国际Region Spark商业化发布   查看文档>>> 适用客户 1.…

一.Spark系统概述 左侧是原生Spark的架构图,右边Spark on MaxCompute运行在阿里云自研的Cupid的平台之上,该平台可以原生支持开源社区Yarn所支持的计算框架,如Spark等. 二.Spark运行在客户端的配置和使用 2.1打开链接下载客户端到本地 http://odps-repo.oss-cn-hangzhou.aliyuncs.com/spark/2.3.0-odps0.30.0/spark-2.3.0-odps0.30.0.tar.gz?spm=a2c4g.11…

2019年5月14日,喜提浙江省科学技术进步一等奖的 MaxCompute 是阿里巴巴自研的 EB 级大数据计算平台.该平台依托阿里云飞天基础架构,是阿里巴巴在10年前做飞天系统的三大件之分布式计算部分.10年后的今天,MaxCompute已经是可以承载EB级的数据存储能力,百PB级的单日计算能力,公共云覆盖国内外十几个国家和地区,专有云包含城市大脑在内部署超过100+套的阿里巴巴的统一计算平台. 这里要说的是,MaxCompute依托于阿里云的飞天基础架构,与今天业界常见的依托虚拟机技术 +…

原文地址:https://my.oschina.net/tearsky/blog/629201 摘要: 1.Operation category READ is not supported in state standby 2.配置spark.deploy.recoveryMode选项为ZOOKEEPER 3.多Master如何配置 4.No Space Left on the device(Shuffle临时文件过多) 5.java.lang.OutOfMemory, unable to cr…

除本人同意外,严禁一切转载,徽沪一郎. 概要 编写了独立运行的Spark Application之后,需要将其提交到Spark Cluster中运行,一般会采用spark-submit来进行应用的提交,在使用spark-submit的过程中,有哪些事情需要注意的呢? 本文试就此做一个小小的总结. spark-defaults.conf Spark-defaults.conf的作用范围要搞清楚,编辑driver所在机器上的spark-defaults.conf,该文件会影响 到driver所提交运…