Spark集群的调度分应用间调度和应用内调度两种情况,下文分别进行说明。

1. 应用间调度

1) 调度策略1: 资源静态分区

资源静态分区是指整个集群的资源被预先划分为多个partitions,资源分配时的最小粒度是一个静态的partition

依据应用对资源的申请需求为其分配静态的partition(s)是Spark支持的最简单的调度策略。

我们已经知道,不同的应用有各自的Spark Context且占用各自的JVM和executor(s)。依据Spark Job Scheduling文档的说明,若Spark集群配置了static partitioning的调度策略,则它对提交的多个应用间默认採用FIFO顺序进行调度,每一个获得执行机会的应用在执行期间可占用整个集群的资源,这样做明显不友好,所以应用提交者通常须要通过设置spark.cores.max来控制其占用的core/memory资源。

2) 调度策略2: 动态共享CPU cores

若Spark集群採用Mesos模式,则除上面介绍的static partitioning的调度策略外,它还支持dynamic sharing of CPU cores的策略。

在这样的调度策略下。每一个应用仍拥有各自独立的cores/memory。但当应用申请资源后并未使用时(即分配给应用的资源当前闲置),其他应用的计算任务可能会被调度器分配到这些闲置资源上。

当提交给集群的应用有非常多是非活跃应用时(即它们并不是时刻占用集群资源),这样的调度策略能非常大程度上提升集群资源利用效率。

但它带来的风险是:若某个应用从非活跃状态转变为活跃状态时。且它提交时申请的资源当前恰好被调度给其他应用,则它无法马上获得运行的机会。

3) 调度策略3: 动态资源申请

Spark 1.2引入了一种被称为Dynamic Resource Allocation的调度策略,它同意依据应用的workload动态调整其所需的集群资源。也即,若应用临时不须要它之前申请的资源,则它能够先归还给集群,当它须要时。能够又一次向集群申请。当Spark集群被多个应用共享时,这样的按需分配的策略显然是很有优势的。

在当前Spark版本号下。动态资源申请是以core为粒度的。

须要特别注意的是,动态资源申请的调度策略默认是不启用的。且眼下仅仅支持在YARN模式(通过设置spark.dynamicAllocation.enabled能够启用该策略),依据Spark文档的说明。将来的版本号会支持standalone模式和Mesos模式。

2. 应用内调度

在应用内部(每一个Application在Spark集群看来均是一个独立的Spark Context),每一个action(spark支持的rdd action列表见这里)以及计算这个action结果所须要的一系列tasks被统称为一个"job"。

默认情况下,Spark调度器对同一个Application内的不同jobs採用FIFO的调度策略。每一个job被分解为不同的stages(spark支持的每一个rdd transformation即为一个stage,完整的transformations列表见这里),当多个job各自的stage所在的线程同一时候申请资源时,第1个job的stage优先获得资源。

假设job
queue头部的job恰好是须要最长运行时间的job时,后面全部的job均得不到运行的机会,这样会导致某些job(s)饿死的情况。

从Spark 0.8開始。Spark集群对同一Application内的jobs的调度策略能够被配置为"fair sharing",详细而言,Spark对不同jobs的stages提交的tasks採用Round Robin的调度方式。如此,全部的jobs均得到公平运行的机会。

因此,即使某些short-time jobs本身的提交时间在long jobs之后,它也能获得被运行的机会,从而达到可预期的响应时间。

要启用fair sharing调度策略,须要在spark配置文件里将spark.scheduler.mode设置为FAIR。

此外。fair sharing调度也支持把不同的jobs聚合到一个pool。不同的pools赋予不同的运行优先级。这是FIFO和fair sharing两种策略的折衷策略,既能保证jobs之间的优先级,也能保证同一优先级的jobs均能得到公平运行的机会。

详细的设置细节请參考Spark相关的配置文档,这里不赘述。

【參考资料】

1. Job Scheduling 

2. Spark Programming Guide - Actions 

3. Spark Programming Guide - Transformations

============================== EOF =========================

Spark调研笔记第3篇 - Spark集群相应用的调度策略简单介绍的更多相关文章

  1. Spark调研笔记第6篇 - Spark编程实战FAQ

    本文主要记录我使用Spark以来遇到的一些典型问题及其解决的方法,希望对遇到相同问题的同学们有所帮助. 1. Spark环境或配置相关 Q: Sparkclient配置文件spark-defaults ...

  2. Spark调研笔记第2篇 - 怎样通过Sparkclient向Spark提交任务

    在上篇笔记的基础上,本文介绍Sparkclient的基本配置及Spark任务提交方式. 1. Sparkclient及基本配置 从Spark官网下载的pre-built包中集成了Sparkclient ...

  3. Spark调研笔记第4篇 - PySpark Internals

    事实上.有两个名为PySpark的概念.一个是指Sparkclient内置的pyspark脚本.而还有一个是指Spark Python API中的名为pyspark的package. 本文仅仅对第1个 ...

  4. Spark学习笔记1——第一个Spark程序:单词数统计

    Spark学习笔记1--第一个Spark程序:单词数统计 笔记摘抄自 [美] Holden Karau 等著的<Spark快速大数据分析> 添加依赖 通过 Maven 添加 Spark-c ...

  5. Spark性能优化指南-高级篇(spark shuffle)

    Spark性能优化指南-高级篇(spark shuffle) 非常好的讲解

  6. Spark学习笔记1(初始spark

    1.什么是spark? spark是一个基于内存的,分布式的,大数据的计算框架,可以解决各种大数据领域的计算问题,提供了一站式的服务 Spark2009年诞生于伯克利大学的AMPLab实验室 2010 ...

  7. JMS学习篇《一》ActiveMQ消息中间件的简单介绍与用法-概念篇

    原创说明:本篇博文为本人原创作品,转载请注明出处 1.何为消息中间件 消息中间件是一种在分布式应用中互相交换信息的一种技术,常见的成熟消息中间件有:RabbitMQ.SonicMQ,activeMQ. ...

  8. Spark学习笔记(三)-Spark Streaming

    Spark Streaming支持实时数据流的可扩展(scalable).高吞吐(high-throughput).容错(fault-tolerant)的流处理(stream processing). ...

  9. spark复习笔记(3):使用spark实现单词统计

    wordcount是spark入门级的demo,不难但是很有趣.接下来我用命令行.scala.Java和python这三种语言来实现单词统计. 一.使用命令行实现单词的统计 1.首先touch一个a. ...

随机推荐

  1. 5 SQL 复杂查询

    5 复杂查询 5-1 视图 究竟视图是什么呢?如果用一句话概述的话,就是“从SQL的角度来看视图就是一张表”.实际上,在SQL语句中并不需要区分哪些是表,哪些是视图. 那么视图和表到底右什么不同呢?区 ...

  2. CSS3---媒体查询与响应式布局

    1. 值 设备类型 All 所有设备 Braille 盲人用点字法触觉回馈设备 Embossed 盲文打印机 Handheld 便携设备 Print 打印用纸或打印预览视图 Projection 各种 ...

  3. LayUI分页基于ASP.NET MVC

    ---恢复内容开始--- 今天写了挺久的分页,百度了很多都没有很好的.Net实例,今天我来更新一期关于layuiTable分页 首先你得理解layui的官方文档的Table分页部分,我在这里附上地址 ...

  4. 3. express 框架使用 vue框架 weiUI

    express 1. 安装 npm install express --save 2. 创建项目 vue js 安装Vuejs vue-cli 是一个官方发布 vue.js 项目脚手架,使用 vue- ...

  5. 利用Bitvise SSH Client设置二级代理

    浏览器设置代理 chrome: 插件:SwitchyOmega 二级代理 软件:Bitvise SSH Client 友情连接:链接: https://pan.baidu.com/s/1fdth_TZ ...

  6. 大数据学习——mapreduce汇总手机号上行流量下行流量总流量

    时间戳 手机号 MAC地址 ip 域名 上行流量包个数 下行 上行流量 下行流量 http状态码 1363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 12 ...

  7. 大数据学习——JAVA采集程序

    1 需求 从外部购买数据,数据提供方会实时将数据推送到6台FTP服务器上,我方部署6台接口采集机来对接采集数据,并上传到HDFS中 提供商在FTP上生成数据的规则是以小时为单位建立文件夹(2016-0 ...

  8. Java比较两个数组中的元素是否相同的最简单方法

    import java.util.Arrays; public class Test { /** * Java比较两个数组中的元素是否相同 */ public static void main(Str ...

  9. LR性能测试问题解决方法

    一.Error -27727: Step download timeout (120 seconds)has expired when downloading resource(s). Set the ...

  10. python3--算法基础:二分查找/折半查找

    算法基础:二分查找/折半查找 #!/usr/bin/env python # -*- coding:utf-8 -*- # 算法基础:二分查找/折半查找 def binarySearch(dataSo ...