Spark集群模式概述
作者:foreyou
出处:http://www.foreyou.net/2015/06/22/spark-cluster-mode-overview/
声明:本文采用以下协议进行授权: 署名-非商用|CC BY-NC 3.0 CN ,转载请注明作者及出处。
本篇文章作为理解Spark框架的入门文章,对《Spark Cluster Mode Overview》的翻译。
集群模式概述
为了便于理解Spark
框架的组件,这篇文章对Spark
是如何运行在集群上做了概述。如果想要知道如何提交应用程序给Spark
集群可以通读《application submission guide》。
组件
Spark
应用程序以一组独立的进程的运行在集群上,由在主程序(称之为DriverProgram
)中的SparkContext
对象来协调这些进程。SparkContext
可以连接到多种跨应用程序的资源分配集群管理器(比如,Spark
自己的Standalone
和Mesos/Yarn
等),以运行Spark
集群。一旦连接到集群,Spark
便能获得了集群内部节点上的Executor
。每个Executor
都是集群节点上的一个为应用程序提供计算和数据存储的进程。然后,SparkContext
会将代码发送给Executor
。最后,SparkContext
会把任务发给Executor
执行。
关于这个架构,有几个值得注意的细节:
- 每个应用程序都会得到属于自己的一组
Executor
进程,这些进程伴随在应用程序的整个生命周期内,会一直以多线程的方式执行任务。这得益于应用程序彼此之间在调度和执行两端的都是分离的,因为每个driver program
都只会调度自己应用程序的任务,同时不同应用程序的任务都会运行在不同的JVM
中。这也意味着,除非将数据写到外部存储,否则Spark
应用程序(SparkContext
实例)之间没法共享数据。 Spark
对于底层的集群管理器是不可见的。只要获得Executor
并让他们之间能够彼此通信,在集群管理器(例如,Mesos/Yarn
)上运行Spark
应用程序就会变得相对容易,这些集群管理器还可以运行其他类型的应用程序。- 在
Driver program
的整个生命周期内,它都要接听和接受来自Executor
的连接请求(详见spark.driver.port and spark.fileserver.port in the network config section)。这样Driver program
必须是从工作节点网络可寻址的。 - 因为
Driver program
是用来调度任务在集群上执行的,所以它运行的节点应该尽量靠近工作节点,最好是同一个局域网。如果你想远程发送请求到集群,最好开一个RPC到driver
,并把它提交到一个靠近集群的driver
而不是一个远离工作节点的driver
。
集群管理器类型
Spark
系统目前支持三种类型的集群管理器:
Standalone
-Spark
框架提供的便于其创建集群的一种集群管理器。Apache Mesos
- 一个也可以运行Hadoop
MapReduce
和服务程序的通用集群管理器。Hadoop YARN
-Hadoop 2
的资源管理器。
除此之外,Spark
还提供了EC2 launch scripts
便于其在Amazon EC2
之上建立Standalone
集群。
提交应用程序
应用程序可以使用spark-submit
脚本提交到集群上去运行。《application submission guide》介绍了详细步骤。
监控(Monitoring)
每个Driver program
都有一个对应的网络UI,应用程序端口为4040,用于显示有关正在运行的任务,Executor
,以及存储使用情况的信息。在浏览器内通过http://<driver-node>:4040
链接访问此网络UI。《monitoring guide 》还介绍了其他监控选项。
作业调度(Job Scheduling)
Spark
框架下,既有跨应用程序的资源分配(集群管理器级别),也有应用程序内资源分配(如果在同一个SparkContext上发生了多个计算)。详见《job scheduling overview》。
术语(Glossary)
下表汇总了Spark
框架下的概念术语:
术语 | 意思 |
---|---|
Application |
在Spark 上构建的程序,由Driver program 和集群上的Executor 组成 |
Driver program |
运行main() 函数和创建SparkContext 的进程 |
Cluster manager |
用于获取集群上资源的外部服务(例如,Standalone ,Mesos ,YARN ) |
Worker node |
集群中任意可以运行应用的节点 |
Executor |
在工作员节点上为应用所启动的一个进程,可以运行任务以及可以在内存或是硬盘中保存数据。每一个应用都有属于自己的一组Executor |
Task |
一个可以被发送给Executor 的工作单元 |
Job |
一个用于响应Spark action (例如,save ,collect )的多任务组成的并行计算;你可以在驱动日志中看到这个术语 |
Stage |
每个工作被分为较小相互依赖的Task 集合称为Stage (和MapReduce 中的map 和reduce 阶段相似); 你可以在驱动日志中看到这个术语 |
Spark集群模式概述的更多相关文章
- Apache Spark 2.2.0 中文文档 - 集群模式概述 | ApacheCN
集群模式概述 该文档给出了 Spark 如何在集群上运行.使之更容易来理解所涉及到的组件的简短概述.通过阅读 应用提交指南 来学习关于在集群上启动应用. 组件 Spark 应用在集群上作为独立的进程组 ...
- Spark集群模式&Spark程序提交
Spark集群模式&Spark程序提交 1. 集群管理器 Spark当前支持三种集群管理方式 Standalone-Spark自带的一种集群管理方式,易于构建集群. Apache Mesos- ...
- 【待补充】Spark 集群模式 && Spark Job 部署模式
0. 说明 Spark 集群模式 && Spark Job 部署模式 1. Spark 集群模式 [ Local ] 使用一个 JVM 模拟 Spark 集群 [ Standalone ...
- 【原】简述使用spark集群模式运行程序
本文前提是已经正确安装好scala,sbt以及spark了 简述将程序挂载到集群上运行的步骤: 1.构建sbt标准的项目工程结构: 其中: ~/build.sbt文件用来配置项目的基本信息(项目名 ...
- spark集群模式
1.配置集群主机免登陆,参考http://www.cnblogs.com/puroc/p/5996730.html2.修改/etc/hosts文件,增加所有主机名和IP的对应关系 3.修改spark- ...
- Spark集群-Standalone 模式
Spark 集群相关 table td{ width: 15% } 来源于官方, 可以理解为是官方译文, 外加一点自己的理解. 版本是2.4.4 本篇文章涉及到: 集群概述 master, worke ...
- 大数据技术之_19_Spark学习_01_Spark 基础解析 + Spark 概述 + Spark 集群安装 + 执行 Spark 程序
第1章 Spark 概述1.1 什么是 Spark1.2 Spark 特点1.3 Spark 的用户和用途第2章 Spark 集群安装2.1 集群角色2.2 机器准备2.3 下载 Spark 安装包2 ...
- Spark Streaming揭秘 Day31 集群模式下SparkStreaming日志分析(续)
Spark Streaming揭秘 Day31 集群模式下SparkStreaming日志分析(续) 今天延续昨天的内容,主要对为什么一个处理会分解成多个Job执行进行解析. 让我们跟踪下Job调用过 ...
- Spark Streaming揭秘 Day30 集群模式下SparkStreaming日志分析
Spark Streaming揭秘 Day30 集群模式下SparkStreaming日志分析 今天通过集群运行模式观察.研究和透彻的刨析SparkStreaming的日志和web监控台. Day28 ...
随机推荐
- solr索引
solr索引 当我们真正进入到Lucene源代码之中的时候,我们会发现: • Lucene的索引过程,就是按照全文检索的基本过程,将倒排表写成此文件格式的过程. • Lucene的搜索过程,就是按照此 ...
- Java[2] 分布式服务架构之java远程调用技术浅析(转http://www.uml.org.cn/zjjs/201208011.asp)
转自:http://www.uml.org.cn/zjjs/201208011.asp 在分布式服务框架中,一个最基础的问题就是远程服务是怎么通讯的,在Java领域中有很多可实现远程通讯的技术,例如: ...
- WINDOWS BITLOCK
BitLocker是什么? Windows BitLocker驱动器加密通过加密Windows操作系统卷上存储的所有数据可以更好地保护计算机中的数据.BitLocker使用TPM帮助保护Windows ...
- 高性能WEB开发(11) - flush让页面分块,逐步呈现
高性能WEB开发(11) - flush让页面分块,逐步呈现 在处理比較耗时的请求的时候,我们总希望先让用户先看到部分内容,让用户知道系统正在进行处理,而不是无响应.一般大家在处理这样的情况,都使用a ...
- iOS动画开发之五——炫酷的粒子效果
在上几篇博客中,我们对UIView层的动画以及iOS的核心动画做了介绍,基本已经可以满足iOS应用项目中所有的动画需求,如果你觉得那些都还不够炫酷,亦或是你灵光一现,想用UIKit框架写出一款炫酷的休 ...
- html 页面实现指定位置的跳转
1.同页面跳转到相应位置 <a href="#id1">跳转到词条1</a> <a href="#id2">跳转到词条2&l ...
- oracle nvl()函数在使用中出现的问题
看一条sql select q.*, r.goods_name from (select nvl(t.goods_code, s.goods_code) goods_code, t.buy_open_ ...
- Catel(翻译)-为什么选择Catel
1. 介绍 这篇文章主要是为了说明,我们为什么要使用Catel框架作为开发WPF,Silverlight,和Windows phone7应用程序的开发框架. 2. 通用功能 2. ...
- [C#] 常用函数
查找字符串: string test="a,b,c,de"; 方法1:Contains test.Contains("b") //返回值 true 方法2:E ...
- MySql事务及隔离级别
在数据库中,所谓事务是指作为单个逻辑工作单元执行的一系列操作. 事务的操作: 先定义开始一个事务,然后对数据作修改操作, 这时如果提交(COMMIT),这些修改就永久地保存下来 如果回退(ROLLBA ...