Spark 部署即提交模式意义解析
Spark 的官方从 Cluster Mode Overview 中,官方向我们介绍了 cluster 模式的部署方式。
Spark 作为独立进程在集群上运行,他们通过 SparkContext 进行协调。
SparkContext 可以通过多种方式来连接 Cluster Managers 资源调度器。我们先来看下这个集群模式的架构图
首先我要神明一点 standalone 也是集群模式的一种。只是说他不是通过第三方调度器比如 Yarn | Mesos 。我一直被这个名字误导,一直觉得是不是 alone 就是单机模式的意思?其实不是,他是 spark 在没有第三方调度器的情况下,自己对资源进行申请调度的一种方式。采用这种方式会有一个 Driver Program 作为 master 负责调度资源。
不管我们选用哪种第三方调度器,我们都会在获得资源之后申请 executor ,在使用 yarn 的情况下这些 executor 会分散在集群中各个 application_master 上面。
这些 spark 的 executor 会处理计算并存储你的应用信息。这个时候申请好 executor 之后我们就可以将代码通过 SC 发送到 executor 了。最后 SparkContext 会发送 task 到 executors 里面去 run 。
我们来整理一下上面提到的信息。
首先这种通过第三方调度器的是集群模式。集群模式在申请 SparkContext 的时候有很多种模式,拿 Yarn 举例。
yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
yarn-cluster集群模式 连接到 YARN 集群 。需要配置 HADOOP_CONF_DIR。
这里的 yarn-client 模式简单理解就是说 我们提交任务的机器可以作为 driver 他一般在集群之中。这样的话我们提交任务之后会直接由提交任务的机器充当 driver 角色。drvier 需要在应用的整个运行周期里面都保持连接和存活。
yarn-client 可以理解为一个远程的提交任务的机器时候使用的参数。因为只提交任务,并不在集群种参与计算,也不充当 driver 。所以一般 yarn 会在收到这种模式任务之后,现在集群内部创建一个 driver 然后再开始上面 yarn-client 做的后续工作。
剩下的模式
local 本地单线程
local[K] 本地多线程(指定K个内核)
local[*] 本地多线程(指定所有可用内核)
spark://HOST:PORT 连接到指定的 Spark standalone cluster master,需要指定端口。
mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口。
这些参数都可以在 spark-submit --master local 这个参数里设置。对应 ss 或者 sc 应用的
sc_conf.setMaster('local[4]')
这样的函数设置。
这里注意我们在使用 yarn 的时候如果直接写 yarn ,其实我们使用的是 yarn-client 模式。
这里还有一个关于 Deploy mode glossary
Deploy mode Distinguishes where the driver process runs. In "cluster" mode, the framework launches the driver inside of the cluster. In "client" mode, the submitter launches the driver outside of the cluster.
如果我需要直接让应用在本地执行,比如我使用 jupyter 调试程序。
当然可以直接在申请资源的时候设置 local
这样的话本地环境比较可控也方便,坑也比较少 美滋滋。
Reference:
https://www.zhihu.com/question/23967309 spark在那里指定master URL呢
https://www.cnblogs.com/ITtangtang/p/7967386.html Spark On Yarn的两种模式yarn-cluster和yarn-client深度剖析
Spark 部署即提交模式意义解析的更多相关文章
- Spark之Yarn提交模式
一.Client模式 提交命令: ./spark-submit --master yarn --class org.apache.examples.SparkPi ../lib/spark-examp ...
- 入门大数据---Spark部署模式与作业提交
一.作业提交 1.1 spark-submit Spark 所有模式均使用 spark-submit 命令提交作业,其格式如下: ./bin/spark-submit \ --class <ma ...
- Spark部署三种方式介绍:YARN模式、Standalone模式、HA模式
参考自:Spark部署三种方式介绍:YARN模式.Standalone模式.HA模式http://www.aboutyun.com/forum.php?mod=viewthread&tid=7 ...
- spark提交模式
spark基本的提交语句: ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --depl ...
- 【Spark篇】--Spark中Standalone的两种提交模式
一.前述 Spark中Standalone有两种提交模式,一个是Standalone-client模式,一个是Standalone-master模式. 二.具体 1.Standalon ...
- Spark Standalone 提交模式
一.Client提交模式 提交命令: ./spark-submit --master spark://node1:7077 --class org.apache.spark.examples.Spar ...
- spark基于yarn的两种提交模式
一.spark的三种提交模式 1.第一种,Spark内核架构,即standalone模式,基于Spark自己的Master-Worker集群. 2.第二种,基于YARN的yarn-cluster模式. ...
- 小记--------spark的两种提交模式
spark的两种提交模式:yarn-cluster . yarn-client 图解
- Spark 集群 任务提交模式
Spark 集群的模式及提交任务的方式 本文大致的内容图 Spark 集群的两种模式: Standalone 模式 Standalone-client 任务提交方式 提交命令 ./spark-subm ...
随机推荐
- centos lnmp一键安装
安装 系统需求: 需要2 GB硬盘剩余空间 128M以上内存,OpenVZ的建议192MB以上(小内存请勿使用64位系统) Linux下区分大小写,输入命令时请注意! 安装步骤: 1.使用putty或 ...
- Asp.Net Core中使用GDI+绘图提示gdiplus库找不到的问题
参考 https://www.cnblogs.com/VirtualMJ/p/9917916.html 文章中 1 2 3 yum install -y epel-release yum mak ...
- 8、VUE自定义组件
1.为什么要使用自定义组件? 自定义组件是用来封装复杂的内容,提高可重用性,比如封装复杂的表格组件.日历组件.图片轮播组件等. 2.自定义组件 2.1. 全局组件 全局组件是每个Vue对象都能使用的组 ...
- SQL语句--删除掉重复项只保留一条
用SQL语句,删除掉重复项只保留一条 在几千条记录里,存在着些相同的记录,如何能用SQL语句,删除掉重复的呢1.查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断 select ...
- windows10结束进程
.net winfrom 程序关于结束进程触发事件 在任务管理器中有进程.详细信息栏 在进程栏对应用程序结束任务,会触发应用程序窗体的FormClosed事件 在详细信息栏对应用程序结束任务,不会触发 ...
- dapper.common新增概念object to sql
Dapper.Common About author Email:@qq.com QQ: QQGroup: Config DbContextFactory.AddDataSource(new Data ...
- 几何不变矩--Hu矩
[图像算法]图像特征: ---------------------------------------------------------------------------------------- ...
- Mybatis源码解析(四) —— SqlSession是如何实现数据库操作的?
Mybatis源码解析(四) -- SqlSession是如何实现数据库操作的? 如果拿一次数据库请求操作做比喻,那么前面3篇文章就是在做请求准备,真正执行操作的是本篇文章要讲述的内容.正如标题一 ...
- Java JDBC 操作二进制数据、日期时间
二进制数据 mysql提供了四种类型来存储二进制数据: TinyBlob 最多可存储255字节 Blob 最多可存储65KB MediumBlob 最多可存储16MB LongBlob ...
- 8 smali文件格式
Apktool反编译apk后程序中每一个类都会有一个smali文件. 一.当前类信息:smali文件的头三行描述了当前类的一些信息. Eg: .class <访问权限> [修饰关键字]&l ...