Spark运行模式_local（本地模式）

本地运行模式 （单机）

• 　　该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，直接运行在本地，便于调试，通常用来验证开发出来的应用程序逻辑上有没有问题。
• 　　其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core）。
• 　　如果是local[*]，则代表 Run Spark locally with as many worker threads as logical cores on your machine.

　　　　　　　　

那么，这些线程都运行在什么进程下呢？

　　运行该模式非常简单，只需要把Spark的安装包解压后，改一些常用的配置即可使用，而不用启动Spark的Master、Worker守护进程( 只有集群的Standalone方式时，才需要这两个角色)，也不用启动Hadoop的各服务（除非你要用到HDFS），这是和其他模式的区别哦，要记住才能理解。

那么，这些执行任务的线程，到底是共享在什么进程中呢？

我们用如下命令提交作业：

　　　　　　　　

可以看到，在程序执行过程中，只会生成一个SparkSubmit进程。

　　　　　　　　

这个SparkSubmit进程又当爹、又当妈，既是客户提交任务的Client进程、又是Spark的driver程序、还充当着Spark执行Task的Executor角色。（如下图所示：driver的web ui）

　　　　　　　　

这里有个小插曲，因为driver程序在应用程序结束后就会终止，那么如何在web界面看到该应用程序的执行情况呢，需要如此这般：（如下图所示）

　　　　　　　　

转载自：
作者：俺是亮哥
链接：https://www.jianshu.com/p/65a3476757a5
來源：简书