架构流程图

说明 

Driver端流程说明(Standalone模式)

  1. 使用spark-submit提交Spark应用程序Application.
  2. 通过反射的方式创建和构造一个DriverActor进程(Driver进程).
  3. SparkContext初始化，构造DAGScheduler和TaskScheduler.
  4. 每执行到一个Action操作就会创建一个job,该job会提交到DAGScheduler，划分为多个stage然后为每个stage创建一个TaskSet.
  5. TaskScheduler负责连接Master并向Master注册Application.
  6. TaskScheduler把TaskSet中的每一个task提交到executor上执行(task分配算法).
  7. SparkContext的初始化在所有Executor完成反向注册后才完成，并继续执行提交的应用程序.

Master和Worker流程说明

  1. Master接收到Application注册请求后会使用自己的资源调度算法，在Spark集群的Work上为这个Application启动多个Executor.
  2. Executor启动之后反注册到TaskScheduler.
  3. Executor每次收到一个task都会用TaskRunner来封装task,然后从线程池里取出一个线程执行这个task.
  4. TaskRunner将需执行的算子及函数、拷贝、反序列化然后执行task.

 

窄依赖
英文名:Narrow Depandency
一个RDD对它的父RDD,只有简单的一对一的依赖关系，也就是说RDD的每个partition仅仅依赖于父RDD中的一个partition.父RDD和子RDD的partition之间的对应关系为一对一

宽依赖
英文名：Shuffle Dependency
本质为Shuffle,每一个父RDD的partition中的数据，都可能会传输一部分到下一个RDD的每一个oartition.该情况下父RDD和子RDD的partition之间是多对一的关系

Spark系列(四)整体架构分析的更多相关文章

  1. Bootstrap源码分析系列之整体架构

    作为一名合格的前端工程师,你肯定听说过Bootstarp框架.确实可以说Bootstrap框架是最流行的前端框架之一.可是也有人说Bootstrap是给后端和前端小白用的,我认为只要学习它能给我们前端 ...

  2. OpenRisc-37-OpenRISC的CPU&core的整体架构分析

    引言 前面我们分析了ORPSoC的整体架构,并对其子系统进行了深入的分析和了解.但对于ORPSoC的核心模块or1200_top及其内部的core--or1200_cpu模块却鲜有涉及,算是ORPSo ...

  3. LevelDB系列之整体架构

    LevelDb本质上是一套存储系统以及在这套存储系统上提供的一些操作接口.为了便于理解整个系统及其处理流程,我们可以从两个不同的角度来看待LevleDb:静态角度和动态角度.从静态角度,可以假想整个系 ...

  4. 小白学习Spark系列四：RDD踩坑总结（scala+spark2.1 sql常用方法）

    初次尝试用 Spark+scala 完成项目的重构,由于两者之前都没接触过,所以边学边用的过程大多艰难.首先面临的是如何快速上手,然后是代码调优.性能调优.本章主要记录自己在项目中遇到的问题以及解决方 ...

  5. WebRTC音视频引擎研究(1)--整体架构分析

    WebRTC技术交流群:234795279 原文地址:http://blog.csdn.net/temotemo/article/details/7530504     1.WebRTC目的     ...

  6. MapReduce整体架构分析

    继前段时间分析Redis源代码一段时间之后.我即将開始接下来的一段技术学习的征程.研究的技术就是当前很火热的Hadoop,可是一个Hadoop生态圈是很庞大的.所以首先我的打算是挑选当中的一部分模块, ...

  7. 转： WebRTC音视频引擎研究(1)--整体架构分析

    转自: http://blog.csdn.net/temotemo/article/details/7530504   目录(?)[+]   WebRTC技术交流群:234795279 原文地址:ht ...

  8. ES6入门系列四（测试题分析）

    0.导言 ES6中新增了不少的新特性,来点测试题热热身.具体题目来源请看:http://perfectionkills.com/javascript-quiz-es6/. 以下将一题一题来解析what ...

  9. Tomcat整体架构分析

    下面让我们来看看Tomcat容器的整体结构: 本文的目的是覆盖这张图中所涉及的主要请求处理组件.而上图中的一些高级主题如集群和安全则不是在本文讨论的范围之内. 本图中,Service, Host, C ...

随机推荐

  1. jquery捕捉文本域输入事件

    <input type='text' /> change事件是在文本域光标失去焦点时才会触发,要监听正在输入内容事件用键盘事件监听如果想要捕捉文本域输入事件,可以使用$("inp ...

  2. hdu 1024

    参考了一下 http://moxi466839201.blog.163.com/blog/static/18003841620110220374942/ 滚动数组   状态转移方程不太好理解 .... ...

  3. BZOJ 3123 SDOI2013 森林

    首先对于查询操作就是裸的COT QAQ 在树上DFS建出主席树就可以了 对于连接操作,我们发现并没有删除 所以我们可以进行启发式合并,每次将小的树拍扁插入大的树里并重构即可 写完了之后第一个和第二个点 ...

  4. Let's go! （Ubuntu下搭建Go语言环境）

    自2009年Go语言发布以来,我一直在关注Go语言,如今Go语言已经发展到1.2版本,而且也收到越来越多的人关注这门语言.Go语言设计的目的就是为了解决执行数度快但是编译数度并不理想(如C++)以及编 ...

  5. QGraphicsEffect介绍（十分漂亮）

    原文链接:Qt 图形特效(Graphics Effect)介绍 QGraphicsEffect也是Qt-4.6引入的一个新功能.它让给图形元素QGraphicsItem增加更佳视觉效果的编程变得非常简 ...

  6. 前阿里CEO卫哲谈阿里创业经验：如何找人、找钱、找方向？（不同的阶段分别有：时间优先、金额优先、比例优先，不要做平台，太难）

    新浪科技李根 整理报道 卫哲现在是御嘉基金的创始合伙人,他另一个更加知名的身份是阿里巴巴(B2B)前CEO,在2006年到2011年的时间里,卫哲见证了阿里巴巴如何利用人才.资本和方向选择一路壮大. ...

  7. Oracle程序包

    程序包由两部分构成:规范(specification)和主体(body). 创建表 create table PEOPLE ( ID NUMBER primary key not null, NAME ...

  8. binary 和 varbinary

    固定长度或可变长度的 Binary 数据类型. binary [ ( n ) ] 长度为 n 字节的固定长度二进制数据,其中 n 是从 1 到 8,000 的值.存储大小为 n 字节. varbina ...

  9. JavaScript DOM高级程序设计 2.4-try{}catch{}--我要坚持到底！

    先看一段有异常的语句 var sound = 'Roar!'; function myOrneryBeast() { this.style.color='green';//window没有style属 ...

  10. JavaScript DOM高级程序设计2.3 this--我要坚持到底！

    先从一个例子说起 var sound = 'Roar'; function myOrneryBeast() { this.style.color='green';//window 方法被调用时所属的对 ...