Spark Streaming 架构

　　

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　图 1   Spark Streaming 架构图

组件介绍：
‰　　 Network Input Tracker ： 通 过 接 收 器 接 收 流 数 据， 并 将 流 数 据 映 射 为 输 入DStream。
‰ 　　Job Scheduler ：周期性地查询 DStream 图，通过输入的流数据生成 Spark Job，将 Spark Job 提交给 Job Manager 进行执行。
‰ 　　JobManager：维护一个 Job 队列，将队列中的 Job 提交到 Spark 进行执行。
　　通 过 图 1 可 以 看 到 D-Stream Lineage Graph 进 行 整 体 的 流 数 据 的 DAG 图 调度， Taskscheduler 负责具体的任务分发， Block tracker 进行块管理。在从节点，如果是通过网络输入的流数据会将数据存储两份进行容错。 Input receiver 源源不断地接收输入流， Task execution 负责执行主节点分发的任务， Block manager 负责块管理。 SparkStreaming 整体架构和 Spark 很相近，很多思想是可以迁移理解的。