Spark（二） -- Spark简单介绍

spark是什么？

spark开源的类Hadoop MapReduce的通用的并行计算框架

spark基于map reduce算法实现的分布式计算

拥有Hadoop MapReduce所具有的优点

但不同于MapReduce的是Job中间输出和结果可以保存在内存中

从而不再需要读写HDFS

从上面的官方解释中我们可以得到的信息时，spark是一套并行计算的框架，并且性能要比hadoop的map-reduce好

那么到底性能比较好是体现在哪里呢

基于内存的处理是spark速度快的原因之一

还有一个很重要的因素就是DAG

DAG，有向无循环图

spark的任务可以分为数据转换和获得结果两步

在获得计算结果之前的操作，都是不执行的，而是根据这些步骤画成一张DAG

到真正要结果的时候才会执行这些计算，拿到计算结果

熟悉hadoop mr模型的人都知道，在mr任务中，每次步骤都会读取HDFS，也就是I/O操作，而一般来说，在数据转换操作过程中产生的中间数据我们是不需要保存在磁盘的（当然这么做的原因也有容错性的因素）

和spark一对比，mr的速度当然被爆10086条大街

另外一个原因就是spark的容错处理机制，在hadoop中一旦某个执行步骤出现问题，那么之前的所有操作都要重新计算。在spark中则只要重新执行出错的步骤即可

简单来说，可以将spark看成是一个开发分布式并行计算程序的SDK，通过spark生态圈提供的各种API来进行开发

spark生态圈大致如下图：

从图中左下角可以看出，spark既可以直接对hadoop的hdfs进行操作，也能在Amazon的S3上运行

spark和hadoop的关系其实是十分紧密的，它可以在hadoop中和传统的mr任务并存，共享数据信息等

一句话概括spark生态圈的组件

SparkStreaming：一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kdfka、Flume、Twitter、 Zero和TCP 套接字）进行类似map、reduce、join、window等复杂操作

SharkSQL：可以将hive的sql语句在spark上执行

BlinkDB：一个在速度和精度上做抉择的交互式查询系统，用户查询的时候可以选择查询的速度或者精度，二者选一

MLbase/MLlib：MLlib是Spark实现一些常见的机器学习算法和实用程序，包括分类，回归，聚类，协同过滤，降维，以及底层优化。

GraphX：基于Spark的图处理和图并行计算API

spark生态圈的各个组件计算都是以一种名为RDD的数据结构为基础的

首先RDD是一种数据结构，根据不同的使用场景，如实时流处理或者批处理都会生成不同的RDD模型

但是各种RDD模型之间都有互相转换的方式，也就是说，spark各个组件之间处理的数据都可以很方便的进行交流互换

RDD将各个组件融合在spark平台上（不同的组件提供不同的功能，根据需求组合组件处理问题）使得spark能够适用于各种大数据场合

spark RDD之间存在着明确的依赖关系，一旦某个环节发生错误，可以根据这种依赖找到错误的父节点来进行重新操作，所以spark在容错性方面十分强大

Spark生态圈以Spark为核心、以RDD为基础，打造了一个基于内存计算的大数据平台，为人们提供了all-in-one的数据处理方案。人们可以 根据不同的场景使用spark生态圈的多个产品来解决应用，而不是使用多个隔离的系统来满足场景需求。

众所周知，在大数据的实时流处理方面storm一直是一个热点，那么和spark的streaming相比如何呢？

storm的亮点在与处理延迟是毫秒级别的，而吞吐量不高

spark streaming则是高吞吐量，处理延迟是秒级的

两者可以使一种互补的关系

上面说过spark任务的容错处理

那么如果spark集群中有节点罢工了怎么办？

如果是master主节点挂了怎么办？

对于第一个问题，如果有slave node在工作环境中当掉了，master对起一个新的节点来进行同样的工作，哪个节点先完成任务就采用哪个节点，那么master是如何知道slave node的状态呢？–心跳机制，相信熟悉hadoop的人对心跳机制不会陌生

至于第二个问题，很多人都会想到HA，其实很简单，zookeeper

zookeeper框架可以保证master节点的安全容错性，并且可以同步数据

现在大家知道spark是基于内存来进行计算的，但是在spark集群中，一个集群一起执行一个任务，那么这个集群之间每台机器是如何共享内存的？？–Tachyon可以做到这一点

一、Spark是什么

1、与Hadoop的关系

如今Hadoop已经不能狭义地称它为软件了，Hadoop广泛的说可以是一套完整的生态系统，可以包括HDFS、Map-Reduce、HBASE、HIVE等等。。

而Spark是一个计算框架，注意，是计算框架

其可以运行在Hadoop之上，绝大部分情况下是基于HDFS

说代替Hadoop其实是代替Hadoop中的Map-Reduce，用来解决Map-Reduce带来的一些问题

更具体地讲，Spark是基于内存的 大数据并行计算框架，可以完美的融入到Hadoop的生态系统中去

而既然是分布式框架必须要解决的两个问题：

1、可扩展性

2、容错性

Spark是如何解决这两个问题待之后整理发布

2、相对于Map-Reduce的迭代模型，Spark的计算模型有何优缺点？

优势：

（1）基于内存，计算速度快

迭代过程中，通过RDD算子生产DAG图的方式，无须将中间数据写入磁盘中

（2）DAG图的执行策略

只有Action操作才会触发执行Job，记录了每个Job的执行流程，形成Lineage和划分Stage等

（3）使用AKKA作为事件驱动来调度任务，开销小

（4）全栈支持

缺陷：

（1）机器配置要求比Map-Reduce高

（2）牺牲硬件提高性能

3、Spark能带来什么？

（1）全栈多计算范式，不仅仅只是简单的Map-Reduce操作，SQL查询、流计算、机器学习、图算法

这里有你想要的一切~

（2）轻量级快速处理：基于内存

（3）支持多语言，丰富的算子，允许在Shell中进行交互式计算，像书写单机程序一样书写分布式程序（这就是Spark诞生的目的）

（4）与HDFS等存储层兼容，可以独立运行，可以运行与Yarn等集群管理系统，可以读取和使用任何Hadoop数据

没天理了~

二、Spark生态系统BDAS（数据分析栈）

Spark也可以脱离Hadoop而存在，它也有自己的生态系统

主要的组件如下列表：

1、核心框架为Spark

提供分布式编程框架

提供除了MR之外的丰富算子以及计算模型

将分布式数据抽象为弹性分布式数据集（RDD）

2、结构化数据SQL查询和分析引擎Spark SQL

可直接执行SQL语句

可执行Spark SQL提供的丰富的API

基于RDD操作

3、分布式机器学习库Mllib

4、并行图计算框架GraphX

5、流计算框架Spark Streaming

将实时数据按照指定时间片划分为流数据

6、近似计算查询引擎BlinkDB

交互式SQL的近似查询

允许用户在查询精确度和查询响应时间之间做出权衡

7、内存分布式文件系统Tachyon

内存中的HDFS

8、资源管理框架Mesos

提供类似Yarn的功能

9、1.4新特性SparkR

三、Spark构架

1、构架组成

Spark集群中一些核心概念：

（1）Master

集群中含有Master进程的节点

负责集群的协作和管理

本身不参与计算任务

在Yarn上运行时表现为ResourceManager

（2）Slaves

集群中含有Worker进程的节点

接受Master命令和进行状态汇报

Worker本身并不是处理计算任务的

在Yarn上运行时表现为NodeManager

（3）Driver

负责控制Client提交的任务的执行

执行程序的main函数并创建SparkContext

分发Task到具体的Worker上的Executor

分发任务执行所需要的file和jar包（序列化后）给Worker节点

（4）SparkContext：整个应用的上下文，控制应用的生命周期

RDD：基本计算单元，提供丰富的算子，一组RDD可执行成DAG图

DAGScheduler：输入DAG图，根据RDD之间的依赖关系划分为Stages输出

TaskScheduler：输入Stages，将其划分为更小的Task分发给具体的Executor执行

SparkEnv：存储运行时的重要组件的引用，包括：

=>MapOutPutTracker：负责Shuffle元信息的存储

=>Broadcastmanager：负责广播变量的控制与元信息的存储

=>BlockManager：负责存储管理、创建和查找块

=>MetricsSystem：监控运行时性能指标信息

=> SparkConf：负责存储配置信息

（5）Client

用户提交任务的工具

2、Spark执行任务流程（简略版）

（1）Client提交应用

（2）Master找到Worker并启动Driver

（3）Driver向Master申请资源

（4）操作RDD形成DAG图交给DAGScheduler

（5）DAGScheduler将DAG图划分为Stages输出给TaskScheduler

（6）TaskScheduler划分Task分发给Worker节点上的Executor执行

四、 Spark分布式构架与单核构架的异同

基本概念：

（1）Spark是分布式计算框架

（2）在上面可以编写分布式程序和软件

编写分布式程序需要注意的点：

内存和磁盘共享问题