Spark—初识spark

Spark——初识spark

一、Spark背景

1)MapReduce局限性

<1>仅支持Map和Reduce两种操作，提供给用户的只有这两种操作

<2>处理效率低效

Map中间结果写磁盘，Reduce写HDFS，多个MR之间通过HDFS交换数据

任务调度和启动开销大:

mr的启动开销一，客户端需要把应用程序提交给resourcesManager，resourcesManager去选择节点去运行，快的话几秒钟，慢的话1分钟左右.

开销二，maptask和reducetask的启动，当他俩被resourcesManager调度的时候，会先启动一个container进程，然后让他俩运行起来，每一个task都要经历jvm的启动，销毁等.

<3>Map端和Reduce端均需要排序：map和Reduce是都需要进行排序的，但是有的程序完全不需要排序（比如求最大值求最小值，聚合等），所以就造成了性能的低效.

<4>不适合迭代计算（如机器学习、图计算等），交互式处理（数据挖掘）和流式处理（点击日志分析）：因为任务调度和启动开销大，所以不适合交互式处理.

2)框架多样化

现有的各种计算框架各自为战

批处理：MapReduce、Hive、Pig

流式计算：Storm

交互式计算：presto，Impala

二、Spark是什么

官网：http://spark.apache.org/

spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算

模型。高效的支撑更多计算模式，包括交互式查询和流处理。spark的一个主要特点是能够在内存中进行计算，即使依赖磁盘进行复杂的运算，Spark依然比MapReduce更加高效。

三、Spark特点

1)高效

内存计算引擎，提供Cache机制来支持需要反复迭代计算或者多次数据共享，减少数据读取的IO开销

　　DAG引擎，这种引擎的特点是，不同任务之间互相依赖，减少多次计算之间中间结果写到HDFS的开销

　　使用多线程池模型来减少task启动开稍（特指MR中每个task都要经历JVM启动运行销毁操作，Spark的做法是，启动一些常驻的进程，在进程内部会有多个线程去计算task，来一个task，计算task，并回收线程，以此循环，这样就没有JVM的开销），shuffle过程中避免不必要的sort操作以及减少磁盘IO操作

2)易用

提供了丰富的API，支持Java，Scala，Python和R四种语言

3)通用

Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。这些不同类型的处理都可以在同一个应用中无缝使用。Spark统一的解决方案非常具有吸引力，毕竟任何公司都想用统一的平台去处理遇到的问题，减少开发和维护的人力成本和部署平台的物力成本。

4)与Hadoop集成

Spark可以非常方便地与其他的开源产品进行融合。比如，Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器，器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase和Cassandra等。这对于已经部署Hadoop集群的用户特别重要，因为不需要做任何数据迁移就可以使用Spark的强大处理能力。Spark也可以不依赖于第三方的资源管理和调度器，它实现了Standalone作为其内置的资源管理和调度框架，这样进一步降低了Spark的使用门槛，使得所有人都可以非常容易地部署和使用Spark。此外，Spark还提供了在EC2上部署Standalone的Spark集群的工具

四、Spark组成

Spark组成(BDAS)：全称伯克利数据分析栈，通过大规模集成算法、机器、人之间展现大数据应用的一个平台。也是处理大数据、云计算、通信的技术解决方案。

它的主要组件有：

SparkCore：将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供API。

SparkSQL：Spark Sql 是Spark来操作结构化数据的程序包，可以让我使用SQL语句的方式来查询数据，Spark支持 多种数据源，包含Hive表，parquest以及JSON等内容。

SparkStreaming： 是Spark提供的实时数据进行流式计算的组件。

MLlib：提供常用机器学习算法的实现库。

GraphX：提供一个分布式图计算框架，能高效进行图计算。

BlinkDB：用于在海量数据上进行交互式SQL的近似查询引擎。

Tachyon：以内存为中心高容错的的分布式文件系统。