Spark（一）Spark简介

一、官网介绍

1 什么是Spark

官网地址：http://spark.apache.org/

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

问题
工具只在解决了一些问题时才有用，对吧！那么让我们来讨论一下 Spark 能解决的问题。

我们需要（快速获取）答案
在批处理过程中，长时间等待运行作业的结果是意料中的事，在如今的企业中，需要快速（“近实时”）获取答案。大数据的属性（速度、数据量和种类）使得业务问题越来越难获得答案，但快速获取这些答案非常重要。

数据如此之多
数据源数不胜数且仍在增加。从 IoT 设备、实时交易、单击流、应用到社交媒体等，数据源在不断增加。所有数据都需要经过一定的处理，这样分析师才能理解并从中获取业务价值。现在您需要能处理所有这些数据，以便将它们转化为某种能使用的信息。能够以越来越快的速度处理从越来越多来源传入的海量数据，这一点很重要！

A 与 B（以及 C、D 等等）有何关联？
您拥有所有这些有用的数据，从客户交易、社交媒体交互到地理空间数据等等。现在您需要了解所有这些维度如何相互关联。重要的是能看到对这个数据图的全面分析结果，从而确定哪些数据维至关重要，哪些毫无价值。

我们需要知道（何时）将会发生什么
您拥有所有这些宝贵的历史数据。太棒了！现在您需要分析它们，了解发生了什么和发生的原因，以便能预测接下来会发生什么。重要的是能够分析所有这些数据，以便预测将会发生的业务事件。

Apache Spark 不是什么
我们常常（且很容易）合并解决一组类似问题的两种或更多相关技术，而且在不能互换使用它们时互换使用了它们。为了避免在 Spark 上犯这种错误，让我们讨论一下它不是什么。

Hadoop
Hadoop 是一种大数据文件存储和数据处理框架，它使用一种称为 MapReduce 的技术从一个庞大的磁盘集群读取数据，转换数据，并将数据写回磁盘。另一方面，Spark 使用有向非循环图 (DAG) 通过一系列步骤处理内存中的数据，这些步骤之间相互依赖（Gradle 也使用了一种 DAG），而且不会像 Hadoop（通过 Hadoop 分布式文件系统，HDFS）那样处理文件存储本身。

MapReduce
人们很容易将 Spark Core 与 MapReduce 混淆，因为它们在大数据领域都很重要。MapReduce 基本来讲是一种单通算法：读入数据，MapReduce 转换它，然后将数据写回到磁盘。如果需要另一次转换，则会重复这些步骤。另一方面，Spark 在内存中执行所有处理工作（如有必要，还会执行多次迭代），并使用 DAG 确定要执行步骤的最佳顺序。

与 Hadoop 相互排斥
Spark 被设计为与 Hadoop 兼容，所以 Hadoop 和 Spark 可以紧密协作。事实上，Spark 下载包含用于使用 HDFS（用于存储管理）和 YARN（用于资源管理和调度）的 Hadoop 客户端库。

解决方案
在一开始的时候，我就介绍了 Spark 能解决的一些问题。现在我将展示 Spark 如何解决这些问题。

我们需要（快速获取）答案
近实时的分析在一段时间内需要高性能。Spark 处理来自内存的数据，所以处理速度很快。Spark 的核心库支持轻松地编写优化的代码来获得最快的结果。最多比 MapReduce 快 100 倍！

数据如此之多
或许使用 Spark 的最大好处是它能处理实时流数据。来自交易场所、社交媒体单击流和 IoT 设备的数据必须在传输到磁盘之前快速转换。使用 Hadoop HDFS 时，需要将数据写入磁盘，然后读回进行 Map/Reduce 转换处理，接着再写回磁盘，然后才能交到分析师手中。
Spark Streaming 允许在内存中处理传入的数据，然后写入磁盘供以后扩充（如有必要）和进一步分析。

A 与 B（以及 C、D 等等）有何关联？
来自多个来源的数据（比如交易数据、社交媒体数据、单击流等）拥有隐藏的关联，梳理这些关联有助于发现数据中的新见解和洞察 - 它们从表面上看似乎处于完全不同的维度，但实际上却紧密关联。但要以有意义的方式实现此目的，需要灵活地转换数据（速度快没有坏处，对吧？），以便找到正确的方向。
Spark GraphX 结合了二者的优势：多个算法的灵活性，以及以各种不同方式转换和合并数据的速度。

我们需要知道（何时）将会发生什么
在预测未来时，拥有一批历史数据是一笔非常宝贵的资产。但预测分析需要严谨的软件（当然还有硬件）。
Spark 的 MLib 具有很高的性能（惊讶吧？）机器学习 (ML) 库采用了大量经过实践检验的算法（比如分类、回归和聚类）、特制技术（比如转换和降维）和实用工具（比如线性代数和统计学）。

2 Spark与MapReduce的区别

都是分布式计算框架，Spark基于内存，MR基于HDFS。Spark处理数据的能力一般是MR的十倍以上，Spark中除了基于内存计算外，还有DAG有向无环图来切分任务的执行先后顺序。

二、Spark的四大特性

1、高效性

官网介绍Spark运行速度提高100倍。Apache Spark使用最先进的DAG调度程序，查询优化程序和物理执行引擎，实现批量和流式数据的高性能。

2、易用性

Spark支持Java、Scala，Python和R的API，还支持超过80种高级算法，使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的shell，可以非常方便地在这些shell中使用Spark集群来验证解决问题的方法。

3、通用性

Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。这些不同类型的处理都可以在同一个应用中无缝使用。Spark统一的解决方案非常具有吸引力，毕竟任何公司都想用统一的平台去处理遇到的问题，减少开发和维护的人力成本和部署平台的物力成本。

4、兼容性

Spark可以非常方便地与其他的开源产品进行融合。比如，Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase和Cassandra等。这对于已经部署Hadoop集群的用户特别重要，因为不需要做任何数据迁移就可以使用Spark的强大处理能力。Spark也可以不依赖于第三方的资源管理和调度器，它实现了Standalone作为其内置的资源管理和调度框架，这样进一步降低了Spark的使用门槛，使得所有人都可以非常容易地部署和使用Spark。此外，Spark还提供了在EC2上部署Standalone的Spark集群的工具。

三、Spark的技术栈

SparkCore：将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供API。

SparkSQL：Spark Sql 是Spark来操作结构化数据的模块，可以使用SQL语句的方式来查询数据，Spark支持多种数据源，如HDFS，FLume，Kafka等。

SparkStreaming： 是Spark提供的实时数据进行流式计算的组件。

MLlib：提供常用机器学习算法的实现库。

GraphX：提供一个分布式图计算框架，能高效进行图计算。

BlinkDB：用于在海量数据上进行交互式SQL的近似查询引擎。

Tachyon：以内存为中心高容错的的分布式文件系统。

四、Spark的运行模式

运行环境	模式	描述
Local	本地模式	常用于本地开发测试，如在eclipse，idea中写程序测试等。本地还分为local单线程和local-cluster多线程
Standalone	集群模式	Spark自带的一个资源调度框架，支持完全分布式。存在的Master单点故障可由ZooKeeper来实现HA
Yarn	集群模式	运行在yarn资源管理器框架之上，由yarn负责资源管理，Spark负责任务调度和计算
Mesos	集群模式	运行在mesos资源管理器框架之上，由mesos负责资源管理，Spark负责任务调度和计算
Kubernetes	集群模式	运行在Kubernetes资源管理的集群上，目前Kubernetes调度程序是实验性的

五、Spark的常用术语

术语	描述
Application	Spark的应用程序，包含一个Driver program和若干Executor
SparkContext	Spark应用程序的入口，负责调度各个运算资源，协调各个Worker Node上的Executor
Driver Program	运行Application的main()函数并且创建SparkContext
Executor	是为Application运行在Worker node上的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上。 每个Application都会申请各自的Executor来处理任务
ClusterManager	在集群上获取资源的外部服务(例如：Standalone、Mesos、Yarn)
Worker Node	集群中任何可以运行Application代码的节点，运行一个或多个Executor进程
Task	运行在Executor上的工作单元
Job	SparkContext提交的具体Action操作，常和Action对应
Stage	每个Job会被拆分很多组task，每组任务被称为Stage，也称TaskSet
RDD	是Resilient distributed datasets的简称，中文为弹性分布式数据集;是Spark最核心的模块和类
DAGScheduler	根据Job构建基于Stage的DAG，并提交Stage给TaskScheduler
TaskScheduler	将Taskset提交给Worker node集群运行并返回结果
Transformations	是Spark API的一种类型，Transformation返回值还是一个RDD， 所有的Transformation采用的都是懒策略， 如果只是将Transformation提交是不会执行计算的
Action	是Spark API的一种类型，Action返回值不是一个RDD，而是一个scala集合；计算只有在Action被提交的时候计算才 被触发。