FusionInsight大数据开发---Spark应用开发

Spark应用开发

要求：

1. 了解Spark基本原理
2. 搭建Spark开发环境
3. 开发Spark应用程序
4. 调试运行Spark应用程序

YARN资源调度，可以和Hadoop集群无缝对接

Spark适用场景
大多数现有集群计算框架如MapReduce等基于从稳定存储（文件系统）到稳定存储的非循环数据流，数据重用都是基于磁盘的，执行效率比较低。
与传统的MapReduce任务频繁读写磁盘数据相比，基于内存计算的Spark则更适合应用在迭代计算，交互式分析等场景。

Spark应用运行流程--关键角色

• Client：需求提出方，负责提交需求（应用）。
• Driver：负责应用的业务逻辑和运行规划（DAG）。
• ApplicationMaster：负责应用的资源管理，根据应用的需求，向资源管理部门（ResourceManager）申请资源。
• ResourceManager：资源管理部门，负责整个集群的资源统一调度和分配
• Executor：负责实际计算工作，一个应用会分拆给多个Executor来进行计算。

Spark核心概念--RDD
RDD（Resilient Distributed Datasets)即弹性分布式数据集，指的是一个只读的，可分区的分布式数据集。这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。
RDD的生成

1. 从Hadoop文件系统（或与Hadoop兼容的其它存储系统）输入创建（如HDFS）
2. 从集群创建（如sc.Parallelize）。
3. 从夫RDD转换得到新的RDD。

RDD的存储和分区

1. 用户可以选择不同的存储级别存储RDD以便重用（11种）
2. 当前RDD默认存储于内存，但当内存不足时，RDD会溢出到磁盘中。
3. RDD在需要进行分区时会根据每条记录Key进行分区，以此保证两个数据集能高效进行Join操作。

RDD的优点

1. RDD是只读的，可提供更高的容错能力
2. RDD的不可变性，可以实现Hadoop MapReduce的推测式执行
3. RDD的数据分区特性可以通过数据的本地性来提高性能。
4. RDD都是可序列化的，在内存不足时可自动降级为磁盘存储。

RDD的特点

1. 在集群节点上时不可变的，是已分区的集合对象。
2. 失败后自动重连
3. 可以控制存储级别（内存、磁盘等）来进行重用。
4. 必须是可序列化的
5. 是静态类型。

RDD的创建
Spark所有操作都围绕弹性分布式数据集（RDD）进行，这是一个有容错机制并可以被并行操作的元素集合，具有只读，分区，容错，高效，无需物化，可以缓存，RDD依赖等特征。
目前有两种类型的基础RDD：

1. 并行集合：接受一个已经存在的Scala集合，然后进行并行计算
2. Hadoop数据集：在一个文件的每条记录上运行函数。

RDD的创建--并行集合
并行集合是通过调用SparkContext的parallelize方法，在一个已经存在的Scala集合（一个Seq对象）上创建的。
集合的对象将会被拷贝，创建出一个可以被并行操作的分布式数据集。

RDD依赖：宽依赖和窄依赖
RDD父子依赖关系

• 窄依赖：（Narrow）指父RDD的每一个分区最多被一个子RDD的分区所用。
• 宽依赖：（Wide）指子RDD的分区依赖于父RDD的所有分区，是Stage划分的依据。

• RDD常用Transformation算子
• RDD常用Action算子

Spark任务参数配置

• Spark优先级是：配置文件<动态参数<代码配置

相同的数据，只创建一个RDD

算法调优--RDD缓存

• Spark可以使用persist和cache方法将任意RDD缓存到内存、磁盘文件系统中。

算法调优--避免使用Shuffle

• Shuffle过程会有整个RDD数据的写和读的操作，成本非常高。

算法调优--使用广播变量
外部变量：

• 每个task都有一个变量副本。

广播变量：

• 每个Executor保留一份。

编写代码

1. 登陆
2. 创建连接
3. 执行SQL
4. 获取结果

DataFrame介绍
DataFrame：已RDD为基础，带有Schema信息，类似传统数据库的二维表。

编写代码

1. 登陆
2. 注册Table
3. 执行SQL
4. 过滤