记录一下Spark的存储相关内容

@

Spark虽说是计算引擎,但存储也是比较重要的一块。

在cache和shuffle等地方用到了存储,存储介质包括有内存和磁盘。

整体架构

Spark存储采用主从模式(Master/Slave),模块间使用RPC进行通信。

Master负责运行期间数据块元数据的管理和维护。

Slave一方面将本地数据块的状态报告给Master;另一方面接收Master传过来的执行命令,如获取数据块状态、删除RDD/数据块等命令。

Slave之间存在数据传输通道,可以进行远程数据的读取和写入。

存储相关类

在看整体架构之前,先看一下Spark存储模块相关类,以下是类图:

可以看到是以BlockManager为核心。

BlockManager:存在于Driver和Executor中,Driver端的BlockManager保存了数据的元数据信息,Executor端的BlockManager根据接收到的消息进行操作。

BlockManagerMaster:Driver端特有的Master类,用来接收处理Executor发送来的请求。

BlockManagerMasterEndpoint:Master的消息终端点,用于与远程Slave进行消息通信。

BlockManagerSlaveEndpoint:Slave的消息终端点,用于与Master进行通信。

BlockTransferService:在远程节点间提供数据传输服务。

BlockManagerInfo:维护了BlockManager的一些信息。

DiskBlockManager:对数据块进行磁盘读写的管理者。

DiskStore:在磁盘上存储BlockManager块。

MemoryStore:将BlockManager存储在内存中。

MapOutputTracker:跟踪shuffle map stage输出位置的类。

ShuffleManager:shuffle的管理器,可以用于获取shuffle读写的组件。

接下来看看Spark存储的消息通信架构:

以下是架构图,

图中根据数据的生命周期描述了四个步骤:

  1. RegisterBlockManager。应用程序启动时、初始化相关组件。
  2. UpdateBlockInfo。增删改后更新数据块信息。
  3. GetLocations、GetMemoryStatus。查询数据存放的位置,对数据进行读取。
  4. RemoveBlock、RemoveRDD。提供了删除的功能。

依次看看四个步骤的具体过程:

应用启动时

应用程序启动时,SparkContext创建Driver端的SparkEnv,在该SparkEnv中实例化BlockManager和BlockManagerMaster,在BlockManagerMaster内部创建消息通信的BlockManagerMasterEndpoint。

Executor启动时也会创建其SparkEnv,在该SparkEnv中实例化BlockManager和负责网络数据传输服务的BlockTransferService。在BlockManager初始化过程中,一方面会加入BlockManagerMasterEndpoint终端点的引用,另一方面会创建Executor消息通信的BlockManagerSlaveEndpoint终端点,并把终端点的引用注册到Driver中,Driver和Executor相互持有引用,在应用执行过程中就可以进行通信了。

增删改后更新元数据

当写入、更新或删除数据完毕后,发送数据块的最新状态消息UpdateBlockInfo给BlockManagerMasterEndpoint终端点,由其更新数据块的元数据。该终端点的元数据存放BlockManagerMasterEndpoint的3个HashMap中,如下:

// 该HashMap中存放了BlockManagerId与BLockManagerInfo的对应,其中BlockManagerInfo包含了Executor的内存使用情况、数据块的使用情况、已被缓存的数据块和Executor终端点的引用
private val blockManagerInfo = new mutable.HashMap[BlockManagerId, BlockManagerInfo] // 该HashMap存放了ExecutorId和BlockManagerId的对应
private val blockManagerIdByExecutor = new mutable.HashMap[String, BlockManagerId] // 该HashMap存放了BlockId和BlockManagerId序列 的对应,原因在于一个数据块可能存储有多个副本,保存在多个Executor中
private val blockLocations = new JHashMap[BlockId, mutable.HashSet[BlockManagerId]]

获取数据存放位置

应用数据存储后,在获取远程节点数据、获取RDD执行的首选位置时需要根据数据块的编号查询数据块所处的位置,通过发送GetLocations或GetLocationsMultipleBlockIds等消息给BlockManagerMasterEndpoint,通过对元数据的查询获取数据块的位置信息。

数据块的删除

当数据需要删除时,提交删除消息给BlockManagerSlaveEndpoint终端点,在该终端店发起删除操作。删除操作一方面需要删除Driver端的元数据信息,另一方面发送消息通知Executor,删除对应的物理数据。

RDD存储调用

RDD和Block的关系:RDD包含了多个Partition,每个Partition对应一个数据块,那么每个RDD中包含一个或多个数据块Block。

我们知道RDD是懒执行的,只有在遇到行动操作的时候,才会提交作业、划分阶段、执行任务,其真正发生数据操作是调用RDD.iterator()时发生的。

我们看看RDD的iterator方法:

final def iterator(split: Partition, context: TaskContext): Iterator[T] = {
// 如果存在存储级别,则从尝试从缓存中读取数据,缓存不存在时再进行计算
if (storageLevel != StorageLevel.NONE) {
getOrCompute(split, context)
// 不存在缓存,直接计算或者从checkpoint中读取
} else {
computeOrReadCheckpoint(split, context)
}
}

iterator中,会判断是否存在存储级别(其实就是缓存),如果存在调用getOrCompute(),如果不存在调用computeOrReadCheckpoint()

先看一下不存在缓存的时候,调用的computeOrReadCheckpoint()

// 如果RDD存在检查点,则从检查点读取它。不存在,则计算
private[spark] def computeOrReadCheckpoint(split: Partition, context: TaskContext): Iterator[T] =
{
if (isCheckpointedAndMaterialized) {
// 存在时,调用父RDD的iterator读取数据
firstParent[T].iterator(split, context)
} else {
// 不存在时,直接调用compute方法对数据进行计算
compute(split, context)
}
}

computeOrReadCheckpoint()会从checkpoint中读取数据或重新计算数据,进行返回。

再看一下存在缓存时,调用的getOrCompute()

private[spark] def getOrCompute(partition: Partition, context: TaskContext): Iterator[T] = {
// 通过RDD的编号和Partition序号获取数据块Block的编号
val blockId = RDDBlockId(id, partition.index)
var readCachedBlock = true
// 根据数据块编号先读取数据,然后再更新数据,这里是读写数据的入口
SparkEnv.get.blockManager.getOrElseUpdate(blockId, storageLevel, elementClassTag, () => {
readCachedBlock = false
// 如果缓存中不存在数据块,则尝试调用computeOrReadCheckpoint()从检查点读取或重新计算
computeOrReadCheckpoint(partition, context)
}) match {
// 对返回结果进行处理,该结果表示处理成功
case Left(blockResult) =>
if (readCachedBlock) {
val existingMetrics = context.taskMetrics().inputMetrics
existingMetrics.incBytesRead(blockResult.bytes)
new InterruptibleIterator[T](context, blockResult.data.asInstanceOf[Iterator[T]]) {
override def next(): T = {
existingMetrics.incRecordsRead(1)
delegate.next()
}
}
} else {
new InterruptibleIterator(context, blockResult.data.asInstanceOf[Iterator[T]])
}
// 处理失败把结果返回调用者
case Right(iter) =>
new InterruptibleIterator(context, iter.asInstanceOf[Iterator[T]])
}
} // 从缓存中获取数据;如果缓存中不存在,重新计算并写入缓存
def getOrElseUpdate[T](
blockId: BlockId,
level: StorageLevel,
classTag: ClassTag[T],
makeIterator: () => Iterator[T]): Either[BlockResult, Iterator[T]] = {
// 读数据的入口,尝试从本地或远程读取数据
get[T](blockId)(classTag) match {
case Some(block) =>
return Left(block)
case _ =>
}
// 写数据入口
doPutIterator(blockId, makeIterator, level, classTag, keepReadLock = true) match {
case None =>
val blockResult = getLocalValues(blockId).getOrElse {
releaseLock(blockId)
}
releaseLock(blockId)
Left(blockResult)
case Some(iter) =>
Right(iter)
}
}

getOrCompute()中会调用getOrElseUpdate()方法从缓存中读取数据;如果缓存中不存在数据则重新计算,并写入缓存。

RDD的计算就是基于对Iterator中数据的不断转换,只有需要存储的时候,才会做对应的存储操作。

数据读取

BlockManager的get方法时读数据的入口。

读数据时分为本地读取和远程节点读取。

本地读取时使用getLocalValues方法,在该方法中根据不同的存储级别调用不同的实现。

远程读取时使用getRemoteValues方法,最终调用BlockTransferService的fetchBlockSync进行处理,使用Netty的fetchBlocks方法获取数据。数据读取调用图如下:

数据写入

BlockManager的doPutIterator方法是写数据的入口点。

在该方法中,根据数据是否缓存到内存中进行处理。

如果不缓存到内存中,调用BlockManager的putIterator方法直接存储磁盘;如果缓存到内存中,先判断数据是否进行了反序列化。

如果设置反序列化,说明数据为值类型,调用putIteratorAsValues把数据存入内存;如果没有设置反序列化,说明数据为字节类型,调用putIteratorAsBytes把数据写入内存。

在把数据存入内存过程中,需要判断在内存中展开该数据是否足够,当足够时调用BlockManager的putArray方法写入内存,否则把数据写入磁盘。

写入完成后,一方面把数据块的元数据发送给Driver端的BlockManagerMasterEndpoint终端点,请求其更新数据元数据;另一方面判断是否需要创建副本,如果需要则调用replicate方法,把数据写到远程节点上。

写入调用图如下:

cache & checkpoint

cache:将RDD的数据缓存到内存或磁盘中。

checkpoint:将计算过程中重要的中间数据建立检查点,类似于快照。

cache的应用主要是对一个RDD的进行复用,避免重复计算。

相对于cache而言,checkpoint将切断与该RDD之前的依赖关系。设置检查点对包含宽依赖的长血统RDD是非常重要的,可以避免失败时重新计算的高成本。

贴两个缓存和检查点讲的比较清晰的链接:

https://github.com/JerryLead/SparkInternals/blob/master/markdown/6-CacheAndCheckpoint.md

https://blog.csdn.net/qq_20641565/article/details/76223002

end. 以上内容来自看书和自己的理解,如果偏差,欢迎指正。

Reference

《图解Spark核心技术与案例实践》




个人公众号:码农峰,定时推送行业资讯,持续发布原创技术文章,欢迎大家关注。

Spark存储介绍的更多相关文章

  1. spark 源码分析之十八 -- Spark存储体系剖析

    本篇文章主要剖析BlockManager相关的类以及总结Spark底层存储体系. 总述 先看 BlockManager相关类之间的关系如下: 我们从NettyRpcEnv 开始,做一下简单说明. Ne ...

  2. spark API 介绍链接

    spark API介绍: http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html#aggregateByKey

  3. Spark角色介绍及spark-shell的基本使用

    Spark角色介绍 1.Driver 它会运行客户端的main方法,构建了SparkContext对象,它是所有spark程序的入口 2.Application 它就是一个应用程序,包括了Driver ...

  4. Spark概念介绍

    Spark概念介绍:spark应用程序在集群中以一系列独立的线程运行,通过驱动器程序(Driver Program)发起一系列的并行操作.SparkContext对象作为中间的连接对象,通过Spark ...

  5. Spark MLlib介绍

    Spark MLlib介绍 Spark之所以在机器学习方面具有得天独厚的优势,有以下几点原因: (1)机器学习算法一般都有很多个步骤迭代计算的过程,机器学习的计算需要在多次迭代后获得足够小的误差或者足 ...

  6. Spark存储体系

    作为分布式应用,Spark的数据存储在不同机器上.这就涉及到数据的传输,元数据的管理等内容.而且由于Spark可以利用内存和磁盘作为存储介质,这还涉及到了内存和磁盘的数据管理. Spark存储体系架构 ...

  7. 2 Spark角色介绍及运行模式

    第2章 Spark角色介绍及运行模式 2.1 集群角色 从物理部署层面上来看,Spark主要分为两种类型的节点,Master节点和Worker节点:Master节点主要运行集群管理器的中心化部分,所承 ...

  8. Spark—RDD介绍

    Spark-RDD 1.概念介绍 RDD(Resilient Distributed Dataset):弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变.可分区.里面的元素可并行计算 ...

  9. spark原理介绍

    1.spark是一个基于内存计算的开源的集群计算系统,目的是让数据分析更加快速.因此运行spark的机器应该尽量的大内存,如96G以上. 2.spark所有操作均基于RDD,操作主要分成2大类:tra ...

随机推荐

  1. spring boot 整合 swagger2

    swagger2为了更好的管理api文档接口 swagger构建的api文档如下,清晰,避免了手写api诸多痛点 一,添加依赖 <!--swagger2的官方依赖--> <depen ...

  2. TCP客户端服务器编程模型

    1.客户端调用序列 客户端编程序列如下: 调用socket函数创建套接字 调用connect连接服务器端 调用I/O函数(read/write)与服务器端通讯 调用close关闭套接字 2.服务器端调 ...

  3. BZOJ 3513 idiots

    题目传送门 分析: FFT一手统计两根棍子相加的方案 然后一个值2S可能会被同一根S自己乘自己得到 然后要减去 其次,A+B和B+A会被算成两种方案,所以还要除以2 然后不太好算合法的方案数,但是非法 ...

  4. ASP.NET Core下Ocelot的简单使用

    一.创建demo项目 1.新建webapi项目,命名为“DemoProject”,去掉HTTPS勾选 using Microsoft.AspNetCore.Mvc; using System.Coll ...

  5. MySQL 高可用之主从复制

    MySQL主从复制简介 Mysql的主从复制方案,都是数据传输的,只不过MySQL无需借助第三方工具,而是自带的同步复制功能,MySQL的主从复制并不是磁盘上文件直接同步,而是将binlog日志发送给 ...

  6. SpringBoot + Mybatis 和ssm 使用数据库的区别

    积少成多 ----  仅以此致敬和我一样在慢慢前进的人儿 相关内容: https://www.cnblogs.com/h-c-g/p/10252121.html 引 言 接触SpringBoot 后, ...

  7. DataTable 相关

    1.对表的初始化 //创建表 DataTable table = new DataTable(); //添加列 table.Columns.Add("ID", typeof(Int ...

  8. CodeBlocks 断点调试

    启动调试器 1. 一般,调试器的按钮可以在工具栏找到 如果没有,可以从view菜单项中调出 2. 设置断点 使用调试器时需要让程序在需要的位置中断,在启动调试器前设置断点如下,鼠标点击编辑器的左边即可 ...

  9. Eclipse中文语言包安装和设置中文

    对于英语水平不好或者初学者来说使用中文开发环境可以有效提高学习效率,便于快速的学习和上手,不过对于当前的技术环境学习英语还是非常有必要的,当对Eclipse掌握到一定程度还是应该多使用英语环境来开发, ...

  10. js笔记(3)--js实现数组转置(两种方法)

      js实现数组转置   第一种方法:   <script>     window.onload=function(){     var array1=[[11,22,33,333],[4 ...