alluxio源码解析-层次化存储(4)
层次化存储-特性介绍:
https://www.alluxio.org/docs/1.6/cn/Tiered-Storage-on-Alluxio.html
引入分层存储后,Alluxio管理的数据块不只在内存中,可存放于任何可用的存储层。Alluxio使用分配策略和回收策略管理块的存放和移动。Alluxio根据I/O性能的高低从上到下配置存储层。因此,这种配置策略决定了最顶层存储是MEM,然后是SSD,最后是HDD。
可以配置多个存储目录,不同的存储介质
写数据
读数据
固定文件
分配策略
- 贪心分配策略分配新数据块到首个有足够空间的存储目录。
- 最大剩余空间分配策略分配数据块到有最大剩余空间的存储目录。
- 轮询调度分配策略分配数据块到有空间的最高存储层,存储目录通过轮询调度选出。
回收策略
- 贪心回收策略移出任意的块直到释放出所需大小的空间。
- LRU回收策略移出最近最少使用的数据块直到释放出所需大小的空间。
- LRFU回收策略基于权重分配的最近最少使用和最不经常使用策略移出数据块。如果权重完全偏向最近最少使用,LRFU回收策略退化为LRU回收策略。
- 部分LRU回收策略基于最近最少使用移出,但是选择有最大剩余空间的存储目录(StorageDir),只从该目录移出数据块。
层次化存储-架构位置
层次化存储是作为分布式缓存的最为核心的特性,加速读取/写入
层次化存储也是worker组件最重要的功能,同时支持横向扩展
层次化存储-代码解析
接上文https://www.cnblogs.com/victor2302/p/10491974.html,我们讲到了BlockWorker接口
该接口的实现实现类:DefaultBlockWorker
DefaultBlockWorker
主要负责几种功能:
- PinListSync,定时获取pinned列表
- BlockMasterSync周期性的工作,例如:与master的心跳交互
- 报告计量相关指标至master
- 所有块相关存储操作的逻辑
成员变量如下:
/** Runnable responsible for heartbeating and registration with master. */
和master节点的心跳任务
private BlockMasterSync mBlockMasterSync; /** Runnable responsible for fetching pinlist from master. */
获取master pin列表的任务
private PinListSync mPinListSync; /** Runnable responsible for clean up potential zombie sessions. */
private SessionCleaner mSessionCleaner; /** Client for all block master communication. */
与block master通讯
private final BlockMasterClient mBlockMasterClient;
/**
* Block master clients. commitBlock is the only reason to keep a pool of block master clients
* on each worker. We should either improve our RPC model in the master or get rid of the
* necessity to call commitBlock in the workers.
*/
private final BlockMasterClientPool mBlockMasterClientPool; /** Client for all file system master communication. */
与file system交互的客户端
private final FileSystemMasterClient mFileSystemMasterClient; /** Block store delta reporter for master heartbeat. */
报告者
private BlockHeartbeatReporter mHeartbeatReporter;
/** Metrics reporter that listens on block events and increases metrics counters. */
报告者
private BlockMetricsReporter mMetricsReporter;
/** Session metadata, used to keep track of session heartbeats. */
private Sessions mSessions;
/** Block Store manager. */
mBlockStore是TieredBlockStore,为多级存储block存储管理器
private BlockStore mBlockStore;
private WorkerNetAddress mAddress; /** The under file system block store. */
ufs管理器
private final UnderFileSystemBlockStore mUnderFileSystemBlockStore; /**
* The worker ID for this worker. This is initialized in {@link #start(WorkerNetAddress)} and may
* be updated by the block sync thread if the master requests re-registration.
*/
private AtomicReference<Long> mWorkerId;
涉及到交互的方法 | 代码 | 注释 | |
commitBlock | blockMasterClient.commitBlock | 提交bolock | |
start | mBlockMasterClient.getId(address) | 获取workerId | |
心跳类方法 | 代码 | 注释 | |
PinListSync |
Set<Long> pinList = mMasterClient.getPinList();
mBlockWorker.updatePinList(pinList);
|
更新本地的pin列表 | |
SessionCleaner |
for (long session : mSessions.getTimedOutSessions()) {
mSessions.removeSession(session);
for (SessionCleanable sc : mSessionCleanables) {
sc.cleanupSession(session);
}
}
|
清除session | |
SpaceReserver | 太多 | 各存储层空间检查 | |
BlockMasterSync |
cmdFromMaster = mMasterClient.heartbeat(mWorkerId.get(), storeMeta.getUsedBytesOnTiers(),
blockReport.getRemovedBlocks(), blockReport.getAddedBlocks(), metrics);
handleMasterCommand(cmdFromMaster);
|
向blockmaster发送心跳,并处理返回的消息 |
TieredBlockStore
该类负责分层存储逻辑,与不同介质的缓存存储模块进行交互
维护读写锁,保证block操作的线程安全
该类拥有前文提到过得申请和驱逐策略以及 pinned列表
备注:申请和驱逐策略,就是关于不同介质的缓存存储模块如何进行分配以及管理的策略
//申请策略接口
private final Allocator mAllocator;
//驱逐策略接口
private final Evictor mEvictor; private final Set<Long> mPinnedInodes = new HashSet<>();
alluxio源码解析-层次化存储(4)的更多相关文章
- alluxio源码解析-netty部分(2)
netty简介 Netty是 一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端. netty作为alluxio中重要的通讯组件 在常见的客户端上传,下载中,都会有n ...
- alluxio源码解析-rpc调用概述-client和worker之间的block模块的通讯架构(netty版本)(3)
(1.8版本)client和worker之间的block模块的通讯架构 block作为alluxio文件读取或者存储的最小基本单位,都是通过BlockOutStream和BlockInputtream ...
- alluxio源码解析-rpc调用概述(1)
alluxio中几种角色以及角色之间的rpc调用: 作为分布式架构的文件缓存系统,rpc调用必不可少 client作为客户端 master提供thrift rpc的服务,管理以下信息: block信息 ...
- Fresco源码解析 - DataSource怎样存储数据
Fresco源码解析 - DataSource怎样存储数据 datasource是一个独立的 package,与FB导入的guava包都在同一个工程内 - fbcore. datasource的类关系 ...
- Ocelot简易教程(七)之配置文件数据库存储插件源码解析
作者:依乐祝 原文地址:https://www.cnblogs.com/yilezhu/p/9852711.html 上篇文章给大家分享了如何集成我写的一个Ocelot扩展插件把Ocelot的配置存储 ...
- jQuery2.x源码解析(缓存篇)
jQuery2.x源码解析(构建篇) jQuery2.x源码解析(设计篇) jQuery2.x源码解析(回调篇) jQuery2.x源码解析(缓存篇) 缓存是jQuery中的又一核心设计,jQuery ...
- Spring IoC源码解析——Bean的创建和初始化
Spring介绍 Spring(http://spring.io/)是一个轻量级的Java 开发框架,同时也是轻量级的IoC和AOP的容器框架,主要是针对JavaBean的生命周期进行管理的轻量级容器 ...
- HashMap 源码解析
HashMap简介: HashMap在日常的开发中应用的非常之广泛,它是基于Hash表,实现了Map接口,以键值对(key-value)形式进行数据存储,HashMap在数据结构上使用的是数组+链表. ...
- Python2 基本数据结构源码解析
Python2 基本数据结构源码解析 Contents 0x00. Preface 0x01. PyObject 0x01. PyIntObject 0x02. PyFloatObject 0x04. ...
随机推荐
- SCUT 125 :笔芯回文(DP)
https://scut.online/p/125 125. 笔芯回文 题目描述 bxbx有一个长度一个字符串SS,bxbx可以对其进行若干次操作. 每次操作可以删掉一个长度为k(1 \leq k \ ...
- LSI 9211-8I阵列卡IR模式Update为IT模式操作步骤!
以下是DOS系统环境下操作(也可以在windows.linux环境下,只要找到对应的tool就可以)相对应的tool官网可以下载 链接:https://www.broadcom.com/support ...
- 在eclipse中使用git创建本地库,以及托管项目到GitHub超详细教程
关于安装git的教程,由于比较简单,并且网上教程特别多,而且即使不按照网上教程,下载好的windows版本git,安装时候一路默认设置就行. 安装好之后,在桌面上有git图标:右键菜单中有Git Ba ...
- MYSQL5.7---ONLY_FULL_GROUP_BY 异常处理
异常介绍: ONLY_FULL_GROUP_BY 指的是你查询的语句使用到了group by 例如 select name,age from person group by sex; 此时你grou ...
- Java基础之增强for循环
平时大家for循环应该用的不少,特别是增强for循环,简单快捷.但是在增强for中做删除操作,却会抛出java.util.ConcurrentModificationException,一起来看下. ...
- Bzoj1972: [Sdoi2010]猪国杀 题解(大模拟+耐心+细心)
猪国杀 - 可读版本 https://mubu.com/doc/2707815814591da4 题目可真长,读题都要一个小时. 这道题很多人都说不可做,耗时间,代码量大,于是,本着不做死就不会死的精 ...
- 附录:1-Grain生命周期-译注
Grain Lifecycle Grains are logical entities that always exist, virtually, and have stable logical id ...
- binlog_format日志错误
客户磁盘空间不够用,发现mysql的err日志文件已每天大概600M-800M的速度增长,开头考虑作日志切割,打开发现,整个7.8G的文件里面百分之99的文件全部是如下所示的warning警告信息 1 ...
- Ajax提交打开新窗口,浏览器拦截处理;以及跨域问题
//主要是添加同步处理 $.ajax({ url: "ashx/OrderHander.ashx?action=CheckRepeat", data: { "OrderI ...
- NameNode和SecondaryNameNode的工作机制
NameNode&Secondary NameNode 工作机制 NameNode: 1.启动时,加载编辑日志和镜像文件到内存 2.当客户端对元数据进行增删改,请求NameNode 3.Nam ...