记录一次本人学习FastDFS-分布式文件系统的学习过程,希望能帮助到有需要的人. 首选得对此技术有个大概的了解,可以参考 https://www.cnblogs.com/centos2017/p/7896761.html ,其实大致看下图知道一下就行了. 然后我们就直接开装了,网上有一大堆的安装教程这里也就不做介绍了,可以直接百度,如果有需要可以直接用我的百度网盘的 链接:https://pan.baidu.com/s/1Y07hC2tiDy_E18ZAD4YKvg 提取码:j5d0 装完测通…

课程主页 课程介绍:本课程会在给出的源码的基础上要求完成8个lab Lab overviewLab 1 - Lock ServerLab 2 - Basic File ServerLab 3 - MKDIR, UNLINK, and LockingLab 4 - Caching Lock ServerLab 5 - Caching Extent Server + ConsistencyLab 6 - PaxosLab 7 - Replicated lock serverLab 8 - Proje…

本节内容和前节事件管理封装是息息相关的,本节内容主要包含的代码在connection{.h, .cc}中. 这里面最主要的有两个类:connection类和tcpsconn类,connetion类主要服务于单个套接字,包括套接字上的数据读取写入等,而tcpsconn类则是服务于套接字集合,如接收连接,更新失效套接字等.具体我们看头文件. class chanmgr { public: ; virtual ~chanmgr() {} }; 我们首先看到的是这个虚基类类,这个类会以委托的形式用在co…

这部分的内容主要包括Epoll/select的封装,在封装好相应函数后,再使用一个类来管理相应事件,实现的文件为pollmgr.{h, cc}. 事件函数封装 可看到pollmgr.h文件下定一个了一个虚基类aio_mgr class aio_mgr { public: ; ; ; ; virtual ~aio_mgr() {} }; 这便是具体事件类实现的基类,可看到文件末尾处的继承关系 class SelectAIO : public aio_mgr { public : SelectAIO…

主要内容 ScopedLock 队列实现 线程池实现 在正式讲解线程池实现之前,先讲解两个有用的工具类: ScopedLock fifo队列 ScopedLock: ScopedLock是局域锁的实现(我也不知道叫什么,姑且这么说吧),它使用了C++中RAII(Resource acquisition is initialization资源获取即初始化),这种技巧实现的锁可在代码块开始处初始化锁,在代码块结束处释放锁,可省去try catch这样的语句,具体实现如下: struct Scoped…

[源码解析] PyTorch 分布式之弹性训练(1) --- 总体思路 目录 [源码解析] PyTorch 分布式之弹性训练(1) --- 总体思路 0x00 摘要 0x01 痛点 0x02 难点 0x03 TorchElastic 3.1 历史 3.1.1 PyTorch 1.7 3.1.2 PyTorch 1.9 3.2 设计理念 3.2.1 基本功能 3.2.2 新设计概述 3.2.3 bare-bones 3.3 小结 0x04 问题 4.1 VS Horovod 4.2 TE 问题 0…

[源码解析] TensorFlow 之 分布式变量 目录 [源码解析] TensorFlow 之 分布式变量 1. MirroredVariable 1.1 定义 1.2 相关类 1.2.1 类体系 1.2.2 DistributedValues 定义 使用 1.2.3 DistributedDelegate 1.2.4 PerReplica 1.2.5 Mirrored 1.2.6 Policy VariablePolicy OnReadPolicy OnWritePolicy values_…

[源码解析] TensorFlow 分布式之 ParameterServerStrategy V1 目录 [源码解析] TensorFlow 分布式之 ParameterServerStrategy V1 1. 思路 1.1 总体逻辑 1.2 使用 1.3 定义 2. ParameterServerStrategyExtended 2.1 初始化 2.2 分配设备 2.2.1 replica_device_setter 2.2.2 _RoundRobinStrategy 2.2.3 _Repli…

[源码解析] TensorFlow 分布式之 ParameterServerStrategy V2 目录 [源码解析] TensorFlow 分布式之 ParameterServerStrategy V2 1. 如何使用 1.1 训练方法 1.2 集群 1.3 使用 Model.fit API 进行训练 1.4 使用自定义循环进行训练 1.5 建立集群 2. 初始化 2.1 用例 2.2 集群设置 2.2.1 设置 "TF_CONFIG" 环境变量 2.2.2 使用二进制文件 2.3…

[源码解析] TensorFlow 分布式之 ClusterCoordinator 目录 [源码解析] TensorFlow 分布式之 ClusterCoordinator 1. 思路 1.1 使用 1.2 问题点 2. 定义 2.1 Schedule 2.2 Join 2.3 Done 2.4 Fetch 3. 数据 3.1 建立数据集 3.2 PerWorkerDistributedDataset 3.3 PerWorkerDatasetFromDatasetFunction 3.4 _cr…