[论文翻译] 分布式训练 Parameter sharding 之 ZeRO 目录 [论文翻译] 分布式训练 Parameter sharding 之 ZeRO 0x00 摘要 0x01 综述 1.1 挑战 1.1.1 显存效率 1.1.2 计算效率 1.2 权衡 1.2.1 数据并行 1.2.2 模型并行 1.2.3 流水线并行 1.3 通过 3D 并行实现内存和计算效率 1.4 3D 并行如何利用每种并行性 0x02 引论 2.1 原文摘要 2.2 原文引论 2.2.1 优化模型状态 2.2…

[论文翻译] 分布式训练 Parameter sharding 之 Google Weight Sharding 目录 [论文翻译] 分布式训练 Parameter sharding 之 Google Weight Sharding 0x00 摘要 0x01 引文 0x02 XLA背景知识 2.1 All-reduce. 2.2 算子融合 0x03 权重更新分片 3.1 All-reduce分解 3.2 挑战 0x04 图转换 4.1 分片表示 4.1.1 数据格式化 4.1.2 Non-ele…

[源码解析] 分布式训练Megatron (1) --- 论文 & 基础 目录 [源码解析] 分布式训练Megatron (1) --- 论文 & 基础 0x00 摘要 0x01 Introduction 1.1 问题 1.2 数据并行 1.3 模型并行 1.3.1 通信 1.3.2 张量并行 1.3.3 流水线并行 1.4 技术组合 1.5 指导原则 0x02 张量模型并行(Tensor Model Parallelism) 2.1 原理 2.1.1 行并行(Row Parallelis…

摘要:     本文提出了分布式内存抽象的概念--弹性分布式数据集(RDD,Resilient Distributed Datasets).它同意开发者在大型集群上运行基于内存的计算.RDD适用于两种应用,而现有的数据流系统对这两种应用的处理并不高效:一是迭代式算法,这在图应用和机器学习领域非经常见.二是交互式数据挖掘工具.这两种情况下.将数据保存在内存中可以极大地提高性能.为了有效地实现容错,RDD提供了一种高度受限的共享内存,即RDD在共享状态的时候是基于粗粒度的转换而不是细粒度的更新(换句…

本文以两篇官方文档为基础来学习TensorFlow如何进行分布式训练,借此进入Strategy世界.…

编者按:这篇文章来自简书的一个位博主Jeffbond,读了好几遍,翻译的质量比较高,原文链接:分布式一致性算法:Raft 算法(Raft 论文翻译),版权一切归原译者. 同时,第6部分的集群成员变更读起来还不是很流畅,需要了解这一部分的童鞋可以找下其他的文章看一下. 另外,在转载文章的结尾,我贴了一些Raft算法的相关博文,在以下是转载原文: Raft 算法是可以用来替代 Paxos 算法的分布式一致性算法,而且 raft 算法比 Paxos 算法更易懂且更容易实现.本文对 raft 论文进行翻…

R-CNN论文翻译 Rich feature hierarchies for accurate object detection and semantic segmentation 用于精确物体定位和语义分割的丰富特征层次结构 2017-11-29 摘要         过去几年,在权威数据集PASCAL上,物体检测的效果已经达到一个稳定水平.效果最好的方法是融合了多种图像低维特征和高维上下文环境的复杂结合系统.在这篇论文里,我们提出了一种简单并且可扩展的检测算法,可以将mAP在VOC2012最…

目录 摘要 1.引言 2.BinaryConnect 2.1 +1 or -1 2.2确定性与随机性二值化 2.3 Propagations vs updates 2.4 Clipping 2.5 A few more tricks 2.6 Test-Time Inference 3 Benchmark results 3.1 Permutation-invariant MNIST 3.2 CIFAR-10 3.3 SVHN 4 Related works 5. Conclusion and f…

R-CNN论文翻译 <Rich feature hierarchies for accurate object detection and semantic segmentation> 用于精确物体定位和语义分割的丰富特征层次结构 文章出处:https://www.cnblogs.com/pengsky2016/. 摘要:         过去几年,在权威数据集PASCAL上,物体检测的效果已经达到一个稳定水平.效果最好的方法是融合了多种图像低维特征和高维上下文环境的复杂结合系统.在这篇论文里…

[论文翻译]NIN层论文中英对照翻译--(Network In Network) [开始时间]2018.09.27 [完成时间]2018.10.03 [论文翻译]NIN层论文中英对照翻译--(Network In Network) [中文译名] 网络中的网络 [论文链接]https://arxiv.org/abs/1312.4400 [补充] 1)NIN结构的caffe实现: 因为我们可以把全连接层当作为特殊的卷积层,所以呢, NIN在caffe中是非常 容易实现的: https://githu…