[论文翻译] 分布式训练 Parameter sharding 之 Google Weight Sharding 目录 [论文翻译] 分布式训练 Parameter sharding 之 Google Weight Sharding 0x00 摘要 0x01 引文 0x02 XLA背景知识 2.1 All-reduce. 2.2 算子融合 0x03 权重更新分片 3.1 All-reduce分解 3.2 挑战 0x04 图转换 4.1 分片表示 4.1.1 数据格式化 4.1.2 Non-ele…

[论文翻译] 分布式训练 Parameter sharding 之 ZeRO 目录 [论文翻译] 分布式训练 Parameter sharding 之 ZeRO 0x00 摘要 0x01 综述 1.1 挑战 1.1.1 显存效率 1.1.2 计算效率 1.2 权衡 1.2.1 数据并行 1.2.2 模型并行 1.2.3 流水线并行 1.3 通过 3D 并行实现内存和计算效率 1.4 3D 并行如何利用每种并行性 0x02 引论 2.1 原文摘要 2.2 原文引论 2.2.1 优化模型状态 2.2…

本文以两篇官方文档为基础来学习TensorFlow如何进行分布式训练,借此进入Strategy世界.…

[源码解析] 分布式训练Megatron (1) --- 论文 & 基础 目录 [源码解析] 分布式训练Megatron (1) --- 论文 & 基础 0x00 摘要 0x01 Introduction 1.1 问题 1.2 数据并行 1.3 模型并行 1.3.1 通信 1.3.2 张量并行 1.3.3 流水线并行 1.4 技术组合 1.5 指导原则 0x02 张量模型并行(Tensor Model Parallelism) 2.1 原理 2.1.1 行并行(Row Parallelis…

摘要:     本文提出了分布式内存抽象的概念--弹性分布式数据集(RDD,Resilient Distributed Datasets).它同意开发者在大型集群上运行基于内存的计算.RDD适用于两种应用,而现有的数据流系统对这两种应用的处理并不高效:一是迭代式算法,这在图应用和机器学习领域非经常见.二是交互式数据挖掘工具.这两种情况下.将数据保存在内存中可以极大地提高性能.为了有效地实现容错,RDD提供了一种高度受限的共享内存,即RDD在共享状态的时候是基于粗粒度的转换而不是细粒度的更新(换句…

Google关于Spanner的论文中分布式事务的实现 Google在Spanner相关的论文中详细的解释了Percolator分布式事务的实现方式, 而且用简洁的伪代码示例怎么实现分布式事务; Percolator算法在分布式数据库中运用广泛, 国内著名的开源分布式数据库TiDB的事务实现来源于Percolator, 腾讯TBase的分布式事务实现也来自于Percolator; 在讲Percolator之前, 我们先看几个问题: 1, 假设一个事务开始的时间戳是 T2 , 这个事务读取数据的原…

编者按:这篇文章来自简书的一个位博主Jeffbond,读了好几遍,翻译的质量比较高,原文链接:分布式一致性算法:Raft 算法(Raft 论文翻译),版权一切归原译者. 同时,第6部分的集群成员变更读起来还不是很流畅,需要了解这一部分的童鞋可以找下其他的文章看一下. 另外,在转载文章的结尾,我贴了一些Raft算法的相关博文,在以下是转载原文: Raft 算法是可以用来替代 Paxos 算法的分布式一致性算法,而且 raft 算法比 Paxos 算法更易懂且更容易实现.本文对 raft 论文进行翻…

论文标题:Rich feature hierarchies for accurate object detection and semantic segmentation 标题翻译:丰富的特征层次结构,可实现准确的目标检测和语义分割 论文作者:Ross Girshick Jeff Donahue Trevor Darrell Jitendra Mali 论文地址:http://fcv2011.ulsan.ac.kr/files/announcement/513/r-cnn-cvpr.pdf RC…

论文标题:Squeeze-and-Excitation Networks 论文作者:Jie Hu  Li Shen Gang Sun 论文地址:https://openaccess.thecvf.com/content_cvpr_2018/papers/Hu_Squeeze-and-Excitation_Networks_CVPR_2018_paper.pdf SENet官方Caffe实现:https://github.com/hujie-frank/SENet 民间TensorFlow实现:h…

[源码解析] 深度学习分布式训练框架 horovod (18) --- kubeflow tf-operator 目录 [源码解析] 深度学习分布式训练框架 horovod (18) --- kubeflow tf-operator 0x00 摘要 0x01 背景知识 1.1 Kubernetes 1.2 容器作为调度单元 1.3 Kubeflow 1.4 Tensorflow on Kubeflow 1.5 Operator 1.6 TF-Operator 0x02 TensorFlow 分布…

R-CNN论文翻译 Rich feature hierarchies for accurate object detection and semantic segmentation 用于精确物体定位和语义分割的丰富特征层次结构 2017-11-29 摘要         过去几年,在权威数据集PASCAL上,物体检测的效果已经达到一个稳定水平.效果最好的方法是融合了多种图像低维特征和高维上下文环境的复杂结合系统.在这篇论文里,我们提出了一种简单并且可扩展的检测算法,可以将mAP在VOC2012最…

目录 摘要 1.引言 2.BinaryConnect 2.1 +1 or -1 2.2确定性与随机性二值化 2.3 Propagations vs updates 2.4 Clipping 2.5 A few more tricks 2.6 Test-Time Inference 3 Benchmark results 3.1 Permutation-invariant MNIST 3.2 CIFAR-10 3.3 SVHN 4 Related works 5. Conclusion and f…

论文标题:Faster R-CNN: Down the rabbit hole of modern object detection 论文作者:Zhi Tian , Weilin Huang, Tong He , Pan He , and Yu Qiao 论文地址:https://tryolabs.com/blog/2018/01/18/faster-r-cnn-down-the-rabbit-hole-of-modern-object-detection/ 论文地址:Object detect…

论文标题:Detecting Text in Natural Image with Connectionist Text Proposal Network 论文作者:Zhi Tian , Weilin Huang, Tong He , Pan He , and Yu Qiao 论文源代码的下载地址:https://github.com/tianzhi0549/CTPN 论文代码的下载地址:https://github.com/eragonruan/text-detection-ctpn 论文地址…

论文标题:An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition 论文作者: Baoguang Shi, Xiang Bai and Cong Yao 论文代码的下载地址:http://mc.eistar.net/~xbai/CRNN/crnn_code.zip 论文地址:https://arxiv.org/p…

论文标题: YOLOv3: An Incremental Improvement 论文作者: Joseph Redmon Ali Farhadi YOLO官网:YOLO: Real-Time Object Detection https://pjreddie.com/darknet/yolo/ 论文链接:https://pjreddie.com/media/files/papers/YOLOv3.pdf YOLOv3论文地址:https://arxiv.org/abs/1804.02767 声明…

论文标题:Siamese Neural Networks for One-shot Image Recognition 论文作者: Gregory Koch   Richard Zemel Ruslan Salakhutdinov 论文地址:https://www.cs.cmu.edu/~rsalakhu/papers/oneshot1.pdf 声明:小编翻译论文仅为学习,如有侵权请联系小编删除博文,谢谢! 小编是一个机器学习初学者,打算认真研究论文,但是英文水平有限,所以论文翻译中用到了Goo…

R-CNN论文翻译 <Rich feature hierarchies for accurate object detection and semantic segmentation> 用于精确物体定位和语义分割的丰富特征层次结构 文章出处:https://www.cnblogs.com/pengsky2016/. 摘要:         过去几年,在权威数据集PASCAL上,物体检测的效果已经达到一个稳定水平.效果最好的方法是融合了多种图像低维特征和高维上下文环境的复杂结合系统.在这篇论文里…

[论文翻译]NIN层论文中英对照翻译--(Network In Network) [开始时间]2018.09.27 [完成时间]2018.10.03 [论文翻译]NIN层论文中英对照翻译--(Network In Network) [中文译名] 网络中的网络 [论文链接]https://arxiv.org/abs/1312.4400 [补充] 1)NIN结构的caffe实现: 因为我们可以把全连接层当作为特殊的卷积层,所以呢, NIN在caffe中是非常 容易实现的: https://githu…

论文标题:MobileNets:Efficient Convolutional Neural Networks for Mobile Vision Appliications 论文作者:Andrew G.Howard  Menglong Zhu  Bo Chen ..... 论文地址:https://arxiv.org/pdf/1704.04861.pdf (https://arxiv.org/abs/1704.04861) 代码地址: TensorFlow官方 github-Tensorflo…

论文标题:Support Vector Method for Novelty Detection 论文作者:Bernhard Scholkopf, Robert Williamson, Alex Smola ..... 论文地址:http://papers.nips.cc/paper/1723-support-vector-method-for-novelty-detection.pdf 声明:小编翻译论文仅为学习,如有侵权请联系小编删除博文,谢谢! 小编是一个机器学习初学者,打算认真学习论文,…

论文标题:Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 标题翻译:用于视觉识别的深度卷积神经网络中的空间金字塔池 论文作者:Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun 论文地址:https://arxiv.org/pdf/1406.4729.pdf SPP的GitHub地址:https://github.com/yueruc…

论文标题:Visualizing and Understanding Convolutional Networks 标题翻译:可视化和理解卷积网络 论文作者:Matthew D. Zeiler  Rob Fergus 论文地址:https://arxiv.org/pdf/1311.2901v3.pdf            https://arxiv.org/abs/1311.2901 参考的翻译博客:https://blog.csdn.net/kklots/article/details/17…

论文标题:OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks 标题翻译:OverFeat:使用卷积神经网络集成识别,定位和检测 论文作者:Pierre Sermanet  David Eigen  Xiang Zhang  Michael Mathieu  Rob Fergus  Yann LeCun 论文地址:https://arxiv.org/pdf/1312.62…

论文标题:Fast R-CNN 论文作者:Ross Girshick 论文地址:https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Girshick_Fast_R-CNN_ICCV_2015_paper.pdf https://arxiv.org/pdf/1504.08083.pdf Fast RCNN 的GitHub地址:https://github.com/rbgirshick/fast-rcnn 参考的Fast…

论文标题:Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 标题翻译:基于区域提议(Region  Proposal)网络的实时目标检测 论文作者:Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun 论文地址:https://arxiv.org/abs/1506.01497 Faster RCNN 的GitHub地址:https://gith…

论文标题:SSD: Single Shot MultiBox Detector 论文作者:Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu,Alexander C. Berg 论文地址:https://arxiv.org/abs/1512.02325 SSD 的GitHub地址:https://github.com/balancap/SSD-Tensorflow 参考的S…

论文标题:Densely Connected Convolutional Networks 论文作者:Gao Huang Zhuang Liu Laurens van der Maaten  Kilian Q. Weinberger 论文地址:https://arxiv.org/pdf/1608.06993.pdf DenseNet 的GitHub地址:https://github.com/liuzhuang13/DenseNet 参考的 DenseNet 翻译博客:https://zhuanl…

论文标题:MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 论文作者:Andrew G. Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam 论文地址:https://arxiv.org/abs/1704.04861…

论文标题:MobileNetV2: Inverted Residuals and Linear Bottlenecks 论文作者:Mark Sandler Andrew Howard Menglong Zhu Andrey Zhmoginov Liang-Chieh Chen 论文地址:https://arxiv.org/pdf/1801.04381.pdf 参考的 MobileNetV2翻译博客:请点击我 (这篇翻译也不错:https://blog.csdn.net/qq_31531635/a…