7 Etcd服务端实现 7.1 Etcd启动 Etcd有多种启动方式,我们从最简单的方式入手,也就是从embed的etcd.go开始启动,最后会启动EtcdServer. 先看看etcd.go中的启动代码: func StartEtcd(inCfg *Config) (e *Etcd, err error) 从StartEtcd方法启动etcd服务,参数是初始配置信息config,启动集群间监听进程和客户端监听进程,最后启动EtcdServer. 主要代码: e = &Etcd{cfg: *in…

kubernetes源码解析---- apiserver路由构建解析(2) 上文主要对go-restful这个包进行了简单的介绍,下面我们通过阅读代码来理解apiserver路由的详细构建过程. (kubernetes代码版本:1.3.6 Commit id:ed3a29bd6aeb) 从启动位置main函数开始(kubernetes\cmd\kube-apiserver\apiserver.go): func main() { rand.Seed(time.Now().UTC().UnixNa…

[源码解析] 深度学习分布式训练框架 horovod (18) --- kubeflow tf-operator 目录 [源码解析] 深度学习分布式训练框架 horovod (18) --- kubeflow tf-operator 0x00 摘要 0x01 背景知识 1.1 Kubernetes 1.2 容器作为调度单元 1.3 Kubeflow 1.4 Tensorflow on Kubeflow 1.5 Operator 1.6 TF-Operator 0x02 TensorFlow 分布…

[源码解析] 深度学习分布式训练框架 horovod (19) --- kubeflow MPI-operator 目录 [源码解析] 深度学习分布式训练框架 horovod (19) --- kubeflow MPI-operator 0x00 摘要 0x01 背景知识 1.1 MPI 1.2 Open-MPI 1.3 MPI Operator 0x02 设计思路 2.1 架构图 2.2 角色 2.3 主要过程 2.4 CRD 的定义 2.5 创建 2.6 终止 0x03 实现 3.1 K8S…

[源码解析] PyTorch 分布式之弹性训练(1) --- 总体思路 目录 [源码解析] PyTorch 分布式之弹性训练(1) --- 总体思路 0x00 摘要 0x01 痛点 0x02 难点 0x03 TorchElastic 3.1 历史 3.1.1 PyTorch 1.7 3.1.2 PyTorch 1.9 3.2 设计理念 3.2.1 基本功能 3.2.2 新设计概述 3.2.3 bare-bones 3.3 小结 0x04 问题 4.1 VS Horovod 4.2 TE 问题 0…

[源码解析] PyTorch 分布式之弹性训练(2)---启动&单节点流程 目录 [源码解析] PyTorch 分布式之弹性训练(2)---启动&单节点流程 0x00 摘要 0x01 重要概念 0x02 分布式运行 2.1 方式改变 2.1.1 原有方式 2.1.2 目前方式 2.2 部署 2.3 示例 2.3.1 单节点多worker启动 2.3.2 容错方式启动 2.3.3 弹性方式启动 0x03 启动脚本 3.1 参数定义 3.2 相关函数/变量 world_size,rank _p…

[源码解析] PyTorch 分布式之弹性训练(3)---代理 目录 [源码解析] PyTorch 分布式之弹性训练(3)---代理 0x00 摘要 0x01 总体背景 1.1 功能分离 1.2 Rendezvous 0x02 Agent 总体逻辑 2.1 功能 2.2 工作基础 2.3 部署 2.4 基类 0x03 Worker 3.1 Worker 定义 3.2 WorkerGroup 3.3 WorkerState 0x04 SimpleElasticAgent 4.1 总体运行 4.2…

[源码解析] PyTorch 分布式之弹性训练(4)---Rendezvous 架构和逻辑 目录 [源码解析] PyTorch 分布式之弹性训练(4)---Rendezvous 架构和逻辑 0x00 摘要 0x01 总体背景 0x02 基本概念 2.1 Barrier 2.2 排他性(Exclusivity) 2.3 一致性(Consistency) 2.4 容错(Fault-tolerance) 2.5 共享键值存储 2.6 等待worker和rendezvous关闭 2.7 DynamicR…

[源码解析] PyTorch 分布式之弹性训练(5)---Rendezvous 引擎 目录 [源码解析] PyTorch 分布式之弹性训练(5)---Rendezvous 引擎 0x00 摘要 0x01 前言 1.1 总体系统 1.2 Rendezvous 1.3 解耦 0x02 引擎实现 2.1 基类 2.2 分布式操作引擎 2.2.1 定义 2.2.2 调用 2.2.2.1 _RendezvousKeepAliveOp 2.2.2.2 _RendezvousCloseOp 2.2.2.3 _…

本系列将从以下三个方面对Tinker进行源码解析: Android热更新开源项目Tinker源码解析系列之一:Dex热更新 Android热更新开源项目Tinker源码解析系列之二:资源文件热更新 Android热更新开源项目Tinker源码解析系类之三:so文件热更新 转载请标明本文来源:http://www.cnblogs.com/yyangblog/p/6252855.html更多内容欢迎star作者的github:https://github.com/LaurenceYang/artic…