[Alink漫谈之三] AllReduce通信模型

【[Alink漫谈之三] AllReduce通信模型】的更多相关文章

[Alink漫谈之三] AllReduce通信模型

[Alink漫谈之三] AllReduce通信模型目录 [Alink漫谈之三] AllReduce通信模型 0x00 摘要 0x01 MPI是什么 0x02 Alink 实现MPI的思想 0x03 如何实现共享 1. Task相关概念 2. TaskManager 3. 状态共享 3.1 概念剖析算法角度:ComContext 框架角度:IterativeComQueue Session角度:SessionSharedObjs Subtask角度:IterTaskObjKeeper 3.2…

Alink漫谈(十一) ：线性回归之 L-BFGS优化

Alink漫谈(十一) :线性回归之 L-BFGS优化目录 Alink漫谈(十一) :线性回归之 L-BFGS优化 0x00 摘要 0x01 回顾 1.1 优化基本思路 1.2 各类优化方法 0x02 基本概念 2.1 泰勒展开如何通俗推理? 2.2 牛顿法 2.2.1 泰勒一阶展开 2.2.2 泰勒二阶展开 2.2.3 高维空间 2.2.4 牛顿法基本流程 2.2.5 问题点及解决 2.3 拟牛顿法 2.4 L-BFGS算法 0x03 优化模型 -- L-BFGS算法 3.1 如何分布…

Alink漫谈(十七) ：Word2Vec源码分析之迭代训练

Alink漫谈(十七) :Word2Vec源码分析之迭代训练目录 Alink漫谈(十七) :Word2Vec源码分析之迭代训练 0x00 摘要 0x01 前文回顾 1.1 上文总体流程图 1.2 回顾霍夫曼树 1.2.1 变量定义 1.2.2 为何要引入霍夫曼树 0x02 训练 2.1 训练流程 2.2 生成训练模型 2.3 初始化词典&缓冲 2.4 更新模型UpdateModel 2.5 计算更新 2.5.1 sigmoid函数值近似计算 2.5.2 窗口及上下文 2.5.3 训练…

Alink漫谈(一) : 从KMeans算法实现不同看Alink设计思想

Alink漫谈(一) : 从KMeans算法实现不同看Alink设计思想目录 Alink漫谈(一) : 从KMeans算法实现不同看Alink设计思想 0x00 摘要 0x01 Flink 是什么 0x02 Alink 是什么 0x03 Alink设计思路 1. 白手起家 2. 替代品如何造成威胁 3. 用户角度看设计底层逻辑Flink 开发工具 4. 竞争对手角度看设计 5. 企业角度看设计 6. 设计原则总结 0x04 KMeans算法实现看设计 1. KMeans算法 2. Flink…

Alink漫谈(二) : 从源码看机器学习平台Alink设计和架构

Alink漫谈(二) : 从源码看机器学习平台Alink设计和架构目录 Alink漫谈(二) : 从源码看机器学习平台Alink设计和架构 0x00 摘要 0x01 Alink设计原则 0x02 Alink实例代码算法调用算法主函数算法模块举例 0x03 顶层 -- 流水线 1. 机器学习重要概念 2. Alink中概念实现 3. 结合实例看流水线 0x04 中间层 -- 算法组件 1. Algorithm operators 2. Mapper(提前说明) 3. 系统内置算法组件 Mo…

Alink漫谈(五) : 迭代计算和Superstep

Alink漫谈(五) : 迭代计算和Superstep 目录 Alink漫谈(五) : 迭代计算和Superstep 0x00 摘要 0x01 缘由 0x02 背景概念 2.1 四层执行图 2.2 Task和SubTask 2.3 如何划分 Task 的依据 2.4 JobGraph 2.5 BSP模型和Superstep BSP模型 BSP模型的实现 Flink-Gelly 0x03 Flink的迭代算法(superstep-based) 3.1 Bulk Iterate 3.2 迭代机制 0…