从零开始学习MXnet(四)计算图和粗细粒度以及自动求导
这篇其实跟使用MXnet的关系不大,但对于我们理解深度学习的框架设计还是很有帮助的。
首先还是对promgramming models的一个简单介绍,这个东西实际上是在编译里面经常出现的东西,我们在编译我们的程序的时候,可以对变量构建出一个计算图,然后可以对这个图进行相应的优化来提高速度或者节省内存。到了DL框架上,这些用处就更加重要了,但是也不是所有的DL框架都有计算图的,因为这其中存在一个research和engineering的权衡。计算图的简单理解就是下图:
一、Symbolic vs. Imperative Programs
首先要说的就是符号式程序和命令式程序等区别了,类似于程序语言设计中的区别,能否在程序代码执行的过程中,能否方便直接的进行修改、分支选择或者循环以及得到中间的输出结果等操作,是区分符号式和命令式的关键,当然这些只是我个人的直观理解。。。。稍微正式点就是:Most symbolic-style programs contain, either explicitly or implicitly, a compile step. This converts the computation graph into a function that can be called. Computation occurs in the last step in the code. The major characteristic of symbolic programs is the clear separation between defining the computation graph and compiling.然后imperative就是你怎么写它怎么跑,你什么时候写好了让他跑,他就什么时候开始跑。
符号式的设计方法有很多好处,tenserflow和MXnet都是基于这种方法编写的,首先因为它们都可以构建出计算图,这样以来就可以对计算图进行优化,通过dependency的分析等等,可以大大的提高算法训练的速度和减少内存的需要,甚至于TQ最新的那篇paper,通过手动置顶一些mirror来保存forward的时候的部分feature map而不是全部,最终resnet152训练要求的48G显存降到了6G,而且速度上并没有掉太多(我个人实际使用的时候,可能是因为miroor设置的不好,降了很多速度。。),但是符号式的缺点也很明显,它给使用者的权限太少了,因为算法在训练的时候,是在定义好的symbil的基础上进行自己的优化,然后传入data开始训练,然后你想在里面做一些奇葩的操作例如循环,if之类的,基本是不可能的。。
所以在我们做research的时候,专注点在于算法的性能而不是效率低时候,可能torch和chaniner这种 imperative-style program是个不错的选择,在torch框架上,你可以很容易的做出一些mxnet很难进行的动作,但是因为我个人暂时也不是很熟悉它们,而且我们的重点还是mxnet,所以我也不强行讲了。下面是一个简单的例子,我们在imperative program可以容易的写出来,但是在符号式的却很难。
a = 2
b = a + 1
d = np.zeros(10)
for i in range(d):
d += np.zeros(10)
二、粗细力度,自动求导
框架的粗粒度、细粒度和自动求导的概念之前听过很多次了,前两者以前是完全不懂并且觉得很高端,后者是以为是字面意思然后觉得太可怕。。。实际上粗细粒度是对框架提供的一个操作大小的描述,粗粒度操作如:FC,BN,细粒度操作如:elemenwise的sum、mul之类的。
还是拿Tenserflow和MXnet来说,前者提供了很多的底层小操作,所以它是一个细粒度的框架,这样的好处是,使用者要想定义自己的操作的时候,就可以通过组合tenserflow里面的op来实现,大大的减小了难度,但这样带来的坏处就是,最终的计算图会又大又复杂,很难去优化。这也是google背书的Tenserflow之前在性能上反而不是MXnet的原因之一的吧。 MXnet我们就很熟悉它的那些OP了,基本上都是一些粗粒度的操作,这样我们在定义自己的OP的时候,只能去默默的写C++代码,个中滋味,就不多说了。。。粗粒度的操作带来的好处当然就是性能的提升。
自动求导这个概念,简单的理解就是,框架给你提高的OP,你只要用他们做fwd,然后backward会自动定义好,因为这些OP的BP已经有人写好了,并且整个BP的流程也可以推到出来然后建立好。并不是你在定义自己的操作的时候,代码能自动帮你写这个操作的BP。
总结
我发现做系统设计这些真的很interesting,要不是我的代码水平太弱鸡,真是分分钟钟想去搞系统啊。。
从零开始学习MXnet(四)计算图和粗细粒度以及自动求导的更多相关文章
- 从零开始学习jQuery (四) 使用jQuery操作元素的属性与样式
本系列文章导航 从零开始学习jQuery (四) 使用jQuery操作元素的属性与样式 一.摘要 本篇文章讲解如何使用jQuery获取和操作元素的属性和CSS样式. 其中DOM属性和元素属性的区分值得 ...
- pytorch的自动求导机制 - 计算图的建立
一.计算图简介 在pytorch的官网上,可以看到一个简单的计算图示意图, 如下. import torchfrom torch.autograd import Variable x = Variab ...
- PytorchZerotoAll学习笔记(三)--自动求导
Pytorch给我们提供了自动求导的函数,不用再自己再推导计算梯度的公式了 虽然有了自动求导的函数,但是这里我想给大家浅析一下:深度学习中的一个很重要的反向传播 references:https:// ...
- Pytorch学习(一)—— 自动求导机制
现在对 CNN 有了一定的了解,同时在 GitHub 上找了几个 examples 来学习,对网络的搭建有了笼统地认识,但是发现有好多基础 pytorch 的知识需要补习,所以慢慢从官网 API进行学 ...
- [深度学习] pytorch学习笔记(1)(数据类型、基础使用、自动求导、矩阵操作、维度变换、广播、拼接拆分、基本运算、范数、argmax、矩阵比较、where、gather)
一.Pytorch安装 安装cuda和cudnn,例如cuda10,cudnn7.5 官网下载torch:https://pytorch.org/ 选择下载相应版本的torch 和torchvisio ...
- 从零开始学习MXnet(三)之Model和Module
在我们在MXnet中定义好symbol.写好dataiter并且准备好data之后,就可以开开心的去训练了.一般训练一个网络有两种常用的策略,基于model的和基于module的.今天,我想谈一谈他们 ...
- 从零开始学习MXnet(五)MXnet的黑科技之显存节省大法
写完发现名字有点拗口..- -# 大家在做deep learning的时候,应该都遇到过显存不够用,然后不得不去痛苦的减去batchszie,或者砍自己的网络结构呢? 最后跑出来的效果不尽如人意,总觉 ...
- 从零开始学习MXnet(二)之dataiter
MXnet的设计结构是C++做后端运算,python.R等做前端来使用,这样既兼顾了效率,又让使用者方便了很多,完整的使用MXnet训练自己的数据集需要了解几个方面.今天我们先谈一谈Data iter ...
- 从零开始学习MXnet(一)
最近工作要开始用到MXnet,然而MXnet的文档写的实在是.....所以在这记录点东西,方便自己,也方便大家. 我觉得搞清楚一个框架怎么使用,第一步就是用它来训练自己的数据,这是个很关键的一步. 一 ...
随机推荐
- python基础之初识
一. 计算机是什么 基本组成: 主板+cpu+内存 cpu: 主频, 核数(16) 内存:大小(8G, 16G, 32G) 型号: DDR3, DDR4, DDR5, 主频(海盗船,玩家国度) 显卡: ...
- go web cookie和session
cookie是存储在浏览器端,session是服务器端 cookie是有时间限制的,分会话cookie和持久cookie,如果不设置时间,那周期就是创建到浏览器关闭为止.这种是会话cookie,一般保 ...
- vue---day02
1. 全局组件的注册 - 创建根实例的时候,data可以是object,也可以是函数 - 创建组件的时候,data必须是函数 1.1 创建 Vue.component('global-componen ...
- spring boot踩坑记
Resolved exception caused by handler execution: org.springframework.http.converter.HttpMessageNotWri ...
- 接口和lambda表达式笔记
接口 接口是双方,即服务提供方和想让它们的对象对服务是可用的那些类,之间约定的一种机制. 声明一个接口 public interface IntSequence{ //不提供实现,则该方法为抽象方法, ...
- ABAP CDS ON HANA-(5)テーブル結合ビュー
JOINs in CDS View In ABAP CDS, Join between two data sources is allowed. Allowed joins are:- Inner J ...
- 在Ubuntu Server 16.04 LTS下安装VMware Tools
1.开启ubuntu server虚拟机 2.vmware workstation菜单项,选取虚拟机(M) --> 安装VMware Tools 3.mkdir /mnt/cdrom #创建一 ...
- 字符串分割(C++)
一.用strtok函数进行字符串分割 原型: char *strtok(char *str, const char *delim); 功能:分解字符串为一组字符串. 参数说明:str为要分解的字符串, ...
- 【jQuery】 Ajax
[jQuery] Ajax $.ajax({ type: "Post", // 发包方式 cache: false, // 是否缓存 contentType: "appl ...
- es2017中的async和await要点
1. async和await最关键的用途是以同步的写法实现了异步调用,是对Generator异步方法的简化和改进.使用Generator实现异步的缺点如下: 得有一个任务执行器来自动调用next() ...