一、符号式编程

1、命令式编程和符号式编程

命令式:

def add(a, b):
return a + b def fancy_func(a, b, c, d):
e = add(a, b)
f = add(c, d)
g = add(e, f)
return g fancy_func(1, 2, 3, 4)

符号式:

def add_str():
return '''
def add(a, b):
return a + b
''' def fancy_func_str():
return '''
def fancy_func(a, b, c, d):
e = add(a, b)
f = add(c, d)
g = add(e, f)
return g
''' def evoke_str():
return add_str() + fancy_func_str() + '''
print(fancy_func(1, 2, 3, 4))
''' prog = evoke_str()
print(prog)
y = compile(prog, '', 'exec')
exec(y)

以上定义的三个函数都只是返回计算流程。最后,我们编译完整的计算流程并运行。

由于在编译时系统能够完整地看到整个程序,因此有更多空间优化计算。例如,编译的时候可以将程序改写成print((1 + 2) + (3 + 4)),甚至直接改写成print(10)。这样不仅减少了函数调用,还节省了内存。

2.MXNet的符号式编程

Sequential类 -> HybridSequential类

Block类 -> HybridBlock类

使用上面两个基于Hybrid的类构建的网络实例会具有.hybridize()方法,进行.hybridize()声明之后网络的第一次运行会生成编译好的C++代码,之后再运行网络实例不会运行python代码,而回转向C++代码,也就是"静态图",同样的,MXNet的静态结构决定了其对python的动态控制流程不支持(同TensorFlow),但是效率大大提升。

HybridSequential类

def get_net():
net = nn.HybridSequential()
net.add(
nn.Dense(256, activation="relu"),
nn.Dense(128, activation="relu"),
nn.Dense(2)
)
net.initialize()
return net x = nd.random.normal(shape=(1, 512))
net = get_net()
net(x)

我们可以通过调用hybridize函数来编译和优化HybridSequential实例中串联的层的计算。模型的计算结果不变。

In [5]:
net.hybridize()
net(x)
Out[5]:
[[ 0.08827581 0.00505182]]
<NDArray 1x2 @cpu(0)>

需要注意的是,只有继承HybridBlock的层才会被优化。例如,HybridSequential类和Gluon提供的Dense类都是HybridBlock的子类,它们都会被优化计算。如果一个层只是继承自Block而不是HybridBlock类,那么它将不会被优化。我们接下会讨论如何使用HybridBlock类。

HybridBlock类

class HybridNet(nn.HybridBlock):
def __init__(self, **kwargs):
super(HybridNet, self).__init__(**kwargs)
self.hidden = nn.Dense(10)
self.output = nn.Dense(2) def hybrid_forward(self, F, x):
print('F: ', F)
print('x: ', x)
x = F.relu(self.hidden(x))
print('hidden: ', x)
return self.output(x)

在继承HybridBlock类时,我们需要在hybrid_forward函数中添加额外的输入F。我们知道,MXNet既有基于命令式编程的NDArray类,又有基于符号式编程的Symbol类。由于这两个类的函数基本一致,MXNet会根据输入来决定F使用NDArray或Symbol。

In [12]:
net.hybridize()
net(x)
F:  <module 'mxnet.symbol' from '/var/lib/jenkins/miniconda3/envs/gluon_zh_docs/lib/python3.6/site-packages/mxnet/symbol/__init__.py'>
x: <Symbol data>
hidden: <Symbol hybridnet0_relu0>
Out[12]:
[[ 0.00370749 0.00134991]]
<NDArray 1x2 @cpu(0)>

可以看到,F变成了Symbol。而且,虽然输入数据还是NDArray,但hybrid_forward函数里,相同输入和中间输出全部变成了Symbol。

再运行一次看看。

In [13]:
net(x)
Out[13]:
[[ 0.00370749 0.00134991]]
<NDArray 1x2 @cpu(0)>

可以看到hybrid_forward函数里定义的三行打印语句都没有打印任何东西。这是因为上一次在调用hybridize函数后运行net(x)的时候,符号式程序已经得到。之后再运行net(x)的时候MXNet将不再访问Python代码,而是直接在C++后端执行符号式程序。这也是调用hybridize后模型计算性能会提升的一个原因。但它可能的问题是我们损失了写程序的灵活性。在上面这个例子中,如果我们希望使用那三行打印语句调试代码,执行符号式程序时会跳过它们无法打印。

此外,对于少数Symbol不支持的函数,例如asnumpy,我们是无法在hybrid_forward函数中使用并在调用hybridize函数后进行模型计算的(mxnet.sym类即为Symbol类,支持大部分Ndarray操作)。

二、惰性计算

可以使用不同的前端语言编写MXNet程序,像Python、R、Scala和C++。无论使用何种前端编程语言,MXNet程序的执行主要都发生在C++实现的后端。换句话说,用户写好的前端MXNet程序会传给后端执行计算。后端有自己的线程来不断收集任务,构造、优化并执行计算图。后端优化的方式有很多种,其中包括本章将介绍的惰性计算。

假设我们在前端调用以下四条语句。MXNet后端的线程会分析它们的依赖关系并构建出如下图所示的计算图。

In [3]:
a = nd.ones((1, 2))
b = nd.ones((1, 2))
c = a * b + 2
c

Out[3]:
[[ 3. 3.]]
<NDArray 1x2 @cpu(0)>

在惰性计算中,前端执行前三条语句的时候,仅仅是把任务放进后端的队列里就返回了。当最后一条语句需要打印计算结果时,前端会等待后端线程把c的结果计算完。此设计的一个好处是,这里的Python前端线程不需要做实际计算。因此,无论Python的性能如何,它对整个程序性能的影响会很小。只要C++后端足够高效,那么不管前端语言性能如何,MXNet都可以提供一致的高性能。

用同步函数实际计算出结果

print()

nd数组.wait_to_read()

nd.waitall()

由于asnumpyasscalar(Python内置、numpy等数据结构并不支持惰性计算)print函数会触发让前端等待后端计算结果的行为,我们通常把这类函数称作同步函数。

惰性计算会极大提高运行效率,但是会增加内存开销

三、自动并行

“惰性计算”里我们提到MXNet后端会自动构建计算图。通过计算图,系统可以知道所有计算的依赖关系,并可以选择将没有依赖关系的多个任务并行执行来获得性能的提升。以“惰性计算”一节中的计算图为例。其中a=nd.ones((1,2))b=nd.ones((1,2))这两步计算之间并没有依赖关系。因此,系统可以选择并行执行它们。

通常一个运算符会用掉一个CPU/GPU上所有计算资源。例如,dot操作符会用到所有CPU(即使是有多个CPU)或单个GPU上所有线程。因此在单CPU/GPU上并行运行多个运算符可能效果并不明显。

MXNet通过自动并行计算提升计算性能,主要经由CPU和GPU的并行以及计算和通讯的并行实现

『MXNet』第六弹_Gluon性能提升的更多相关文章

  1. 『MXNet』第六弹_Gluon性能提升 静态图 动态图 符号式编程 命令式编程

    https://www.cnblogs.com/hellcat/p/9084894.html 目录 一.符号式编程 1.命令式编程和符号式编程 2.MXNet的符号式编程 二.惰性计算 用同步函数实际 ...

  2. 『MXNet』第四弹_Gluon自定义层

    一.不含参数层 通过继承Block自定义了一个将输入减掉均值的层:CenteredLayer类,并将层的计算放在forward函数里, from mxnet import nd, gluon from ...

  3. 『MXNet』第三弹_Gluon模型参数

    MXNet中含有init包,它包含了多种模型初始化方法. from mxnet import init, nd from mxnet.gluon import nn net = nn.Sequenti ...

  4. 『MXNet』第十一弹_符号式编程初探

    一.符号分类 符号对我们想要进行的计算进行了描述, 下图展示了符号如何对计算进行描述. 我们定义了符号变量A, 符号变量B, 生成了符号变量C, 其中, A, B为参数节点, C为内部节点! mxne ...

  5. 『MXNet』第八弹_数据处理API_下_Image IO专题

    想学习MXNet的同学建议看一看这位博主的博客,受益良多. 在本节中,我们将学习如何在MXNet中预处理和加载图像数据. 在MXNet中加载图像数据有4种方式. 使用 mx.image.imdecod ...

  6. 『MXNet』第十弹_物体检测SSD

    全流程地址 一.辅助API介绍 mxnet.image.ImageDetIter 图像检测迭代器, from mxnet import image from mxnet import nd data_ ...

  7. 『MXNet』第八弹_数据处理API_上

    一.Gluon数据加载 下面的两个dataset处理类一般会成对出现,两个都可做预处理,但是由于后面还可能用到原始图片,.ImageFolderDataset不加预处理的话可以满足,所以建议在.Dat ...

  8. 『MXNet』第七弹_多GPU并行程序设计

    资料原文 一.概述思路 假设一台机器上有个GPU.给定需要训练的模型,每个GPU将分别独立维护一份完整的模型参数. 在模型训练的任意一次迭代中,给定一个小批量,我们将该批量中的样本划分成份并分给每个G ...

  9. 『MXNet』第五弹_MXNet.image图像处理

    简单处理API 读取图像: image.imdecode(open('../img/cat1.jpg', 'rb').read()) 图像类型转换: img.astype('float32') 图像增 ...

随机推荐

  1. ZooKeeper单机伪集群搭建与启动

    下载解压 [xiaobai@xiaobai ~]$ tar -zvxf zookeeper-3.4.9.tar.gz 本机ip地址映射 [xiaobai@xiaobai /]$ su - rootPa ...

  2. orcl 之 导入和导出

     dmp文件导入 //1 oracle的数据模式是:用户建在表空间上,表建在用户上 //2 一个用户的表就象自己的私有财产一样,没有自己或管理员授权别的用户是不能查询或修改的: //3 对于不同用户下 ...

  3. div包裹页面后多余部分没有显示,也没滚动条 overflow 属性设置

    今天弄个div套着一个页面结果那个页面超出范围后页面没有滚动条可以滚动浏览下面的内容,原来是设置了overflow的hidden属性 visible 默认值.内容不会被修剪,会呈现在元素框之外. hi ...

  4. 题解——洛谷P1550 [USACO08OCT]打井Watering Hole(最小生成树,建图)

    题面 题目背景 John的农场缺水了!!! 题目描述 Farmer John has decided to bring water to his N (1 <= N <= 300) pas ...

  5. Visual Question Answering with Memory-Augmented Networks

    Visual Question Answering with Memory-Augmented Networks 2018-05-15 20:15:03 Motivation: 虽然 VQA 已经取得 ...

  6. 使用closest替换parent

    尽量不要使用parent去获取DOM元素,如下代码: var $activeRows = $this.parent().parent().children(".active"); ...

  7. Latex: 减少图与文字之间的空白间隙

    参考: Remove space after figure and before text Latex: 减少图与文字之间的空白间隙 论文中图与文字之间的空白间隙过大,导致排版不大美观.解决方法是在\ ...

  8. NPOI导入excel文件为DataTable,使用SqlBulkCopy添加到数据库表

    public DataTable ExcelToDataTable(Stream stream, string fileName) { DataTable data = new DataTable() ...

  9. 《机器学习实战》之k-近邻算法(示例)

    看了这本书的第一个算法—k-近邻算法,这个算法总体构造思想是比较简单的,在ACM当中的话就对应了kd树这种结构.首先需要给定训练集,然后给出测试数据,求出训练集中与测试数据最相近的k个数据,根据这k个 ...

  10. Python self,init,对象属性

    self关键字的作用 __init__初始化 # coding=utf-8 支持中文 class Human(object): laugh = 'Ha' def show_laugh(self): p ...