A 288μW Programmable Deep-Learning Processor with 270KB On-Chip Weight Storage Using Non-Uniform Memory Hierarchy for Mobile Intelligence

单位：Michigan，CubeWorks（密歇根大学，CubeWorks公司）

又是一款做DNN加速的面向IOT的专用芯片，主要特点是有L1~L4四级不同速度、能耗的层次化存储。通过对全连接矩阵x向量的计算流程优化，最终可以在0.65V 3.9MHz下获得374GOPS/W的能效表现及288uW的能耗指标[1]。主要还是低功耗，288uW可以做到常开了。

IoT DLA(Deep Learning Accelerator)的愿景和实操：IoT的结点将具有移动感知能力，同时可以运行简单的语音/图像检测和离线学习能力，可以完成部分DSP的计算工作。当前的技术采用了高并行的PE以及非标准的memory结构NUMA，定制的低漏电流SRAM，同时对数据位宽采用精度可配的管理方式。

和传统的计算相比，深度学习的访存次数大大增加，计算的不确定性也十分明显，传统的层次化存储结构（寄存器-Cache-DRAM-HDD/SSD）已经难以满足需求（Cache作用不明显，访存不规则但是服从统计学分布规律）。因此，采用非一致的存储架构、提高存储的bit密度，以及使用长字节表达+可变精度的数据格式，可以有效提升深度学习的访存、能效表现。

采用的多层存储结构：采用非一致性的NUMA，建立确定性访存机制，提出数据分配机制以及数据的连续地址存放。

DLA的设计：每个PE均具有共计67.5kB的4层存储结构，通过AHB与主控芯片相连，通过MMIO寄存器进行数据交互。——AHB Lite和寄存器交互使得数据交换能耗低；

下面是重点：

DLA的PE设计：整体工作流程：

1、instruction buffer用于接受由主控核(Cortex-M0)发出的指令，经由WR/RD进行选择，将192b的指令输出到中心controller；

2、中心controller(CTR)将状态寄存器Status Reg置位“Running”；

3、访存单元(Mem)通过中心controller和PE进行数据交互，CTR定义MemAU数据访存模式（序列Seq/随机Ran），PE通过CTR和MemAU进行访存操作；同时MemAU采用了power gating和signal gating技术；对于外存的访问请求，也通过MemAU处理，优先级为：Cortex-M0>外部PE>所在PE；

4、CTR向Data Buffer发起数据请求，完成：解压MemAU输入的96b数据，打包发出输出的96b数据，并采用临近数据存储方式进行操作；

5、CTR对ALU发起数据，ALU通过IO口从Data Buffer中读取数据，可以进行如下计算：4个乘法计算(8bit)、4个乘法计算(16bit)、10个加法器、6个移位器；基于查找表的多项式差值计算单元，用于激活函数的计算；

6、计算任务完成后，Cortex-M0发出信号，CTR将Status Reg置位Done。

有信号开关的SRAM结构：通过SIGNAL_GATING[3:0]和DATA_DATING[3:0]进行数据的存储层级选择。

本芯片主要能做FC的计算，全连接层的运算(Fully-Connected Layer, FCL)：分解为矩阵x向量+激活函数。核心是Matrix-Vector Multiplication(MVM)。

为了降低中间结果数量以及写出带宽，采用的折叠式的求和：两两加和的结果是一个临时结果，换下一个两列的时候，把前面的临时结果读出来，加完之后再写回去。

因此，基于这样的计算模式，论文采用：

基于以上的MVM计算方式，TO是访问频率最高的数据->存在L1 Mem；权重w重用度低->存在L4 Mem

重用度低就是指不会重复读，只会按顺序读，因此放在较大较远的L4中；而临时结果需要反复读写，量也不大，所以放在较小较近的L1中。

对于不同层Memory的访存功耗对比：

芯片性能表现及对比：在0.65V 3.9MHz下，运行FCL平均能耗为288uW，能效为374GOPS/W，同时支持6~31bit不同位宽的计算。

总结：一款面向IoT的低功耗深度学习加速器

1、在低功耗、高效率下实现DNN

2、延迟在几个ms的级别，可以应对IoT的实时性要求

vvvvvvvv# 参考资料

[1] https://reconfigdeeplearning.com/2017/02/09/isscc-2017-session-14-slides14-7

[2] A 288μW Programmable Deep-Learning Processor with 270KB On-Chip Weight Storage Using Non-Uniform Memory Hierarchy for Mobile Intelligence

ISSCC 2017论文导读 Session 14:A 288μW Programmable Deep-Learning Processor with 270KB On-Chip Weight的更多相关文章

  1. ISSCC 2017论文导读 Session 14 Deep Learning Processors，DNPU: An 8.1TOPS/W Reconfigurable CNN-RNN

    转载请注明,本文出自Bin的专栏http://blog.csdn.net/xbinworld,谢谢! DNPU: An 8.1TOPS/W Reconfigurable CNN-RNN Process ...

  2. ISSCC 2017论文导读 Session 14 Deep Learning Processors，A 2.9TOPS/W Deep Convolutional Neural Network

    最近ISSCC2017大会刚刚举行,看了关于Deep Learning处理器的Session 14,有一些不错的东西,在这里记录一下. A 2.9TOPS/W Deep Convolutional N ...

  3. ISSCC 2017论文导读 Session 14 Deep Learning Processors，A 2.9TOPS/W Deep Convolutional Neural Network SOC

    最近ISSCC2017大会刚刚举行,看了关于Deep Learning处理器的Session 14,有一些不错的东西,在这里记录一下. A 2.9TOPS/W Deep Convolutional N ...

  4. ISSCC 2017论文导读 Session 14:ENVISION: A 0.26-to-10 TOPS/W Subword-Parallel DVAFS CNN Processor in 28nm

    ENVISION: A 0.26-to-10 TOPS/W Subword-Parallel Dynamic-Voltage-Accuracy-Frequency-Scalable CNN Proce ...

  5. ISSCC 2017论文导读 Session 14:A 0.62mW Ultra-Low-Power Convolutional-Neural-Network Face-Recognition Pro

    A 0.62mW Ultra-Low-Power Convolutional-Neural-Network Face-Recognition Processor and a CIS Integrate ...

  6. ISSCC 2017论文导读 Session 14: A 28nm SoC with a 1.2GHz Prediction Sparse Deep-Neural-Network Engine

    A 28nm SoC with a 1.2GHz 568nJ/Prediction Sparse Deep-Neural-Network Engine with >0.1 Timing Erro ...

  7. 论文阅读：Face Recognition: From Traditional to Deep Learning Methods 《人脸识别综述：从传统方法到深度学习》

     论文阅读:Face Recognition: From Traditional to Deep Learning Methods  <人脸识别综述:从传统方法到深度学习>     一.引 ...

  8. 论文笔记之：Pedestrian Detection aided by Deep Learning Semantic Tasks

    Pedestrian Detection aided by Deep Learning Semantic Tasks CVPR 2015 本文考虑将语义任务(即:行人属性和场景属性)和行人检测相结合, ...

  9. NeurIPS 2017 | TernGrad: Ternary Gradients to Reduce Communication in Distributed Deep Learning

    在深度神经网络的分布式训练中,梯度和参数同步时的网络开销是一个瓶颈.本文提出了一个名为TernGrad梯度量化的方法,通过将梯度三值化为\({-1, 0, 1}\)来减少通信量.此外,本文还使用逐层三 ...

随机推荐

  1. 解题：POI 2016 Nim z utrudnieniem

    题面 出现了,神仙题! 了解一点博弈论的话可以很容易转化题面:问$B$有多少种取(diu)石子的方式使得取后剩余石子异或值为零且取出的石子堆数是$d$的倍数 首先有个暴力做法:$dp[i][j][k] ...

  2. 【OpenCV】SIFT原理与源码分析:关键点搜索与定位

    <SIFT原理与源码分析>系列文章索引:http://www.cnblogs.com/tianyalu/p/5467813.html 由前一步<DoG尺度空间构造>,我们得到了 ...

  3. array_intersect

    <?php date_default_timezone_set('Asia/Shanghai'); $a1=array("a"=>"red",&qu ...

  4. Windows 2008 R2上配置IIS7或IIS7.5中的URLRewrite(URL重写)实例

    1. 安装URL Rewrite模块 下载页面 re_write_x86_zh_CN.msi from microsoft re_write_x64_zh_CN.msi from microsoft安 ...

  5. 跟我一起写Makefile(七)

    make 的运行—————— 一般来说,最简单的就是直接在命令行下输入make命令,make命令会找当前目录的makefile来执行,一切都是自动的.但也有时你也许只想让make重编译某些文件,而不是 ...

  6. [LeetCode] 29. Divide Two Integers ☆☆

    Divide two integers without using multiplication, division and mod operator. If it is overflow, retu ...

  7. 修改tomcat的Response Hearder 头中的Server信息

    如图: Server: Apache-Coyote/1.1 这个信息给入侵者提供了一定的指示作用.为了安全起见,要求更改这个信息.那么我们就来修改一下试试,非常简单,只要在Connector中添加se ...

  8. PHP扩展--taint检测隐藏漏洞

    简介 Taint 可以用来检测隐藏的XSS code, SQL注入, Shell注入等漏洞, 并且这些漏洞如果要用静态分析工具去排查, 将会非常困难, 比如对于如下的例子: <?php echo ...

  9. Redis实战（五）CentOS 7上搭建Redis集群

    高可用Redis(十二):Redis Cluster https://www.cnblogs.com/renpingsheng/p/9862485.html https://www.cnblogs.c ...

  10. 【51NOD】1135 原根

    [题意]给定p,求p的原根g.3<=p<=10^9. [算法]数学 [题解]p-1= p1^a1 * p2^a2 * pk^ak,g是p的原根当且仅当对于所有的pi满足g^[ (p-1)/ ...