前言

致力于滤波器的剪枝，论文的方法不改变原始网络的结构。论文的方法是基于下一层的统计信息来进行剪枝，这是区别已有方法的。

VGG-16上可以减少3.31FLOPs和16.63倍的压缩，top-5的准确率只下降0.52%。在ResNet-50上可以降低超过一半的参数量和FLOPs，top-5的准确率只降低1%。

如上图所示，在虚线框中找到那些弱通道（weak channels）和他们对应的滤波器（黄色高亮部分），这些通道和对应的滤波器对整体性能贡献较小，因此可以丢弃，这样就得到一个剪枝后的模型，然后通过微调（fine-tune）恢复模型的准确率。

ThiNet框架

（1）滤滤波器选择

不同于已有的方法（使用layer(i)层的统计数据对layer(i)滤波器进行剪枝），论文对layer(i+1)的统计信息来对layer(i)层进行剪枝。思路如下：如果可以使用layer(i+1)的子集通道(subset channels)的输入来逼近layer(i+1)的输出，那么其它的通道就可以从layer(i+1)的输入移除，而layer(i+1)的输入是由layer(i)的滤波器产生的。

（2）剪枝

在layer(i+1)的弱通道和其对应的layer(i)层的滤波器将被去除，模型将变得更小。剪枝后的网络的结构不变，但拥有较少的滤波器和通道数。

（3）微调

通过大量数据的训练来恢复网络性能

数据驱动的通道选择

使用来表示layer(i)的卷积过程，其中表示输入的张量(tensor)，是一组KxK的核大小的滤波器，使用D个channels生成新的张量。

我们的目标是移除中不重要的滤波器。可以看出，如果中的一个滤波器被移除了，在和中相应的通道也会被移除。这样的操作下，layer(i+1)的滤波器的数目和他输出张量的大小保持不变，因此也保持不变。

收集训练样本

通道选择——贪心算法

最小化重构误差

ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression笔记的更多相关文章

  1. 论文笔记——ThiNet: A Filter Level Pruning Method for Deep Neural Network Compreesion

    论文地址:https://arxiv.org/abs/1707.06342 主要思想 选择一个channel的子集,然后让通过样本以后得到的误差最小(最小二乘),将裁剪问题转换成了优化问题. 这篇论文 ...

  2. 论文笔记——A Deep Neural Network Compression Pipeline: Pruning, Quantization, Huffman Encoding

    论文<A Deep Neural Network Compression Pipeline: Pruning, Quantization, Huffman Encoding> Prunin ...

  3. 用matlab训练数字分类的深度神经网络Training a Deep Neural Network for Digit Classification

    This example shows how to use Neural Network Toolbox™ to train a deep neural network to classify ima ...

  4. 深度神经网络如何看待你，论自拍What a Deep Neural Network thinks about your #selfie

    Convolutional Neural Networks are great: they recognize things, places and people in your personal p ...

  5. A Survey of Model Compression and Acceleration for Deep Neural Network时s

    A Survey of Model Compression and Acceleration for Deep Neural Network时s 本文全面概述了深度神经网络的压缩方法,主要可分为参数修 ...

  6. 论文翻译：2022_PACDNN: A phase-aware composite deep neural network for speech enhancement

    论文地址:PACDNN:一种用于语音增强的相位感知复合深度神经网络 引用格式:Hasannezhad M,Yu H,Zhu W P,et al. PACDNN: A phase-aware compo ...

  7. XiangBai——【AAAI2017】TextBoxes_A Fast Text Detector with a Single Deep Neural Network

    XiangBai--[AAAI2017]TextBoxes:A Fast Text Detector with a Single Deep Neural Network 目录 作者和相关链接 方法概括 ...

  8. What are the advantages of ReLU over sigmoid function in deep neural network?

    The state of the art of non-linearity is to use ReLU instead of sigmoid function in deep neural netw ...

  9. 论文笔记之：Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation

    Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation xx

随机推荐

  1. 12种不宜使用的javascript的语法

    1. == Javascript有两组相等运算符,一组是==和!=,另一组是===和!==.前者只比较值的相等,后者除了值以外,还比较类型是否相同. 请尽量不要使用前一组,永远只使用===和!==.因 ...

  2. map的使用注意事项

    map是无序的,每次打印出来的map都会不一样,它不能通过index获取,而必须通过key获取 map的长度是不固定的,也就是和slice一样,也是一种引用类型 内置的len函数同样适用于map,返回 ...

  3. Matplotlib常用绘图示例

    一.Matplotlib介绍 Matplotlib是一个Python的2D绘图库,它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形.通过Matplotlib,开发者可以仅需要几行代码,便可 ...

  4. minimum-depth-of-binary-tree (搜索)

    题意:输出一个二叉树的最小深度. 思路:搜索一下就行了. 注意:搜索的时候,是比较每个子树的左右子树的大小,每个子树的深度要加上根节点! class Solution { public: int ru ...

  5. Hue添加Spark notebook

    参考自https://blogs.msdn.microsoft.com/pliu/2016/06/18/run-hue-spark-notebook-on-cloudera/ 说明 使用Clouder ...

  6. mysql innodb引擎 一次线上死锁分析排查步骤

    我们的线上erp系统一天使用人员反映部分数据死活保存不上而且页面操作很慢.开始以为操作数据量大的原因, 后来查看了我们线上的glowroot系统,发现slowtrace中有超长时间的访问,点开查看详情 ...

  7. Omi-touch实战 移动端图片轮播组件的封装

    pc端的轮播,移动端的轮播都很常见.一年前,我还为手机端没有左滑,右滑事件从而封装了一个swipe库,可以自定义超过多少滑动时间就不触发,也可以设置滑动多少距离才触发,这一个功能的代码就达到400多行 ...

  8. Javascript数组Array的forEach方法

    Javascript数组Array的forEach扩展方法 forEach是最常用到的数组扩展方法之一,相当于参数化循环数组,它简单的在数组的每一个元素上应用传入的函数,这也意味着只有存在的元素会被访 ...

  9. 命名 PRIMARY KEY 约束

    1.注释:如果您使用 ALTER TABLE 语句添加主键,必须把主键列声明为不包含 NULL 值(在表首次创建时). mysql> ALTER TABLE appcc_user  ADD CO ...

  10. Lauterbach TRACE32技巧小集

    1. TRACE32中实现类container_of功能 假设现在我只知道一个全局变量成员tv2的地址,类型是tvec_base.我想知道这个全局变量的地址怎么办? struct tvec_base ...