论文地址:https://arxiv.org/abs/1507.06149 1. 主要思想 权值矩阵对应的两列i,j,如果差异很小或者说没有差异的话,就把j列与i列上(合并,也就是去掉j列),然后在下一层中把第j行的权值累加在第i像. 这个过程就想象一下隐藏层中少一个单元,对权值矩阵的影响. 整体思想还是考虑权值矩阵中列的相似性,有点类似于聚类. 然后作者给出了一种计算相似性的方法. 2. 原理 假设一个隐藏层,一个输出单元,那么网络表达式如下: 我们可以看到下面这个图:如果两个权值集合W1和W…