论文地址:https://arxiv.org/abs/1507.06149 1. 主要思想 权值矩阵对应的两列i,j,如果差异很小或者说没有差异的话,就把j列与i列上(合并,也就是去掉j列),然后在下一层中把第j行的权值累加在第i像. 这个过程就想象一下隐藏层中少一个单元,对权值矩阵的影响. 整体思想还是考虑权值矩阵中列的相似性,有点类似于聚类. 然后作者给出了一种计算相似性的方法. 2. 原理 假设一个隐藏层,一个输出单元,那么网络表达式如下: 我们可以看到下面这个图:如果两个权值集合W1和W…

目录 摘要 一.前言 1.1直接获取3D数据的传感器 1.2为什么用3D数据 1.3目前遇到的困难 1.4现有的解决方法及存在的问题 二.本文idea 2.1 idea来源 2.2 初始思路 2.3 改进的思路 2.4 进一步创新 2.5 本文贡献 三.PointConv 3.1 2D图像与3D点云的区别 3.2 3D连续卷积 -> 点云卷积 3.2.1 原始PointConv 3.2.2 高效的PointConv 3.2.3 PointDeConv 四.实验 4.1 在ModelNet40上的…

FractalNet: Ultra-Deep Neural Networks without Residuals ICLR 2017 Gustav Larsson, Michael Maire, Gregory Shakhnarovich 文章提出了什么(What) ResNet提升了深度网络的表现,本文提出的分形网络也取得了优秀的表现,通过实验表示,残差结构对于深度网络来说不是必须的. ResNet缺乏正则方法,本文提出了drop-path,对子路径进行随机丢弃 为什么有效(Why) 分形网络…

Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking  arXiv Paper Project Page:http://guanghan.info/projects/ROLO/ GitHub:https://github.com/wangxiao5791509/ROLO 摘要:本文提出了一种新的方法进行空间监督 RCNN 来进行目标跟踪.我们通过深度神经网络来学习到  loc…

UC Berkeley的Deepak Pathak 使用了一个具有图像级别标记的训练数据来做弱监督学习.训练数据中只给出图像中包含某种物体,但是没有其位置信息和所包含的像素信息.该文章的方法将image tags转化为对CNN输出的label分布的限制条件,因此称为 Constrained convolutional neural network (CCNN). 该方法把训练过程看作是有线性限制条件的最优化过程: 其中是一个隐含的类别分布,是CNN预测的类别分布.目标函数是KL-divergen…

Mastering the game of Go with deep neural networks and tree search Nature 2015  这是本人论文笔记系列第二篇 Nature 的文章了,第一篇是 DQN.好紧张!好兴奋! 本文可谓是在世界上赚够了吸引力! 围棋游戏被看做是 AI 领域最有挑战的经典游戏,由于其无穷的搜索空间 和 评价位置和移动的困难.本文提出了一种新的方法给计算机来玩围棋游戏,即:利用 "value network" 来评价广泛的位置 和 “p…

论文笔记-IGCV3:Interleaved Low-Rank Group Convolutions for Efficient Deep Neural Networks 2018年07月11日 14:05:46 Liven_Zhu 阅读数 846   介绍 在这篇论文中,作者同时使用低秩核和稀疏核(low-rank and sparse kernel)来组成一个密集kernel.基于ICGV2的基础上,作者提出了ICGV3. 近几年,卷积网络在计算机视觉上的有效性已经得到了验证.目前卷积网络的…

Lesson 2 Improving Deep Neural Networks:Hyperparameter tuning, Regularization and Optimization 这篇文章其实是 Coursera 上吴恩达老师的深度学习专业课程的第二门课程的课程笔记. 参考了其他人的笔记继续归纳的. 训练,验证,测试集 (Train / Dev / Test sets) 在机器学习发展的小数据量时代,常见做法是将所有数据三七分,就是人们常说的 70% 训练集,30% 测试集.如果明确设…

论文地址:https://asa.scitation.org/doi/abs/10.1121/1.5036725 深度神经网络在浅水环境中的源定位 摘要: 深度神经网络(DNNs)在表征复杂的非线性关系方面具有优势.本文将DNNs应用于浅水环境下的源定位.提出了两种方法,通过不同的神经网络结构来估计宽带源的范围和深度.第一阶段采用经典的两阶段方案,特征提取和DNN分析是两个独立的步骤;与模态信号空间相关联的特征向量被提取为输入特征.然后,利用时滞神经网络对长期特征表示进行建模,构建回归模型;第二…

论文笔记之:Visual Tracking with Fully Convolutional Networks ICCV 2015  CUHK 本文利用 FCN 来做跟踪问题,但开篇就提到并非将其看做是一个 黑匣子,只是用来提取特征,而是在大量的图像和 ImageNet 分类任务上关于 CNN 的 feature 做了大量的深度的研究.这些发现促使他们设计了该跟踪系统,他们发现: 不同的卷积层会从不同的角度来刻画目标.顶层的 layer 编码了更多的关于 语义特征并且可以作为种类检测器,而底层的…