分类的数据大小:1.2million 张,包括1000个类别. 网络结构:60million个参数,650,000个神经元.网络由5层卷积层,其中由最大值池化层和三个1000输出的(与图片的类别数相同)全链接层组成. 选用非饱和神经元和高性能的GPU来增强卷积操作.为防止在全链接层发生过拟合,我们进行规则化 'dropout'操作,效果明显. 1.说明: 通过改变卷积神经网络的深度和宽度可以控制网络自身的容量.卷积网络可以更准确的预测图片的本质(图像统计上的不变性和像素级的局部性). 相比具有相…

文章:Clustering Convolutional Kernels to Compress Deep Neural Networks 链接:http://openaccess.thecvf.com/content_ECCV_2018/papers/Sanghyun_Son_Clustering_Kernels_for_ECCV_2018_paper.pdf 这篇文章主要是研究模型的压缩和加速.其他的文章大多数都只研究网络结构中的冗余参数或影响不大的结构,用剪枝的方法来压缩模型.作者从另一个方…

论文概况 Multi-Perspective Sentence Similarity Modeling with Convolution Neural Networks是处理比较两个句子相似度的问题, 适用于解决智能客服问题匹配场景中用户提交的问句与知识库中问句的匹配. 文章将整个问题的解决分成两部分: 对句子进行建模, 将句子转换为某种向量表示. 这部分使用CNN完成 两个句子相似度衡量的方式. 这里是新颖的地方. 然后将衡量计算得到的相似度向量投入到Dense层中, 再根据目标接Output…

概要: 本文中的Alexnet神经网络在LSVRC-2010图像分类比赛中得到了第一名和第五名,将120万高分辨率的图像分到1000不同的类别中,分类结果比以往的神经网络的分类都要好.为了训练更快,使用了非饱和神经元并对卷积操作进行双GPU实现.为了减少全连接层的过拟合,本文采用了dropout的正则化方法. 一.背景 简单的识别任务在小数据集上可以被解决的很好,但是在数据集很大的情况下,我们需要一个很强的学习模型.CNN可以通过改变数据集的广度和深度来补偿大数据中没有的数据,同时比起层次大小相…

周五实验室有同学报告了ICCV2013的一篇论文group sparsity and geometry constrained dictionary learning for action recognition from depth maps.这篇文章是关于Sparsing Coding的.Sparse coding并不是我的研究方向.在此仅仅是做个文献阅读后的笔记,权当开拓下我的视野. 从标题就能够看出,这篇论文试图通过学习到group sparsity和geometry constrain…

The single-cell transcriptional landscape of mammalian organogenesis 老板已经提了无数遍的文章,确实很nb,这个工作是之前我们无法想象得,想想如何把我们的数据和他们的数据整合到一起. 文献阅读 | Molecular Architecture of the Mouse Nervous System 这篇侧重强调的是神经系统的单细胞发育过程测序. Mouse Organogenesis Cell Atlas (MOCA) - 所有…

博一下学期: 1.week1,2018.2.26 2006-Extreme learning machine: theory and applications 期刊来源:Huang G B, Zhu Q Y, Siew C K. Extreme learning machine: theory and applications[J]. Neurocomputing, 2006, 70(1-3): 489-501. 2.week2,2018.3.5 2017-3d-prnn: Generating…

一.Abstract 从近期对unsupervised learning 的研究得到启发,在large-scale setting 上,本文把unsupervised learning 与supervised learning结合起来,提高了supervised learning的性能.主要是把autoencoder与CNN结合起来 二.Key words: SAE;SWWAE; reconstruction:encoder:decoder;VGG-16;Alex-Net 三. Motivati…

本文是对文献 <Graph Neural Networks: A Review of Methods and Applications> 的内容总结,详细内容请参照原文. 引言 大量的学习任务都要求能处理包含丰富的元素间关联关系的图数据,例如物理系统建模.疾病分类以及文本和图像等非结构数据的学习等.图形神经网络(GNNs)是一种连接模型,通过图形节点之间的消息传递捕获图形的依赖性. 图(Graph)是一种对一组对象(node)及其关系(edge)进行建模的数据结构.由于图结构的强大表示能力,近…

论文源址:https://arxiv.org/abs/1606.02147 tensorflow github: https://github.com/kwotsin/TensorFlow-ENet 摘要 在移动端上进行实时的像素级分割十分重要.基于分割的深度神经网络中存在大量的浮点运算而且需要经过较长的时间才可以进行投入使用.该文提出的ENet目的是减少潜在的计算.ENet相比现存的分割网络,速度快18倍,参数量要少79倍,同时分割得到的准确率不有所损失,甚至有所提高. 介绍 目前,增强现实可…