The Impact of Imbalanced Training Data for Convolutional Neural Networks Paulina Hensman and David Masko 摘要 本论文从实验的角度调研了训练数据的不均衡性对采用CNN解决图像分类问题的性能影响.CIFAR-10数据集包含10个不同类别的60000个图像,用来构建不同类间分布的数据集.例如,一些训练集中包含一个类别的图像数目与其他类别的图像数目比例失衡.用这些训练集分别来训练一个CNN,度量其得…

论文信息 论文标题:Self-supervised Graph Neural Networks without explicit negative sampling论文作者:Zekarias T. Kefato, Sarunas Girdzijauskas论文来源:2021, WWW论文地址:download 论文代码:download 1 介绍 本文核心贡献: 使用孪生网络隐式实现对比学习: 本文提出四种特征增强方式(FA): 2 相关工作 Graph Neural Networks GCN…

Must Know Tips/Tricks in Deep Neural Networks (by Xiu-Shen Wei)   Deep Neural Networks, especially Convolutional Neural Networks (CNN), allows computational models that are composed of multiple processing layers to learn representations of data with…

http://lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.html Deep Neural Networks, especially Convolutional Neural Networks (CNN), allows computational models that are composed of multiple processing layers to learn representations of data with mul…

本文是对文献 <Graph Neural Networks: A Review of Methods and Applications> 的内容总结,详细内容请参照原文. 引言 大量的学习任务都要求能处理包含丰富的元素间关联关系的图数据,例如物理系统建模.疾病分类以及文本和图像等非结构数据的学习等.图形神经网络(GNNs)是一种连接模型,通过图形节点之间的消息传递捕获图形的依赖性. 图(Graph)是一种对一组对象(node)及其关系(edge)进行建模的数据结构.由于图结构的强大表示能力,近…

1,概述 模型量化属于模型压缩的范畴,模型压缩的目的旨在降低模型的内存大小,加速模型的推断速度(除了压缩之外,一些模型推断框架也可以通过内存,io,计算等优化来加速推断). 常见的模型压缩算法有:量化,剪枝,蒸馏,低秩近似以及紧凑模型设计(如mobileNet)等操作.但在这里有些方法只能起到缩减模型大小,而起不到加速的作用,如稀疏化剪枝.而在现代的硬件设备上,其实更关注的是模型推断速度.今天我们就讲一种既能压缩模型大小,又能加速模型推断速度:量化. 量化一般可以分为两种模式:训练后的量化(po…

论文地址:MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 本文提出的模型叫MobileNet,主要用于移动和嵌入式视觉应用.该模型具有小巧.低延迟的特点.MobileNet在广泛的应用场景中具有有效性,包括物体检测,细粒度分类,人脸属性和大规模地理定位. MobileNet架构 深度可分解卷积(Depthwise Separable Convolution) MobileNet模…

CS231n Winter 2016: Lecture 5: Neural Networks Part 2 CS231n Winter 2016: Lecture 6: Neural Networks Part 3 by Andrej Karpathy 本章节主要讲解激活函数,参数初始化以及周边的知识体系. Ref: <深度学习>第八章 - 深度模型中的优化 Overview 1. One time setup activation functions, preprocessing, weig…

Training (deep) Neural Networks Part: 1 Nowadays training deep learning models have become extremely easy with high-quality libraries such as Torch and Theano. These libraries are really helpful for rapidly prototyping deep learning models even witho…

MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 论文链接:https://arxiv.org/pdf/1704.04861.pdf 摘要和Prior Work就略了,懒:)   Summary: 总的来说,MobileNet相对于标准卷积过程有以下几点不同: 1) 将标准的卷积操作分为两步:depthwise convolution和pointwise convolution.即…