lesson4-图像分类-小象cv

CNN网络进化：AlexNet-》VGG->GoogleNet->ResNet,深度8-》19-》22-》152
GoogleNet：Lsplit-》transform-》merge，分治思想
ResNeXt：在ResNet上增加cardinality基数，即通道数，残差~缓解梯度消失问题
Bag of words：视觉词汇组成一组一组的

ground truth：任何标签都可以称为~
鞍点 （saddle point）的数学含义是： 目标函数在此点上的梯度（一阶导数）值为 0， 但从该点出发的一个方向是函数的极大值点，而在另一个方向是函数的极小值点。判断鞍点的一个充分条件是：函数在一阶导数为零处（驻点）的黑塞矩阵为不定矩阵。

卷积核/滤波器的个数~通道数

Relu：解决梯度消失，深度网络能进行优化的关键

卷积层+激活函数：激活函数类似于人眼-达到一定阈值才会被激活，传到下一次；增加非线性-》分段线性，拟合所有函数

卷积步长大于1：特征降维作用

池化：特征融合，尺寸降维

全连接层：等效全局卷积/全尺寸卷积，卷积核大小维上一层输出尺寸即W*H*C,卷积核个数维最终分类个数即K；去除空间信息

工程tricks：

　　图像像素中心化~rgb各自减通道均值

　　防止过拟合：数据增强；dropout；weigth decay权重衰减（L2正则）

Alexnet：新技术~Relu；dropout；max pooling

　　注意双gpu交互：卷积层一中特征通道96在2中显卡评分-》48

　　　　　　　　　　三中通道合并，即跨显卡做卷积

　　LRN局部响应归一化~模拟神经元侧抑制机制，某位置跨通道方向上的归一化~超参是实验定出的

VGG：卷积核7*7拆解为3个3*3

GoogleNet:进化InceptionV1到V4
 　　核心组件：Inception模块，先分支再合并

　　　　inception3a：128=1*1，3*3,3*3,pooling四个的输出值和~即串接

　　　　卷积分支中1*1先放前面，pooling中1*1放在后面~先pooling特征合并保证原始信息量再降维

  　　　　Split-Merge：四个不同卷积/池化~多尺度，宽度
  　　　　Bottleneck:NiN的1*1卷积来解决多尺度带来的高额参数，特征降维
 　　
　　Inception V1：两大贡献（1)取消全连接：global average pooling+softmax可以代替，对应主分类器取消全连接层增加两个辅助分类器，辅助是有全连接的  (2)辅助

　　InceptionV2：核心组件

　　　　　　（1)批归一化：解决相关偏移问题~内部神经元的数据分布发生变化；本质是白化即每一层的输出都规范化到0，1的正态分布，取代dropout，允许较高学习率；

　　　　　　　　详细：在batch范围内，对每个特征通道分别进行归一化~每个batch如32个图片，每个图片k通道，那么每个通道对应32个值~长*宽*1*batchsize的均值和标准差来归一化；注意~每张图片的每个通道的矩阵表示：长*宽*1

　　　　　　　　位置：卷积层和激活层之间，归一化在非线性变换之前

　　　　　　　　因为不同特征的均值和方差本来就是有相对差异 的，强制化为0，1的正态分布是有问题的，比如有的特征是在均值1附近的-》尺度变换和偏移，即scale和shift即尺度和偏移即乘子和偏置要学习出来即需训练，配对使用，每个通道都有一对共k组，乘以scale加上shift后的y才是传入后面的

　　　　　　　　训练中每个batch中的k组均值和标准差都会被保存，测试时存储的所有batch的k组均值和标准差会分别求平均，使用k组平均

　　　　   (2）5*5卷积核拆为3*3

　Inception3：

　　　　（1）非对称卷积：N*N分解成1*N-》N*1

　　　　  (2) 低层处低分辨35*35上将5*5拆为两个3*3；分辨率17*17上火将两个N*N分别拆了；分辨率8*8上并行操作做分解    why好--  工程实践经验

　　　    （3)高效的降尺寸Grid size :

　　　　　　现象：25*25*320先pooling后Incepion~有表达瓶颈计算量小，因为pooling后hi是低维的17*17*320，inception后17*17*640；25*25*320先inception后pooling~无表达瓶颈但是计算量大，因为inceptin后时25*25*640，pooiling后维17*17*640

　　　　　　目的：避免表达瓶颈增加特征通道

　　　　　　操作：两个并行分支，卷积分支+池化分支，串接分支结果

　　　　　　　　卷积分支1：1*1特征降维减少计算量-》3*3卷积步长1-》3*3卷积步长2

　　　　　　　　卷积分支2：1*1卷积-》3*3步长2

　　　　　　　　池化：步长2，即池化照常做

　　　　　　　　卷积分支1出160，卷积分支2出160，池化出320，串接为640的特征通道数，卷积的串接补充了信息

　　　（4)取消浅层辅助分类器。深层辅助分类器只在训练后期有用-工程经验

　　Inception4：Inception模块加上了resnet的直连

ResNet：核心组件为skip/shortcut connection

　　目标映射=残差映射+identity即H=F+x，求导，该模块倒数永远大于1

　　卷积核基本都为3*3，池化层用卷积步长2代替~淡紫和黄色之间，步长为2使得尺寸降维度通道升维，使用BN；取消了全连接层，max池化，dropout

　　基础网络时VGG

　　当H是最优映射接近identity时，很容易捕捉到小的扰动

　　更深层用Bootleneck优化残差映射网络