Mini-batch SGD的步骤: 1.Sample a batch of data 2.Forward prop it through the graph,get loss 3.backprop to calculate the gradient 4. updata the parameters using the gradient The initialization of weights is important. 如果 初始化过小, 经过激活后网络中权值的update就会 趋于0:如果…

Make the most of your data Data augmentation 加载图像后,对图像做一些变化,这些变换不改变图像的标签. 通过各种变换人为的增大数据集,可以避免过拟合提高模型的性能,最简单的数据增强就是横向翻转. 1. horizontal flips 2. random crops and scales 对图像进行随机的尺度和位置上选择图像截图:缩放到CNN需要的图像大小最为新的数据集. 使用随机裁剪和缩放来训练模型的时候,用整幅图像来测试算法并不合理,因此在测试阶段…

目标:我们有几个类别,然后我们要在这张图中找到这些类的所有实例 解决思路:是否可以按照回归的思路进行求解呢? 但是受限制于确定的种类输出问题. 方法:分类和回归是解决问题的两个套路,我们现在对于目标的探测问题不把它看作是回归问题, 而是看作是分类问题.所以我们将一张图片的一部分作为分类器的输入,进行判断:再重复运行判断. 问题:如何确定窗口的大小? 答案就是把所以尺寸都是一次,但是这是低效的方法,太多不确定.同时需要加入两个东西:背景的类和多标签的分类(你可以加入很多正值,不计算softmax损…

 重在图像的定位和检测的内容. 一张图片中只有一种给定类别标签的对象,定位则是图像中有对象框:再这些类中,每一个训练目标都有一个类和许多的图像内部对应类的位置选框. 猜想的仅是类标签,不如说它们是位置选框.正确的位置选框,代表你的结果很接近分割的准确率. 研究定位的简单有用基础的范式,就是回归. 这张图片经过一系列的处理过程,最终生成四个代表选框大小的实数,有很多不同的参数来描述选框,人们常用的是用XY坐标定位选框的左上角 .宽度和高度,还有一些ground truth(真实准确的选框),计算欧…

概念 神经网络的深度和数据据体的深度(图像的通道数channels)要主要区分. 输入 1.得到一些数据,作为网络的输入. 2.在CNN中有filter,the size of filter is small.如上的filter为5*5,深度为3,这个3要在深度上穿过 输入数据的每一个位置,输入数据是三个通道: 3.filter 要完全覆盖输入数据的全部深度,用filter来和输入图像做卷积运算. filter要在整个图像的空域范围内全部位置滑动,每一个位置filter和图像做点乘.这个filt…

FFDNet---matlab 调用并批处理 format compact; global sigmas; % input noise level or input noise level map addpath(fullfile('utilities')); folderModel = 'models'; folderResult= 'results'; save_folder = 'datasets_c'; showResult = 1; useGPU = 0; % CPU or GPU.…

CNN网络的迁移学习(transfer learning) 1.在ImageNet上进行网络的预训练 2.将最上方的层,即分类器移除,然后将整个神经网络看成是固定特征提取器来训练,将这个特征提取器置于你的数据集上方,然后替换原先作为分类器的层,根据数据集的大小来确定如何对卷积网络的最后一层进行训练,或者你可以对整个网络的一部分反向传播进行微调. 3.如果你有更大的数据集,你可以在整个网络进行更深的反向传播 拥有大量的预训练好的模型,所以没有大量的数据也不会有太多影响,你只需要找一个经过预训练的卷…

前言:牵扯到较多的数学问题 原始的评分函数: 两层神经网络,经过一个激活函数: 如图所示,中间隐藏层的个数的各数为超参数: 和SVM,一个单独的线性分类器需要处理不同朝向的汽车,但是它并不能处理不同颜色的汽车,它并不是一个好的分类器. 但是如果使用有一百个数值的中间层的神经网络,我们可以给这一百个数值赋值. 例如第一个数值处理朝向正前方的汽车:只用来识别朝向正前方的汽车,下一个数值用来处理朝向偏右的车等,得到的数值只有图片满足这些详细要求的时候才会正,其他情况下为0,接下来还可以处理不同颜色不同…

注意: 1.每次更新,都要进行一次完整的forward和backward,想要进行更新,需要梯度,所以你需要前馈样本,马上反向求导,得到梯度,然后根据求得的梯度进行权值微调,完成权值更新. 2.前馈得到损失,反馈得到梯度,对梯度的使用来完成权值更新. 3. 训练的过程,前馈,反馈,更新:...... 我们需要进行向量处理,网络中流动的数据并不是标量,全是向量,局部梯度原本是标量,现在它们是雅可比矩阵(雅可比矩阵类似于多元函数的导数,函数的一阶偏导数以一定方式排列成的矩阵), 雅可比矩阵是二维矩阵…

---恢复内容开始--- 昨日之补充web. 求解下图的梯度的流动,反向更新参数的过程,表示为 输入与损失梯度的关系,借助链式法则,当前输入与损失之间的梯度关系为局部梯度乘以后一层的梯度. ---恢复内容结束---…