正则化(Regularization) 概念 L0正则化的值是模型参数中非零参数的个数. L1正则化表示各个参数绝对值之和. L2正则化标识各个参数的平方的和的开方值. L0正则化 稀疏的参数可以防止过拟合,因此用L0范数(非零参数的个数)来做正则化项是可以防止过拟合的. 从直观上看,利用非零参数的个数,可以很好的来选择特征,实现特征稀疏的效果,具体操作时选择参数非零的特征即可.但因为L0正则化很难求解,是个NP难问题,就是难以优化,因此一般采用L1正则化.L1正则化是L0正则化的最优凸近似,比…

什么是计算摄像学 计算摄像学(Computational Photography)是近年来越来越受到注意的一个新的领域,在学术界早已火热.本来计算摄像学的业界应用在群众中一直没什么知名度,直到Lytro公司推出了外观十分酷炫的光场相机,打着“先拍照再对焦”的噱头,这个学科一下子被很多研究领域以外的人开始注意到.那什么是计算摄像学呢?让我们看看清华大学和中科院的教授们怎么说[1]: “计算摄影学是一门将计算机视觉.数字信号处理.图形学等深度交叉的新兴学科,旨在结合计算.数字传感器.光学系统和智能光…

目录 写在前面 全连接层与Softmax回顾 加权角度 模板匹配 几何角度 Softmax的作用 总结 参考 博客:blog.shinelee.me | 博客园 | CSDN 写在前面 这篇文章将从3个角度:加权.模版匹配与几何来理解最后一层全连接+Softmax.掌握了这3种视角,可以更好地理解深度学习中的正则项.参数可视化以及一些损失函数背后的设计思想. 全连接层与Softmax回顾 深度神经网络的最后一层往往是全连接层+Softmax(分类网络),如下图所示,图片来自StackExchan…

我们再看辅助定理: 这里,Gm是指输出与地短接时的跨导:Rout表示当输入电压为零时的输出电阻.这个是书上的原话,但是在推算公式时发现,这两个量的定义还不是完全完整,我 的理解是: 首先Gm是等效跨导,牢记其定义为: 也就是说,我们在计算等效跨导的时候,直观地,要看输出电流的变化引起的输入电压的变化. 而Rout应该为交流电阻,最初的定义为: 也就是说,在计算交流输出电阻时,应该明确输出电压变化和输出电流变化的关系. 另外,戴维南等效方法贯穿在增益计算过程中,因此理清了这些关系,增益的计算就只涉…

源自知乎的一个答案,网上很多关于PCA的文章,不过很多都只讲到了如何理解方差的投影,却很少有讲到为什么特征向量就是投影方向.本文从形象角度谈一谈,因为没有证明,所以不会严谨,但是应该能够帮助形象理解PCA背后的原理. 一.先从旋转和缩放角度,理解一下特征向量和特征值的几何意义 从定义来理解特征向量的话,就是经过一个矩阵变换后,空间沿着特征向量的方向上相当于只发生了缩放,比如我们考虑下面的矩阵: \[ \begin{bmatrix} 1.5 & 0.5\\ 0.5 & 1.0 \end{bm…

在之前的学习中,我们给出了一个数学上关于梯度下降的定义,本次视频我们更深入研究一下,更直观地感受一下这个算法是做什么的,以及梯度下降算法的更新过程有什么意义.梯度下降算法如下: 描述:对…

空间金字塔池化技术, 厉害之处,在于使得我们构建的网络,可以输入任意大小的图片,不需要经过裁剪缩放等操作. 是后续许多金字塔技术(psp,aspp等)的起源,主要的目的都是为了获取场景语境信息,获取上下文的联系. 如图所示,对于选择的不同大小的区域对应到卷积之后的特征图上,得到的也是大小不一致的特征图区域,厚度为256,对于每个区域(厚度为256),通过三种划分方式进行池化: (1)直接对整个区域池化,每层得到一个点,共256个点,构成一个1x256的向量 (2)将区域划分成2x2的格子,每个格…

1.简介 Parzen窗估计属于非参数估计.所谓非参数估计是指,已知样本所属的类别,但未知总体概率密度函数的形式,要求我们直接推断概率密度函数本身. 对于不了解的可以看一下https://zhuanlan.zhihu.com/p/88562356 下面仅对<模式分类>(第二版)的内容进行简单探讨和代码实现 2.窗函数 我们不去过多探讨什么是窗函数,只需简单理解这种估计的思想即可. 假设一种情况,你正在屋里看模式分类,结果天降正义掉下来一盆乒乓球,掉的哪里都是,你觉得这是天意,如果很多乒乓球都掉…

这是我的支持向量机模型的代价函数,在左边这里我画出了关于…

二元逻辑运算符(BINARY LOGICAL OPERATORS)当输入特征为布尔值(0 或1)时,我们可以用一个单一的激活层可以作为二元逻辑运算符,为了表示不同的运算符,我们只需要选择不同的权重即可.下图的神经元(三个权重分别为-30,20,20)可以被视为作用同于逻辑与(AND): 下图的神经元(三个权重分别为-10,20,20)可以被视为作用等同于逻辑或(OR): 下图的神经元(两个权重分别为 10,-20)可以被视为作用等同于逻辑非(NOT): 我们可以利用神经元来组合成更为复杂的神经网…