过拟合(Overfitting)和正规化(Regularization)
- 过拟合:
Overfitting就是指Ein(在训练集上的错误率)变小,Eout(在整个数据集上的错误率)变大的过程
Underfitting是指Ein和Eout都变大的过程
从上边这个图中,虚线的左侧是underfitting,右侧是overfitting,发生overfitting的主要原因是:使用过于复杂的模型,数据噪音,有限的训练集
- 机器学习过程中的三个锦囊妙计
Occam's Razor:指的是对训练数据最简单的解释就是最好的,训练的模型可能越简单越好。
Sampling Bias:抽样是有偏差的,解决方案是:训练集合测试集来自于同一个部分。
Data Snooping:在实际操作时,如果做什么决定的时候尽量要避免用数据来做决定,要先把domain knoeledge变成feature放进去,而不是看完数据再放专业知识进去
- 正则化-Regularization
正则化公示的推到过程:
发生overfitting的一个重要原因是假设过于复杂,而我们需要的是一个稍微简单的模型来学习,避免overfitting,例如,原来假设空间是10次曲线,很容易对数据过拟合,我们希望的是他变的简单一点 比如w向量只保持三个分量,如下图
根据先前的知识,可知,H2包含于H10,可得如下公式:
即H2 是H10的一部分,并且是将w3... w10都设置为0,此时我们得到的是一个多项式,在这个多项式中,只有3个系数,此时达到了简化的目的,避免了过拟合的发生。下图是一个转化简图,这个时候只需要找到最优的H2即可。
通过上边的转化,我们已经达到了简化的目的,但是,上边只保留的了w0+w1*x+w2*x2这样的形式,接着对H2进行扩展使得,任意三项不为零即可。即约束条件变宽,
通过上述问题,最终的问题转化为求最优的H2'即可。但是这个问题是一个NP-hard问题,因此需要做进一步的转化,转化的条件是,使得||Wq||2小于一个常数C即可。即
此时需要找到一个正规化的假设的权重WREG:optimal solution from regularized hypothesis set H(c)
这个时候待解决的问题就转化为了求Ein的最小值,约束条件为每一个权重值都小于C
然后继续,转化为在下式的约束条件下,的最小值。
此时采用的是梯度下降法,如下图中,约束WTW<=C是一个圆形,即所取的w的取值都应该在圆内部以及圆的边上,而Wlin是要求的值,因此选择梯度法向量的反方向,即当梯度的反方向和w的方向平行时的W为所求的WREG
即到最后的约束变为:
接下来,对于所有的lamad>0,对Ein取微分,通过计算,即可得到WREG
还有另外一种方法,即对含有梯度的等式求积分,只要求积分的最小值即可,这个时候就是前文提到的正则化的公式。
过拟合(Overfitting)和正规化(Regularization)的更多相关文章
- 莫烦theano学习自修第九天【过拟合问题与正规化】
如下图所示(回归的过拟合问题):如果机器学习得到的回归为下图中的直线则是比较好的结果,但是如果进一步控制减少误差,导致机器学习到了下图中的曲线,则100%正确的学习了训练数据,看似较好,但是如果换成另 ...
- tensorflow学习4-过拟合-over-fitting
过拟合: 真实的应用中,并不是让模型尽量模拟训练数据的行为,而是希望训练数据对未知做出判断. 模型过于复杂后,模型会积极每一个噪声的部分,而不是学习数据中的通用 趋势.当一个模型的参数比训练数据还要多 ...
- 机器学习(四)正则化与过拟合问题 Regularization / The Problem of Overfitting
文章内容均来自斯坦福大学的Andrew Ng教授讲解的Machine Learning课程,本文是针对该课程的个人学习笔记,如有疏漏,请以原课程所讲述内容为准.感谢博主Rachel Zhang 的个人 ...
- 机器学习中模型泛化能力和过拟合现象(overfitting)的矛盾、以及其主要缓解方法正则化技术原理初探
1. 偏差与方差 - 机器学习算法泛化性能分析 在一个项目中,我们通过设计和训练得到了一个model,该model的泛化可能很好,也可能不尽如人意,其背后的决定因素是什么呢?或者说我们可以从哪些方面去 ...
- 吴恩达机器学习笔记19-过拟合的问题(The Problem of Overfitting)
到现在为止,我们已经学习了几种不同的学习算法,包括线性回归和逻辑回归,它们能够有效地解决许多问题,但是当将它们应用到某些特定的机器学习应用时,会遇到过拟合(over-fitting)的问题,可能会导致 ...
- Overfitting & Regularization
Overfitting & Regularization The Problem of overfitting A common issue in machine learning or ma ...
- Machine Learning - 第3周(Logistic Regression、Regularization)
Logistic regression is a method for classifying data into discrete outcomes. For example, we might u ...
- Overfitting&Underfitting Problems
这次根据结合Google的翻译果然速度快上许多,暂时休息,晚上在传一个exm2的随笔. 关于过度拟合下的问题 考虑从x∈R预测y的问题,下面的最左边的图显示了将\(y=\theta_0+\theta_ ...
- 斯坦福机器学习视频笔记 Week3 逻辑回归与正则化 Logistic Regression and Regularization
我们将讨论逻辑回归. 逻辑回归是一种将数据分类为离散结果的方法. 例如,我们可以使用逻辑回归将电子邮件分类为垃圾邮件或非垃圾邮件. 在本模块中,我们介绍分类的概念,逻辑回归的损失函数(cost fun ...
随机推荐
- javascript常见错误
初学Javascript,每天总是被很小的问题折磨半天,今晚就有好几个小问题. 第一:全部使用双引号造成匹配错误 <input type="checkbox" onmouse ...
- FormsAuthentication与Session超时时间不一的解决方法
因为FormsAuthentication 和 Session 的cookies不一样,造成了FormsAuthentication 还能进入,而 session已经超时的问题. 最好的办法就是当让F ...
- eclipse bookmark的使用
为什么要使用bookmark 写代码一般不是从上往下写,经常在几个模块之间变换的写,你可能使用搜索功能ctrl+f,ctrl+c,这样查找位置将会变的非常痛苦. 因为重要的位置一般就那么几个,如定义部 ...
- JS一定要放在Body的最底部么?
一.从一个面试题说起 面试前端的时候我喜欢问一些看上去是常识的问题.比如:为什么大家普遍把 <script src=""></script> 这样的代码放在 ...
- ORA-01502错误成因和解决方法
这个错误是由于索引失效造成的,重建索引后,问题就解决了. 我们看到,当使用类似 alter table xxxxxx move tablespace xxxxxxx 命令后,索引就会失效. 当然,作为 ...
- LC.exe exited with code -1 报错
vs项目运行是报LC.exe exited with code -1错误.现在什么鬼都能在度娘里面找到了. 删掉重新编译OK啦!
- Swiper之初识
何为Swiper?Swiper是一款免费以及轻量级的移动设备触控滑块的框架,使用硬件加速过渡(如果该设备支持的话).主要使用与移动端的网站.网页应用程序(web apps),以及原生的应用程序(nat ...
- Javascript 日期时间超强正则表达式
var reg = /^([0-9]{4})-((?:0[1-9]|[1-9]|1[1-2]))-((?:(?:0[1-9]|[1-9])|1[0-9]|2[0-9]|3[0-1]))$|^([0-9 ...
- C语言知识总结(5)
预处理指令 C语言提供的预处理指令主要有:宏定义.文件包含.条件编译 宏定义 不带参数的宏定义 1>一般形式 #define 宏名 字符串 比如#define A 10 2>作用 它的作用 ...
- 网站的配置文件XML读写
网站的配置信息一般都写入到XML中,以下是简单的对xml的读写操作,仅供参考. 读操作: XmlDocument xmlDoc = new XmlDocument(); XmlReaderSettin ...