Linear regression with regularization

当我们的λ很大时，hθ(x)≈θ0,是一条直线,会出现underfit；当我们的λ很小时(=0时)，即相当于没有做regularization,会出现overfit;只有当我们的λ取intermediate值时，才会刚刚好。那么我们怎么自动来选择这个λ的值呢？

正则化时的Jtrain(θ),Jcv(θ),Jtest(θ)的表达式

正则化时的Jtrain(θ),Jcv(θ),Jtest(θ)的表达式不带有regularization式子，cost function J(θ)有regularization式子

怎样选择regularization parameter λ(model selection for λ)

计算不同的 λ的值(从0至10.24(为了方便写成10)，下一个是上一个的二倍)的cost function,求出使cost function最小的parametersθ,然后再计算Jcv(θ),选择最小的Jcv(θ)的那个model,如上图中是θ(5)以及其对应的λ的值,然后再计算test error,看其预测准确率.

Jtrain(θ)(how well my hypothesis do on trainning set),Jcv(θ)(how well my hypothesis do on validation set)与λ的关系

当λ很小时，可以认为没有做正则化，则会出现overfitting(high variance)现象,即Jtrain(θ)很小但是Jcv(θ)很大；当λ很大时，会出现underfit(high bias)现象，即Jtrain(θ)与Jcv(θ)都很大;

上面的这个图有点理想化，实际数据画出来的图可能会有些噪声与曲折，但是大致曲线的走向是一致的，所以我们可以通过画这样一个图来看我们设置的λ的值是否适合，或者通过编制程序来自动选择最合适的那个λ的值

Bias vs. Variance(2)--regularization and bias/variance,如何选择合适的regularization parameter λ(model selection)的更多相关文章

  1. Bias(偏差)，Error(误差)，和Variance(方差)的区别和联系

    准: bias描述的是根据样本拟合出的模型的输出预测结果的期望与样本真实结果的差距,简单讲,就是在样本上拟合的好不好.要想在bias上表现好,low bias,就得复杂化模型,增加模型的参数,但这样容 ...

  2. Andrew Ng机器学习公开课笔记 -- Regularization and Model Selection

    网易公开课,第10,11课 notes,http://cs229.stanford.edu/notes/cs229-notes5.pdf   Model Selection 首先需要解决的问题是,模型 ...

  3. 机器学习 Regularization and model selection

    Regularization and model selection 假设我们为了一个学习问题尝试从几个模型中选择一个合适的模型.例如,我们可能用一个多项式回归模型hθ(x)=g(θ0+θ1x+θ2x ...

  4. 转：机器学习 规则化和模型选择（Regularization and model selection）

    规则化和模型选择(Regularization and model selection) 转:http://www.cnblogs.com/jerrylead/archive/2011/03/27/1 ...

  5. 机器学习中的Bias(偏差)，Error(误差)，和Variance(方差)有什么区别和联系？

    前几天搜狗的一道笔试题,大意是在随机森林上增加一棵树,variance和bias如何变化呢? 参考知乎上的讨论:https://www.zhihu.com/question/27068705 另外可参 ...

  6. 2.9 Model Selection and the Bias–Variance Tradeoff

    结论 模型复杂度↑Bias↓Variance↓ 例子 $y_i=f(x_i)+\epsilon_i,E(\epsilon_i)=0,Var(\epsilon_i)=\sigma^2$ 使用knn做预测 ...

  7. [转]理解 Bias 与 Variance 之间的权衡----------bias variance tradeoff

    有监督学习中,预测误差的来源主要有两部分,分别为 bias 与 variance,模型的性能取决于 bias 与 variance 的 tradeoff ,理解 bias 与 variance 有助于 ...

  8. 【思考】为什么说Bagging减少variance，Boosting减少bias？（转载）

    具体讨论可见于此知乎问题,有很多种理解方向,甚至这一个命题可能本来就不成立!

  9. 斯坦福大学公开课机器学习： advice for applying machine learning | regularization and bais/variance（机器学习中方差和偏差如何相互影响、以及和算法的正则化之间的相互关系）

    算法正则化可以有效地防止过拟合, 但正则化跟算法的偏差和方差又有什么关系呢?下面主要讨论一下方差和偏差两者之间是如何相互影响的.以及和算法的正则化之间的相互关系 假如我们要对高阶的多项式进行拟合,为了 ...

随机推荐

  1. abp_vue导入导出excel

    后端abp,前端vue导入excel,开始准备用直接用npoi,觉得要写太多的代码,就算从以前的复制粘贴也麻烦,所以偷懒直接用别人的轮子 Magicodes.IE.这样可以节省很多工作,根据实体生成e ...

  2. 【转】Fuel-openstack的搭建（二）

    原文链接:https://blog.csdn.net/qq_35180983/article/details/82181525 部署Openstack 3.1 登陆 登陆http://10.20.0. ...

  3. LeetCode 290. 单词规律(Word Pattern) 41

    290. 单词规律 290. Word Pattern 题目描述 给定一种规律 pattern 和一个字符串 str,判断 str 是否遵循相同的规律. 这里的 遵循 指完全匹配,例如,pattern ...

  4. LeetCode 566. 重塑矩阵(Reshape the Matrix)

    566. 重塑矩阵 566. Reshape the Matrix 题目描述 LeetCode LeetCode LeetCode566. Reshape the Matrix简单 Java 实现 c ...

  5. setInterval定时器停止后，再重新启动

    1.数据自动滚动显示(动态添加) <li> <div class="FULeTi"> <div class="SLeName"&g ...

  6. [转帖]Linux教程(20)- Linux中的Shell变量

    Linux教程(20)- Linux中的Shell变量 2018-08-24 11:30:16 钱婷婷 阅读数 37更多 分类专栏: Linux教程与操作 Linux教程与使用   版权声明:本文为博 ...

  7. [转帖]Linux中的find（-atime、-ctime、-mtime）指令分析

    Linux中的find(-atime.-ctime.-mtime)指令分析 https://www.cnblogs.com/zhangjinjin01/p/5505970.html https://w ...

  8. Java开发笔记（一百二十二）AWT选择框

    前面介绍了两种文本输入框的用法,不过实际应用很少需要用户亲自文字,而是在界面上列出几个选项,让用户勾勾点点完成选择,这样既方便也不容易弄错.依据选择的唯一性,可将选项控件分为两类:一类是在方框中打勾的 ...

  9. 宁夏网络赛-F-Moving On

    https://www.cnblogs.com/31415926535x/p/11440395.html 一道简单的Floyd题,,但是是动态加点求多次有限制的最短路,,感觉这个思想很好,,当然可以直 ...

  10. python学习-37 其他的文件处理方法

    f = open('test.txt','r+',encoding='utf-8') f.flush() # 刷新 f.readline() print(f.tell()) # 说明光标位置在哪里 ( ...