(整理自AndrewNG的课件,转载请注明。整理者:华科小涛@http://www.cnblogs.com/hust-ghtao/

在遇到线性回归问题时,我们总是令。可是我们为什么这样选择代价函数呢?我们提到过是为了使目标变量(指)的真实值和预测值的距离最小,想想也算合理。但是本篇博文将从概率的角度解释为什么这么选择代价函数,相信大家看完之后就会明白这个选择之后蕴含的更加深层次的原因。

首先,让我们假设:输入变量和目标变量满足等式,其中误差表示在建模过程中没有考虑到的,但是对预测结果有影响的因素或者是指随机的噪声。根据实际观测和中心极限定理知,这些因素都服从正态分布,进一步假设这些误差之间是独立同分布的,则它们的和也服从正态分布,且均值为0,方差为。上述结论可以写成:

,这表明

,其中符号表示以为参数,给定的分布。如果给定(设计矩阵,包括所有的)和,则目标变量的分布可以写成:

,对于给定的,我们可以将它看成关于 的函数。从另一个角度,我们也可以把它看成是关于的函数,称为似然函数:

,由于已经假设之间独立同分布,这个公式可以写成:

,现在已经得出表示之间关系的概率模型,现在回到最初的问题,如何学习参数?最大似然函数原理:我们应该选择使似然函数最大时对应的值,因为这么选择,训练集中的对应的样本发生的概率是最大的。就是说,事件发生了,我们就认为此事件发生的概率是最大的。

所以我们要求出使取得最大值时的:为方便计算,一般对似然函数取对数:

,显然,使最大化,等价于是最小化,这不就是我们最初选择的代价函数么?任务完成。

总结一下:通过对数据作出合理的概率假设,得出最小二乘回归可以使得似然函数取得最大值的结论。另外,在前面的回归方法中,我们没有考虑到方差的影响,此文章证明的选择确实与无关。在没有提出概率解释之前,我们用距离的概念解释了选择代价函数为最小二乘的合理性,本文又通过概率进行了解释,两方面互相呼应,使理解更加深刻。一点点小体会:要多读书,只有博采众长,才可以相互印证。

Linear Regression(线性回归)(三)—代价函数J(θ)选择的概率解释的更多相关文章

  1. Spark2 Linear Regression线性回归

    回归正则化方法(Lasso,Ridge和ElasticNet)在高维和数据集变量之间多重共线性情况下运行良好. 数学上,ElasticNet被定义为L1和L2正则化项的凸组合: 通过适当设置α,Ela ...

  2. Linear Regression(线性回归)(一)—LMS algorithm

    (整理自AndrewNG的课件,转载请注明.整理者:华科小涛@http://www.cnblogs.com/hust-ghtao/) 1.问题的引出 先从一个简单的例子说起吧,房地产公司有一些关于Po ...

  3. Linear Regression 线性回归

    Motivation 问题描述 收集到某一地区的房子面积和房价的数据(x, y)42组,对于一套已知面积的房子预测其房价?   由房价数据可视化图可以看出,可以使用一条直线拟合房价.通过这种假设得 ...

  4. Linear Regression(线性回归)(二)—正规方程(normal equations)

    (整理自AndrewNG的课件,转载请注明.整理者:华科小涛@http://www.cnblogs.com/hust-ghtao/) 在上篇博客中,我们提出了线性回归的概念,给出了一种使代价函数最小的 ...

  5. ML 线性回归Linear Regression

    线性回归 Linear Regression MOOC机器学习课程学习笔记 1 单变量线性回归Linear Regression with One Variable 1.1 模型表达Model Rep ...

  6. 线性回归 Linear regression(3) 线性回归的概率解释

    这篇博客从一种方式推导了Linear regression 线性回归的概率解释,内容来自Standford公开课machine learning中Andrew老师的讲解. 线性回归的概率解释 在Lin ...

  7. Machine Learning – 第2周(Linear Regression with Multiple Variables、Octave/Matlab Tutorial)

    Machine Learning – Coursera Octave for Microsoft Windows GNU Octave官网 GNU Octave帮助文档 (有900页的pdf版本) O ...

  8. Andrew Ng机器学习 一: Linear Regression

    一:单变量线性回归(Linear regression with one variable) 背景:在某城市开办饭馆,我们有这样的数据集ex1data1.txt,第一列代表某个城市的人口,第二列代表在 ...

  9. Andrew Ng机器学习 五:Regularized Linear Regression and Bias v.s. Variance

    背景:实现一个线性回归模型,根据这个模型去预测一个水库的水位变化而流出的水量. 加载数据集ex5.data1后,数据集分为三部分: 1,训练集(training set)X与y: 2,交叉验证集(cr ...

随机推荐

  1. Linux 开放服务端口

    CentOS 6.5上安装Tomcat 服务器,需要开放服务端口,供其他计算机访问部署在Tomcat中的Web应用.下面是开放端口的方法. 我知道的方法有两种.下面以开放8080端口为例. 方法一:命 ...

  2. PHPExcel用法

    <?php //下面是总结的几个使用方法 include 'PHPExcel.php'; include 'PHPExcel/Writer/Excel2007.php'; //或者include ...

  3. WPF: 针对Windows 8优化菜单栏和工具栏

    原文 WPF: 针对Windows 8优化菜单栏和工具栏 目录 1. 关于菜单图标大小 2. 关于IsEnabled和工具栏图标 3. 针对.NET 3.x的菜单栏和工具栏外观 返回目录 1. 关于菜 ...

  4. 3DShader之投影贴图(Projective Texturing)

    相信大家都应该玩过CS或者CF吧,游戏里面有个喷图功能,就是按一个T键就能在墙上或者地板上喷出自己预先设定的图案. 而刚好这就是我们这个Shader所需实现的内容.由于没有潜伏者的贴图,我只有从这个图 ...

  5. PHP - Cookie 应用

    效果: 代码: <?php //设置编码 header("content-type:text/html; charset=utf-8"); //接收提交的数据 //判断是否接 ...

  6. abstract 关键字-- 抽象

    代码: using System; namespace Console_Test { class Program { public abstract class MyClas { /// <su ...

  7. Storyboard中使用UIscrollView添加约束的开发总结

    第一次在项目中用storyboard做界面,一般的界面直接添加约束非常爽快 然后有个界面有scrollview,添加了约束还总是出错 刚开始使用了 wCompact,hRegular,滑动出现问题,有 ...

  8. Qt核心剖析: moc

    前面我们说过,Qt 不是使用的“标准的” C++ 语言,而是对其进行了一定程度的“扩展”.这里我们从Qt新增加的关键字就可以看出来:signals.slots 或者 emit.所以有人会觉得 Qt 的 ...

  9. haroxy hdr

    ACL derivatives :ACL的衍生物 hdr([<name>[,<occ>]]) : exact string match 字符串精确匹配 hdr_beg([< ...

  10. android电话接通状态下,关机铃声无法从外放输出

    AudioMTKPolicyManager.cpp的startOutput方法中.将在newDevic获取到的后面加入: if(stream==AudioSystem::BOOT)newDevice| ...