Linear Regression(线性回归)(三)—代价函数J(θ)选择的概率解释
(整理自AndrewNG的课件,转载请注明。整理者:华科小涛@http://www.cnblogs.com/hust-ghtao/)
在遇到线性回归问题时,我们总是令。可是我们为什么这样选择代价函数呢?我们提到过是为了使目标变量(指)的真实值和预测值的距离最小,想想也算合理。但是本篇博文将从概率的角度解释为什么这么选择代价函数,相信大家看完之后就会明白这个选择之后蕴含的更加深层次的原因。
首先,让我们假设:输入变量和目标变量满足等式,其中误差表示在建模过程中没有考虑到的,但是对预测结果有影响的因素或者是指随机的噪声。根据实际观测和中心极限定理知,这些因素都服从正态分布,进一步假设这些误差之间是独立同分布的,则它们的和也服从正态分布,且均值为0,方差为。上述结论可以写成:
,这表明
:
,其中符号表示以为参数,给定时的分布。如果给定(设计矩阵,包括所有的)和,则目标变量的分布可以写成:
,对于给定的,我们可以将它看成关于 的函数。从另一个角度,我们也可以把它看成是关于的函数,称为似然函数:
,由于已经假设之间独立同分布,这个公式可以写成:
,现在已经得出表示和之间关系的概率模型,现在回到最初的问题,如何学习参数?最大似然函数原理:我们应该选择使似然函数最大时对应的值,因为这么选择,训练集中的对应的样本发生的概率是最大的。就是说,事件发生了,我们就认为此事件发生的概率是最大的。
所以我们要求出使取得最大值时的:为方便计算,一般对似然函数取对数:
,显然,使最大化,等价于是最小化,这不就是我们最初选择的代价函数么?任务完成。
总结一下:通过对数据作出合理的概率假设,得出最小二乘回归可以使得似然函数取得最大值的结论。另外,在前面的回归方法中,我们没有考虑到方差的影响,此文章证明的选择确实与无关。在没有提出概率解释之前,我们用距离的概念解释了选择代价函数为最小二乘的合理性,本文又通过概率进行了解释,两方面互相呼应,使理解更加深刻。一点点小体会:要多读书,只有博采众长,才可以相互印证。
Linear Regression(线性回归)(三)—代价函数J(θ)选择的概率解释的更多相关文章
- Spark2 Linear Regression线性回归
回归正则化方法(Lasso,Ridge和ElasticNet)在高维和数据集变量之间多重共线性情况下运行良好. 数学上,ElasticNet被定义为L1和L2正则化项的凸组合: 通过适当设置α,Ela ...
- Linear Regression(线性回归)(一)—LMS algorithm
(整理自AndrewNG的课件,转载请注明.整理者:华科小涛@http://www.cnblogs.com/hust-ghtao/) 1.问题的引出 先从一个简单的例子说起吧,房地产公司有一些关于Po ...
- Linear Regression 线性回归
Motivation 问题描述 收集到某一地区的房子面积和房价的数据(x, y)42组,对于一套已知面积的房子预测其房价?   由房价数据可视化图可以看出,可以使用一条直线拟合房价.通过这种假设得 ...
- Linear Regression(线性回归)(二)—正规方程(normal equations)
(整理自AndrewNG的课件,转载请注明.整理者:华科小涛@http://www.cnblogs.com/hust-ghtao/) 在上篇博客中,我们提出了线性回归的概念,给出了一种使代价函数最小的 ...
- ML 线性回归Linear Regression
线性回归 Linear Regression MOOC机器学习课程学习笔记 1 单变量线性回归Linear Regression with One Variable 1.1 模型表达Model Rep ...
- 线性回归 Linear regression(3) 线性回归的概率解释
这篇博客从一种方式推导了Linear regression 线性回归的概率解释,内容来自Standford公开课machine learning中Andrew老师的讲解. 线性回归的概率解释 在Lin ...
- Machine Learning – 第2周(Linear Regression with Multiple Variables、Octave/Matlab Tutorial)
Machine Learning – Coursera Octave for Microsoft Windows GNU Octave官网 GNU Octave帮助文档 (有900页的pdf版本) O ...
- Andrew Ng机器学习 一: Linear Regression
一:单变量线性回归(Linear regression with one variable) 背景:在某城市开办饭馆,我们有这样的数据集ex1data1.txt,第一列代表某个城市的人口,第二列代表在 ...
- Andrew Ng机器学习 五:Regularized Linear Regression and Bias v.s. Variance
背景:实现一个线性回归模型,根据这个模型去预测一个水库的水位变化而流出的水量. 加载数据集ex5.data1后,数据集分为三部分: 1,训练集(training set)X与y: 2,交叉验证集(cr ...
随机推荐
- Eclipse开启与关闭代码自动提示功能
Eclipse代码里面的代码提示功能默认是关闭的,只有输入“.”的时候才会提示功能,用vs的用户可能不太习惯 这种,vs是输入任何字母都会提示,下面说一下如何修改eclipse配置,开启代码自 ...
- USACO Subset 整数划分01背包
又是去理解了一次01背包. 这道题目的意思就是给你一个N (N < 40)表示有一个集合{1,2,3,... n} 你要将它划分成相等的两个子集合,求有几种划分方式 如果N是奇数,那么显然不能由 ...
- Uniconnection 连 mysql 有时会断线的
你定义localfailover:=ture.断线后会自己接上 firedac没这种功能.只有unidac有
- WEB开发:如何用js来模拟服务器的ajax响应,不依赖服务器来编写前端代码
一.问题的提出 目前web前端开发,主流的思路是: 1)编写静态的html文件(不使用模板技术,与服务器无关) 2)页面通过ajax与服务器交互,进行数据的传输,数据格式为json格式 这里存在一个问 ...
- php 登陆动作详解
<?php class LoginAction extends Action { function index(){ $this->display(); } function do_log ...
- cocos2d-x游戏开发系列教程-超级玛丽01-前言
前言 上次用象棋演示了cocos2dx的基本用法,但是对cocos2dx并没有作深入的讨论,这次以超级马里奥的源代码为线索,我们一起来学习超级马里奥的实现,并以一些篇幅来详细讲述遇到的具体问题和具体的 ...
- 基于visual Studio2013解决算法导论之013基数排序
题目 基数排序 解决代码及点评 #include <stdio.h> #include <stdlib.h> #include <malloc.h> #in ...
- PHP设计模式——策略模式
概述 策略模式属于对象的行为模式.其用意是针对一组算法,将每个算法封装到具有共同接口的独立的类中,从而使得它们可以相互替换.策略模式使得算法可以在不影响到客户端的情况下发生变化 UML图 策略模式中主 ...
- android 发送短信 怎样做到一条一条的发送,仅仅有在上一条发送成功之后才发送下一条短信
android发送短信截获上一条发送是否成功,然后再来发送下一条短信 1.问题:在项目中遇到例如以下要求:待发短信有N条,实现一条一条的发送并在上一条短信发送成功之后再来发送下一条. for(int ...
- linux signal 处理
v/:* {behavior:url(#default#VML);} o/:* {behavior:url(#default#VML);} w/:* {behavior:url(#default#VM ...