(整理自AndrewNG的课件,转载请注明.整理者:华科小涛@http://www.cnblogs.com/hust-ghtao/) 在遇到线性回归问题时,我们总是令.可是我们为什么这样选择代价函数呢?我们提到过是为了使目标变量(指)的真实值和预测值的距离最小,想想也算合理.但是本篇博文将从概率的角度解释为什么这么选择代价函数,相信大家看完之后就会明白这个选择之后蕴含的更加深层次的原因. 首先,让我们假设:输入变量和目标变量满足等式,其中误差表示在建模过程中没有考虑到的,但是对预测结果有影响的因…

回归正则化方法(Lasso,Ridge和ElasticNet)在高维和数据集变量之间多重共线性情况下运行良好. 数学上,ElasticNet被定义为L1和L2正则化项的凸组合: 通过适当设置α,ElasticNet包含L1和L2正则化作为特殊情况.例如,如果用参数α设置为1来训练线性回归模型,则其等价于Lasso模型.另一方面,如果α被设置为0,则训练的模型简化为ridge回归模型. RegParam:lambda>=0ElasticNetParam:alpha in [0, 1] 导入包 im…

(整理自AndrewNG的课件,转载请注明.整理者:华科小涛@http://www.cnblogs.com/hust-ghtao/) 1.问题的引出 先从一个简单的例子说起吧,房地产公司有一些关于Portland,Oregon的房子信息,下表是房子的面积和价格的对照表: Living area(feet^2) Price(1000﹩s) 2104 400 1600 330 2400 369 1416 232 3000 540 …… …… 将点画在二维坐标下表示: 那么问题就来了,面积为2000的…

Motivation 问题描述 收集到某一地区的房子面积和房价的数据(x, y)42组,对于一套已知面积的房子预测其房价?   由房价数据可视化图可以看出,可以使用一条直线拟合房价.通过这种假设得到的预测值和真实值比较接近. Model 模型 将现实的问题通过数学模型描述出来. m 个 样本(example)组成训练集(training set),每一个样本有n个特征(feature)和一个标签(label).目的是,通过一个数学模型(algorithm)和参数(parameters)将每一…

(整理自AndrewNG的课件,转载请注明.整理者:华科小涛@http://www.cnblogs.com/hust-ghtao/) 在上篇博客中,我们提出了线性回归的概念,给出了一种使代价函数最小的方法:梯度下降法.在本篇博客中,我们给出另一种方法:正规方程. 是关于的函数,要求此函数的最小值,有人说可以求导啊,另,求出相应的即可,本文提出的就是此方法.但是由于是一个矩阵(向量是特殊的矩阵),我们需要关于矩阵求导方面的知识. 1 矩阵求导 假设函数将阶矩阵映射到实数空间,我们定义对于阶矩阵求导…

线性回归 Linear Regression MOOC机器学习课程学习笔记 1 单变量线性回归Linear Regression with One Variable 1.1 模型表达Model Representation 一个实际问题,我们可以对其进行数据建模.在机器学习中模型函数一般称为hypothsis.这里假设h为: 我们从简单的单变量线性回归模型开始学习. 1.2 代价函数Cost Function 代价函数也有很多种,下面的是平方误差Squared error function: 其…

这篇博客从一种方式推导了Linear regression 线性回归的概率解释,内容来自Standford公开课machine learning中Andrew老师的讲解. 线性回归的概率解释 在Linear regression中我们人为的定义了,损失函数,然而我们并没有说明为什么我们会选择最小二乘作为我们的损失函数. 下面是一种概率解释:让我们回到一开始的式子来看一看,一开始我们定义线性回归方程,其中是我们的误差项,那么对于我们假设它是独立同分布(IID)的高斯分布,即(假设它为高斯分布,我们…

Machine Learning – Coursera Octave for Microsoft Windows GNU Octave官网 GNU Octave帮助文档 (有900页的pdf版本) Octave 4.0.0 安装 win7(文库) Octave学习笔记(文库) octave入门(文库) WIN7 64位系统安装JDK并配置环境变量(总是显示没有安装Java) MathWorks This week we're covering linear regression with mul…

一:单变量线性回归(Linear regression with one variable) 背景:在某城市开办饭馆,我们有这样的数据集ex1data1.txt,第一列代表某个城市的人口,第二列代表在该城市开办饭馆的利润. 我们将数据集显示在可视图,可以看出跟某个线性方程有关,而此数据只有单个变量(某城市人口),故接下来我们就使用单变量线性回归拟合出一条近似满足于上数据的直线. 1,单变量的脚本ex1.m: %% Machine Learning Online Class - Exercise…

背景:实现一个线性回归模型,根据这个模型去预测一个水库的水位变化而流出的水量. 加载数据集ex5.data1后,数据集分为三部分: 1,训练集(training set)X与y: 2,交叉验证集(cross validation)Xval, yval: 3,测试集(test set): Xtest, ytest. 一:正则化线性回归(Regularized Linear Regression) 1,可视化训练集,如下图所示: 通过可视化数据,接下来我们使用线性回归去拟合这些数据集. 2,正则化线…