评估性能

  评估损失

  1、Training Error

  首先要通过数据来训练模型,选取数据中的一部分作为训练数据.

  

  损失函数可以使用绝对值误差或者平方误差等方法来计算,这里使用平方误差的方法,即: (y-f(x))2

  使用此方法计算误差,然后计算所有数据点,并求平均数。

  

  Training Error 越小,模型越好?答案是否定的,下面看看Training Error 和模型复杂度的关系。

  

  

  

  

  

  从上的的图可以看出,要想使training error越小,模型就会变得越复杂,然后出现了过拟合的现象

  很有可能训练数据中有个别异常数据点,如果过度拟合所有的数据点,就会导致模型过拟合,并不能很好的对房价进行预测;

  training error 小,并不能说明是个很好的预测。

  

  

  2、Generalization (true) error 真实误差

  首先说明的一点是这个值是不能计算出来的;

  计算真实误差,首先需要知道真实值,训练数据中的数据不一定就代表真实值,不过可以通过训练数据中的平均值来估算出来。

  比如,计算房子A的房价,找出所有与A类似的房子求出房价,计算平均值。来估算房价。

  

  下面来看看真实误差和模型复杂度的关系:

  图像中的真实值,参考图像中颜色变浅的中间位置

  

  

  

  

  

  

  通过上图可以看出,模型简单和模型过度复杂,都不能很好的对数据进行预测

  

  3、Test Error

  Test Error 和 True Error 接近,Test Error的测试数据来自测试数据集。

  

  

  对测试数据集进行计算误差,计算方法和Training Error类似。

  

  

  Training, true, & test error 和 模型复杂度的比较:

  test error 在 true error的周边波动,接近true error的值。

  

  从上图中可以看出,总结出过拟合的判断:

  模型中存在估计参数w'

    1. training error(w) < training error(w')

    2. true error(w) > true error (w')

   说明w过拟合

  误差的3个来源

   Noise, Bias, Variance

  1、Noise 噪声

    固有的,不可约减的

  

 

  2、Bias 偏差

  

  

  

  模型越简单,偏差越大

  

  模型越复杂,偏差越小

  3、Variance 方差

  

  

  模型简单,方差小

  

  模型复杂,方差大

  

  偏差和方差权衡,偏差和方差不能计算

  

  

  training error和测试数据量的关系,固定的模型复杂度,少量数据拟合更好,误差会更小;随着数据量的增大,误差也随之增大,会达到一个临界点与true error 相等。

  true error 和测试数据量的关系,固定的模型复杂度,少量的数据的true error会更大;随着数据量的增大,误差也随之减小,会到达一个临界点与training error 相等。

  

  

Coursera Machine Learning : Regression 评估性能的更多相关文章

  1. Coursera Machine Learning : Regression 多元回归

    多元回归 回顾一下简单线性回归:一个特征,两个相关系数 实际的应用要比这种情况复杂的多,比如 1.房价和房屋面积并不只是简单的线性关系. 2.影响房价的因素有很多,不仅仅是房屋面积,还包括很多其他因素 ...

  2. Coursera Machine Learning : Regression 简单回归

    简单回归 这里以房价预测作为例子来说明:这里有一批关于房屋销售记录的历史数据,知道房价和房子的大小.接下来就根据房子的大小来预测下房价. 简单线性回归,如下图所示,找到一条线,大体描述了历史数据的走势 ...

  3. Coursera Machine Learning: Regression 证书

  4. Coursera machine learning 第二周 quiz 答案 Linear Regression with Multiple Variables

    https://www.coursera.org/learn/machine-learning/exam/7pytE/linear-regression-with-multiple-variables ...

  5. 【Coursera - machine learning】 Linear regression with one variable-quiz

    Question 1 Consider the problem of predicting how well a student does in her second year of college/ ...

  6. Coursera machine learning 第二周 编程作业 Linear Regression

    必做: [*] warmUpExercise.m - Simple example function in Octave/MATLAB[*] plotData.m - Function to disp ...

  7. Coursera, Machine Learning, notes

      Basic theory (i) Supervised learning (parametric/non-parametric algorithms, support vector machine ...

  8. 神经网络作业: NN LEARNING Coursera Machine Learning(Andrew Ng) WEEK 5

    在WEEK 5中,作业要求完成通过神经网络(NN)实现多分类的逻辑回归(MULTI-CLASS LOGISTIC REGRESSION)的监督学习(SUOERVISED LEARNING)来识别阿拉伯 ...

  9. Coursera, Machine Learning, Anomoly Detection & Recommender system

      Algorithm:     When to select Anonaly detection or Supervised learning? 总的来说guideline是如果positive e ...

随机推荐

  1. IOS :编译时出现的错误 ,希望可以有所帮助

    1."std::ios_base::Init::~Init()", referenced from 答1: 如果出现这样的编译问题,是需要再加进libstdc++.dylib和li ...

  2. JavaScript笔记:变量及其作用域

    一.变量的定义及声明 在javascript中变量仅仅是用来保存值的一个占位符而已,定义变量时要使用关键字var后跟一个变量名,如下所示: var message; //定义一个变量message,像 ...

  3. MyBatis学习总结(七)——Mybatis缓存(转载)

      孤傲苍狼 只为成功找方法,不为失败找借口! MyBatis学习总结(七)--Mybatis缓存 一.MyBatis缓存介绍 正如大多数持久层框架一样,MyBatis 同样提供了一级缓存和二级缓存的 ...

  4. 使用 jquery 获取当前时间的方法

    我们在写一些效果时,经常要用到 jquery 获取当前时间,但是jquery 目前并没有提供直接获取当前时间的 api 或者函数,所以我们还是得用原生的 javascript 时间对象 Date 来获 ...

  5. python基础之迭代与解析

    先简单看一下文件迭代器 >>> f=open('file1') >>> f.readline() "'aaa','bbb','ccc'\n" & ...

  6. buildroot使用详解

    为什么要使用buildroot? (文件系统搭建,强烈建议直接用buildroot,官网[http://buildroot.uclibc.org/]上有使用教程非常详细)文件系统通常要包含很多第三方软 ...

  7. java上传xls文件

    using System; using System.Collections.Generic; using System.Web; using System.Web.UI; using System. ...

  8. 40、dom以xml结尾的文件

    1.student.xml文件 <?xml version="1.0" encoding="utf-8" ?> <!-- 1.书写根元素(因为 ...

  9. ADOConnectoin事务和存储过程中的Begin tran commit

    一直以来我都是在存储过程中使用事务 create proc usp_proc begin begin  tran ..... commit end 那么我现在问一个问题,如果在BCB的代码中写这样的代 ...

  10. Struts2和Spring的整合

    1.Struts和Spring之间的整合,还是配置问题. 2.最重要的是spring是个容器,原来所有的框架的使用是要注入到spring中的啊.... 怪不得,说它是个容器那,原来还真是个容器啊! 3 ...