#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得;

#注:此笔记是我自己认为本节课里比较重要、难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点;

#标记为<补充>的是我自己加的内容而非课堂内容,参考文献列于文末。博主能力有限,若有错误,恳请指正;

#---------------------------------------------------------------------------------#

#下面这个概念对理解机器学习非常有帮助,但是我发现很多小伙伴不了解这个;

<补充>机器学习三要素-模型(model)、策略(strategy)、算法(algorithm);

模型就是所要学习条件概率分布或决策函数,我们常见的一些方法,像隐马模型(HMM)、SVM模型、决策树模型等等都归于此类;

策略是指按照什么样的准则来学习或者挑选模型,像课上讲的J(Θ)、损失函数属于此类;

这里的算法是指学习模型的具体计算方法,即用什么样的方法来求得最优解,像课上讲的梯度下降法,其他如牛顿法、拟牛顿法属于此类;

#---------------------------------------------------------------------------------#

#回到课堂上讲的。。。

当一个方法的预测结果明显有问题时,可采用如下方法:

1,Get more examples :helps to fix high variance,Not good if you have high bias;

2,Smaller set of features: fixes high variance (overfitting),not good if you have high bias;

3,Try adding additional features: fixes high bias (because hypothesis is too simple, make hypothesis more specific)

;

4,Add polynomial terms: fixes high bias problem;

5,Decreasing λ : fixes high bias;

6,Increases λ: fixes high variance;

#---------------------------------------------------------------------------------#

模型评估与模型选择

<补充>用训练集来训练模型,验证集用于模型的选择,测试集用于最终对学习方法的评估;

<补充>用训练误差和测试误差来评估学习方法:

训练误差对判断给定的问题是否容易学习是有意义的,但本质上不重要;

测试误差反映了学习方法对未知数据的预测能力,比较两种学习方法的好坏,不考虑计算速度、空间等因素,测试误差小的方法显然更好;

#---------------------------------------------------------------------------------#

诊断: bias vs. variance

  • x = degree of polynomial d;
  • y = error for both training and cross validation (two lines);

if d is too small --> this probably corresponds to a high bias problem

if d is too large --> this probably corresponds to a high variance problem

For the high bias case, we find both cross validation and training error are high

Doesn't fit training data well

Doesn't generalize either

For high variance, we find the cross validation error is high but training error is low

So we suffer from overfitting (training is low, cross validation is high)

i.e. training set fits well

But generalizes poorly

#---------------------------------------------------------------------------------#

学习曲线(learning curve)

学习曲线可以通过判断模型High bias还是High variance来提高性能;

suffering from high bias:需要增加模型复杂度,增加数据无效!

suffering from high variance:增加数据有效!也可尝试增加正则项;

#---------------------------------------------------------------------------------#

学习器的几个评价指标:

精确率(precision)

  • = true positives / # predicted positive
  • = true positives / (true positive + false positive);

召回率(recall)

  • = true positives / # actual positives
  • = true positive / (true positive + false negative);

F1

  • = 2 * (PR/ [P + R]),If P = 0 or R = 0 the Fscore = 0;

精确率与召回率都高,F1值也会高;

准确率(accuracy)

  • = (true positives + true negative)/ # total dataset
  • = (true positives + true negative)/ (true positive + true negative + false positive + false negative);

#---------------------------------------------------------------------------------#

平衡(trade off)精确率和召回率:很多时候我们需要平衡精确率和召回率;

例子:

  • Trained a logistic regression classifier
    • Predict 1 if hθ(x) >= 0.5
    • Predict 0 if hθ(x) < 0.5

调整阈值对精确率和召回率的影响见下图:

#---------------------------------------------------------------------------------#

参考文献:

《统计学习方法》,李航著;

《machine learning》, by Tom Mitchell;

couresra课程: standford machine learning, by Andrew Ng;

coursera机器学习笔记-建议,系统设计的更多相关文章

  1. Coursera 机器学习笔记(四)

    主要为第六周内容机器学习应用建议以及系统设计. 下一步做什么 当训练好一个模型,预测未知数据,发现结果不如人意,该如何提高呢? 1.获得更多的训练实例 2.尝试减少特征的数量 3.尝试获得更多的特征 ...

  2. coursera机器学习笔记-多元线性回归,normal equation

    #对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补 ...

  3. coursera机器学习笔记-机器学习概论,梯度下降法

    #对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补 ...

  4. coursera机器学习笔记-神经网络,学习篇

    #对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补 ...

  5. coursera机器学习笔记-神经网络,初识篇

    #对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补 ...

  6. Coursera 机器学习笔记(六)

    主要为第八周内容:聚类(Clustering).降维 聚类是非监督学习中的重要的一类算法.相比之前监督学习中的有标签数据,非监督学习中的是无标签数据.非监督学习的任务是对这些无标签数据根据特征找到内在 ...

  7. Coursera 机器学习笔记(八)

    主要为第十周内容:大规模机器学习.案例.总结 (一)随机梯度下降法 如果有一个大规模的训练集,普通的批量梯度下降法需要计算整个训练集的误差的平方和,如果学习方法需要迭代20次,这已经是非常大的计算代价 ...

  8. Coursera 机器学习笔记(七)

    主要为第九周内容:异常检测.推荐系统 (一)异常检测(DENSITY ESTIMATION) 核密度估计(kernel density estimation)是在概率论中用来估计未知的密度函数,属于非 ...

  9. Coursera 机器学习笔记(三)

    主要为第四周.第五周课程内容:神经网络 神经网络模型引入 之前学习的线性回归还是逻辑回归都有个相同缺点就是:特征太多会导致计算量太大.如100个变量,来构建一个非线性模型.即使只采用两两特征组合,都会 ...

随机推荐

  1. Mysql存储过程(四)——异常处理

    http://blog.csdn.net/crazylaa/article/details/5368421 有时候,不希望存储过程抛出错误中止执行,而是希望返回一个错误码. MySQL 支持异常处理, ...

  2. android版高仿淘宝客户端源码V2.3

    android版高仿淘宝客户端源码V2.3,这个版本我已经更新到2.3了,源码也上传到源码天堂那里了,大家可以看一下吧,该应用实现了我们常用的购物功能了,也就是在手机上进行网购的流程的,如查看产品(浏 ...

  3. objective-c UITableview 自定义滑操(原创)

    滑动删除在当前的ios版本中已经支持了,但是遇到复杂的比如,滑动后的功能有多个,并不是删除功能,那么你就得自己写,我说得没错吧.......... 其实关于滑删嘛,在以前的项目中也遇到过,当时ios还 ...

  4. python打印进度条

    import sys,time第一种方法: for i in range(50): sys.stdout.write("#") time.sleep(0.1) sys.stdout ...

  5. 18 个命令&工具帮你定位 Linux 性能问题

    1.TopTop命令是一个性能监控程序,它按一定的顺序显示所有正在运行而且处于活动状态的实时进程,而且会定期更新显示结果.这条命令显示了CPU的使用率.内存使用率.交换内存使用大小.高速缓存使用大小. ...

  6. IO复用_select函数

    select函数: #include <sys/select.h> #include <time.h> #include <sys/types.h> #includ ...

  7. css用背景图来替换文字来达到隐藏文字的目的

    根据html代码的不同来分成两大类方法,如下 html代码: <h1 class="replace-indent">hello see</h1> 第一种方法 ...

  8. jQuery Layer 弹层组件

    layer是一款近年来口碑非常不错的web弹层组件,她具备全方位的解决方案,致力于服务各个水平段的开发人员,您的页面会轻松地拥有丰富友好的操作体验. 在与同类组件的比较中,layer总是能轻易获胜.她 ...

  9. [应用][js+css3]3D盒子导航[PC端]

    CSS3构建的3D盒子之导航应用 1.在用css3构建的盒子表面,放上iframe,来加载导航页面. 2.鼠标左键按下移动可旋转盒子,寻找想要的网址. 3.左键单机盒子表面,将全屏现实所点盒子表面的网 ...

  10. 从零开始,做一个NodeJS博客(四):服务器渲染页面与Pjax

    标签: NodeJS 0 一个星期没更新了 = = 一直在忙着重构代码,以及解决重构后出现的各种bug 现在CSS也有一点了,是时候把遇到的各种坑盘点一下了 1 听歌排行 API 修复与重构 1.1 ...