Noise 在x和y都可能有noise 对于没有noise的情况，x~P(x), f(x)=h(x)，但是如果现在有noise，x~P(x), y~P(y|x)（y是真正的label，只是一定概率上会变，因为有noise，这个概率是P(y|x)） 联合起来，就有(x,y)~P(x,y) i.i.d. P(y|x)： target distribution 如果P(＋1|x)＝0.7，P(－1|x)＝0.3，那么有 理想的mini-target f(x)=+1，noise level＝0.3 对于…

错误衡量(Error Measure) 有两种错误计算方法: 第一种叫0/1错误,只要[预测≠目标]则认为犯错,通常用于分类:通常选择,错误比较大的值作为y˜的值 第二种叫平方错误,它衡量[预测与目标之间的距离],通常用于回归.通常选择,错误均值作为y˜的值 举例说明: 还有一种错误叫做,均值错误err(y˜,y)=|y˜-y|,这是通常选择接近50%的值作为y˜的值 错误加权,以及错误加权模型,wighted pocket Algorithm 0/1错误分为两种,一种是false reject…

注: 文章中所有的图片均来自台湾大学林轩田<机器学习基石>课程. 笔记原作者:红色石头 微信公众号:AI有道 上一节课,我们主要介绍了VC Dimension的概念.如果Hypotheses set的VC Dimension是有限的,且有足够多的资料\(N\),同时能够找到一个hypothesis使它的\(E_{in}\approx 0\),那么就能说明机器学习是可行的.本节课主要讨论数据集有Noise的情况下,是否能够进行机器学习,并且介绍了假设空间H下演算法\(\mathcal{A}\)的…

之前我们讨论了VC Dimension,最终得到结论,如果我们的hypetheset的VC Dimension是有限的,并且有足够的资料,演算法能够找到一个hypethesis,它的Ein很低的话,那么我们就大概学到了东西. 看看之前的learning flow: 我们有一个target function,能够产生一堆的sample,x 由某一个分布产生,未来的测试也有同一个分布产生. 演算法想办法从资料和假设集里找到一个好的假设.好的假设集是VC Dimension是有限的,好的假设是Ein是…

本文转载自 火光摇曳 原文链接:VC维的来龙去脉 目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effective Number of Hypotheses Growth Function Break Point与Shatter VC Bound VC dimension 深度学习与VC维 小结 参考文献 VC维在机器学习领域是一个很基础的概念,它给诸多机器学习方法的可学习性提供了坚实的理论基础,但有时候,特别是对我们工程师而言…

本文目的 当前spark(1.3版)随机森林实现,没有包括OOB错误评估和变量权重计算.而这两个功能在实际工作中比较常用.OOB错误评估可以代替交叉检验,评估模型整体结果,避免交叉检验带来的计算开销.现在的数据集,变量动辄成百上千,变量权重有助于变量过滤,去掉无用变量,提高计算效率,同时也可以帮助理解业务.所以,本人在原始代码基础上,扩展了这两个功能,下面记录实现过程,作为备忘录(参考代码). 整体思路 Random Forest实现中,大多数内部对象是私有(private[tree])的,所以…

转自:http://blog.sina.com.cn/s/blog_641289eb0101e2ld.html Part 2总结一下一个粗略的建模过程: 首先,弄清楚问题是什么,能不能用机器学习的思路去考虑: 是否有pattern? 是否规则不明确? 是否有数据? 如果可以用,那么考虑,问题的学习目标是什么,有多少feature,有多少数据,应该用什么error measure(Learning from data 有一节专门讲这个,客户能提供吗?如果不能,我们找一个能说服自己的,或者找一个容易…

Using MLLib in ScalaFollowing code snippets can be executed in spark-shell. Binary ClassificationThe following code snippet illustrates how to load a sample dataset, execute a training algorithm on this training data using a static method in the algo…

从一个问题说起: 当我们使用H10去拟合曲线的时候,其实我们只想要H2的结果.如果从H10变回到H2呢? 所以我们只需要添加上限制条件:w3=...=w10=0即可.现在呢,我们可以放宽一点条件:任意8个w为0即可. 但是像这种问题是NP-Hard问题,需要枚举所有的情况. 我们再放宽一点条件: 对于linear regression问题,这类squared 条件很好求解. 求解过程主要依赖于Lagrange Multiplier.其次需要结合linear regression中需要用到的推导:…

课程简要: 主要内容包括线性分类和回归分析简单的回忆.除了Logistic回归分析,具体解说误差测量和算法三方面,同时归纳法的非线性变换的分析. 课程大纲: 1.Review 2.Nonlinear Transform 3.The Model about Logistic regression 4.Error Measure about Logistic regression 5.Learning Algorithm about Logistic regression 6.Summarize 1…