白话machine learning之Loss Function

【白话machine learning之Loss Function】的更多相关文章

白话machine learning之Loss Function

转载自:http://eletva.com/tower/?p=186 有关Loss Function(LF),只想说,终于写了一.Loss Function 什么是Loss Function?wiki上有一句解释我觉得很到位,引用一下:The loss function quantifies the amount by which the prediction deviates from the actual values.Loss Function中文损失函数,适用于用于统计,经济,机器学习…

Machine Learning/Introducing Logistic Function

Machine Learning/Introducing Logistic Function 打算写点关于Machine Learning的东西, 正好也在cnBlogs上新开了这个博客, 也就更新在这里吧. 这里主要想讨论的是统计学习, 涵盖SVM, Linear Regression等经典的学习方法. 而最近流行的基于神经网略的学习方法并不在讨论范围之内. 不过以后有时间我会以Deep Learning为label新开一个系列, 大概写写我的理解. 总之Machine Learning的la…

[machine learning] Loss Function view

[machine learning] Loss Function view 有关Loss Function(LF),只想说,终于写了一.Loss Function 什么是Loss Function?wiki上有一句解释我觉得很到位,引用一下:The loss function quantifies the amount by which the prediction deviates from the actual values.Loss Function中文损失函数,适用于用于统计,经济,机…

[Machine Learning] 浅谈LR算法的Cost Function

了解LR的同学们都知道,LR采用了最小化交叉熵或者最大化似然估计函数来作为Cost Function,那有个很有意思的问题来了,为什么我们不用更加简单熟悉的最小化平方误差函数(MSE)呢? 我个人理解主要有三个原因: MSE的假设是高斯分布,交叉熵的假设是伯努利分布,而逻辑回归采用的就是伯努利分布: MSE会导致代价函数$J(\theta)$非凸,这会存在很多局部最优解,而我们更想要代价函数是凸函数: MSE相对于交叉熵而言会加重梯度弥散. 这里着重讨论下后边两条原因. 代价函数为什么要为凸函数…

machine learning(11) -- classification: advanced optimization 去求cost function最小值的方法

其它的比gradient descent快, 在某些场合得到广泛应用的求cost function的最小值的方法 when have a large machine learning problem,一般会使用这些advanced optimization algorithm而不是gradient descent Conjugate gradient, BFGS,L-BFGS很复杂,可以在不明白详细原理的情况下进行应用(使用software libary). 可以使用Octave和matlab的…