损失函数(loss function) 转

原文：http://luowei828.blog.163.com/blog/static/310312042013101401524824

通常而言，损失函数由损失项(loss term)和正则项(regularization term)组成。发现一份不错的介绍资料：

http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf （题名“Loss functions; a unifying view”）。

 

一、损失项

• 对回归问题，常用的有：平方损失(for linear regression)，绝对值损失；
• 对分类问题，常用的有：hinge loss(for soft margin SVM)，log loss(for logistic regression)。

 

说明：

• 对hinge loss，又可以细分出hinge loss（或简称L1 loss）和squared hinge loss（或简称L2 loss）。国立台湾大学的Chih-Jen Lin老师发布的Liblinear就实现了这2种hinge loss。L1 loss和L2 loss与下面的regularization是不同的，注意区分开。

二、正则项

• 常用的有L1-regularization和L2-regularization。上面列的那个资料对此还有详细的总结。

补充

• Liblinear地址：http://www.csie.ntu.edu.tw/~cjlin/liblinear/