SVM NG课件1 2014年9月28日 16:39 一个二维空间点的示例     已使用 Microsoft OneNote 2013 创建.…

    目标是优化几何边距, 通过函数边距来表示需要限制||w|| = 1     还是优化几何边距,St去掉||w||=1限制转为普通函数边距     更进一步的,可以固定函数边距为1,调节||w||即可                …

http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf Loss Function 损失函数可以看做 误差部分(loss term) + 正则化部分(regularization term) 1.1 Loss Term Gold Standard (ideal case) Hinge (SVM, soft margin) Log (logistic regression, cross en…

这里以二元分类为例子,给出最基本原理的解释 GBDT 是多棵树的输出预测值的累加 GBDT的树都是 回归树 而不是分类树 分类树 分裂的时候选取使得误差下降最多的分裂 计算的技巧 最终分裂收益按照下面的方式计算,注意圆圈内的部分是固定值 GBDT 二分类 GBDT在实现中可以完全复用上面的计算方法框架,只是我们的优化的目标函数不同. 这里使用的是 指数误差函数,不管是预测正确还是错误 误差值都存在,但是正确的预测 会使得误差值小于错误的预测 参考 AdaBoost and the Super B…

考虑不可分的例子         通过使用basis functions 使得不可分的线性模型变成可分的非线性模型 最常用的就是写出一个目标函数 并且使用梯度下降法 来计算     梯度的下降法的梯度计算                 关于线性和非线性的隐层 非线性隐层使得网络可以计算更加复杂的函数 线性隐层不能增强网络的表述能力,它们被用来做降维,减少训练需要的参数数目,这在nlp相关的模型中 经常用到(embedding vector)     一个back prop的例子        …

1 特征 1-1 什么是特征? 我的理解就是,用于描述某个样本点,以哪几个指标来评定,这些个指标就是特征.比方说对于一只鸟,我们评定的指标就可以是:(a)鸟的翅膀大还是小?(b)鸟喙长还是短?(c)鸟下的蛋是多还是少?等等,这些都能被称之为“鸟”这个样本点的特征. 特征值的数量用“n”来表示.比如我们用一些特征来描述一栋房子,这些特征包括:(a)多少平米?(b)几室几厅?(c)有几层?(d)房子是新还是旧?那么这里就有4个特征,也就是n=4. 1-2 现在我们区分一下符号 (1)m:样本点的数目…

这篇博客主要解说了Ng的课第六.七个视频,涉及到的内容包含,函数间隔和几何间隔.最优间隔分类器 ( Optimal Margin Classifier).原始/对偶问题 ( Primal/Dual Problem). SVM 的对偶问题几个部分. 函数间隔和几何间隔 函数间隔( functional margin) 与几何间隔( geometric margin)是理解SVM的基础和前提. 如果y∈{-1,1},而不再是0,1,我们能够将分类器函数表演示样例如以下: 这里的b參数事实上就是原来的…

[1] [2] Answer: B. 即 x1=3这条垂直线. [3] Answer: B 因为要尽可能小.对B,右侧红叉,有1/2 * 2  = 1 ≥ 1,左侧圆圈,有1/2 * -2  = -1 ≤ -1. A太小不满足不等式 [4] 参考课件:  测验 Answer:B. Answer: B Answer:CD Answer: ABG 欠拟合. A 正确.增加feature.增加多项式feature B 正确.神经网络增加hidden units C 错误.逻辑回归成本函数是凸的,因此梯…

这一章主要解说Ng的机器学习中SVM的兴许内容.主要包括最优间隔分类器求解.核方法. 最优间隔分类器的求解 利用以一篇讲过的的原始对偶问题求解的思路,我们能够将相似思路运用到SVM的求解上来. 详细的分析例如以下: 对于SVM求解的问题: 我们把约束条件略微变形一下: 仅仅有函数间隔是1的点才干使上式取等号,也就是有意义的.例如以下图: 叉叉和圈圈分别代表正反例,能够看出,仅仅有落在边缘的点的α≠0,这些点才是支持向量.其它的点α=0,对切割超平面没有意义.上图的支持向量一共同拥有3个. 写出拉…

本周主要学习SVM 一. 内容概要 Large Margin Classification Optimization Objective(优化Objective(损失函数)) Large Margin Intuition(大边距的直观理解) Mathematics Behind Large Magin Classification(最大间距分类器背后的数学推导) Kernels Kernels 1 Kernels 2 SVMs in Practice Using An SVM 二.重点&难点 1…