这一讲总体上就是引入Loss Function的概念,以及让大家对优化有一个初步的认识,和其他课程里面说的内容大同小异. Loss function Multiclass svm loss multiclass svm的分类依据是,比较每个类别计算得到分数,取最大的那个作为当前的类标.该Loss鼓励的是正确的类标对应的分数应该比所有其他类标对应的分数都大至少1,否则就引入cost.具体定义如下: 这个和svm的思想是一样的,就是说不光要分对,而且要求判断对与错的分割线之间要有一定的距离,即svm…

1. Loss function是用来量化评估当前预测的好坏,loss function越小表明预测越好. 几种典型的loss function: 1)Multiclass SVM loss:一般的SVM是针对0.1两类标签,现在是把它拓展到n类标签.它的物理意义是:现在要预测一个样本的标签,根据之前训练出的权重求出这个样本在所有标签的得分,正确的标签的得分如果大于其他标签的得分(往往还会加一个safety margin,就是要求要足够大),则loss function不增加:否则loss fu…

1. Loss function是用来量化评估当前预测的好坏,loss function越小表明预测越好. 几种典型的loss function: 1)Multiclass SVM loss:一般的SVM是针对0.1两类标签,现在是把它拓展到n类标签.它的物理意义是:现在要预测一个样本的标签,根据之前训练出的权重求出这个样本在所有标签的得分,正确的标签的得分如果大于其他标签的得分(往往还会加一个safety margin,就是要求要足够大),则loss function不增加:否则loss fu…

一些ConvNets的应用 Face recognition 输入人脸,推测是谁 Video classfication Recognition 识别身体的部位, 医学图像, 星空, 标志牌, 鲸... 图像描述 Image Captioning transfer 卷积操作和信号处理的卷积操作的区别 印象中在学习数字图像处理这门课的时候,里面提到过卷积操作,当时的计算方法是,需要把卷积核作一个180度的旋转.其实在最开始听到"卷积神经网络"并开始在探究具体如何进行卷积操作的时候,我也有…

这一讲主要介绍了神经网络,基本内容之前如果学习过Andrew的Machine learning应该也都有所了解了.不过这次听完这一讲后还是有了新的一些认识. 计算图 Computational graph 之前没有体会到计算图的强大,今天听Serena讲解后,有一种豁然开朗的感觉. 总的来说,有一些很复杂的表达式,如果直接使用它对变量求导,虽然也能得到一个显式的表达,但可能会牵扯到非常复杂的展开.求导等一系列操作.如果换种方式,把这个式子里的基本运算,通过计算图的方式表示出来,用节点来表示一个基…

距离度量\(L_1\) 和\(L_2\)的区别 一些感性的认识,\(L_1\)可能更适合一些结构化数据,即每个维度是有特别含义的,如雇员的年龄.工资水平等等:如果只是一个一般化的向量,\(L_2\)可能用得更多.但这些仍然需要视具体情况而定. Nearest Neighbor KNN-demo 相当于\(K=1\)的KNN分类,这种其实是把所谓的"训练"过程推后了,是一种lazy的做法,model实际上隐藏在了训练数据中.训练时,只是单纯地"记下"训练样本的特征和标…

主题有关 这一讲主要是介绍性质的,虽然大多数概念以前听说过,但还是在他们的介绍中让我有如下一些认识,所谓温故而知新,不无道理: IMAGENET Feifei Li的团队首先爬取.标注了IMAGENET 数据集,其中包含22k个目录和14m的图片: 为了能够为研究者提供一个统一的验证平台,进而组办了IMAGENET Large Scale Visual Recognition Challege,提供了benchmark,包含1,431,167 images 和 1000个物体类别: 此前在做图像…

目录 概 主要内容 一些假设 损失函数 损失函数的统计性质 收敛速度 分类的界 Rosasco L, De Vito E, Caponnetto A, et al. Are loss functions all the same[J]. Neural Computation, 2004, 16(5): 1063-1076. @article{rosasco2004are, title={Are loss functions all the same}, author={Rosasco, Lore…

Loss Functions 总结 损失函数分类: 回归损失函数(Regression loss), 分类损失函数(Classification loss) Regression loss functions 通常用于模型预测一个连续的值,例如一个人的年龄 Classification loss functions 通常用于模型预测一个离散的值,例如猫狗分类问题 1. L1 loss Mean Absolute Error(MAE), 也称作L1 loss computes the averag…

[CS61A] Lecture 4. Higher-Order Functions & Project 1: The Game of Hog Lecture Lecture 4. Higher-Order Functions 本节课介绍了高阶函数的概念与用法,主要包含如下内容: 从斐波那契数列说起,定义fib函数并使用迭代法解答. 面积公式,介绍正方形.五边形以及圆形的面积公式,它们的共同点是面积公式都可以变为:半径x半径x面积系数 的形式,因此将函数抽象成一个通用函数. 求和公式,西格玛求和公…