CS231n 3.1 Lost Function 我们上次提到,要如何选择最优的W呢? 这就是要选择几种损失函数了. 我们要找到一种可行的方法来选择最优的W 先看简单的3个样本的例子 正式定义损失函数: x是样本不带标签,y则是标签 在Cafar10,我们要把图片分类到10个类别中去. 所以,在这里,x代表图片,y则代表代表是个类别的数字,例如0到9的整数 这个公式其实在机器学习 中就见过超级多次了. 接下来我们来介绍细节: 我们先看对单个例子的损失函数:L_i 我们在所有错误的分类上做和,比较…

上周在实验室里师姐说了这么一个问题,对于线性回归问题,最小二乘法和梯度下降方法所求得的权重值是一致的,对此我颇有不同观点.如果说这两个解决问题的方法的等价性的确可以根据数学公式来证明,但是很明显的这个说法是否真正的成立其实很有其它的一些考虑因素在里面,以下给出我个人的一些观点: 1. 首先,在讨论最小二乘法和梯度下降对某数据集进行线性拟合的结果是否相同的问题之前,我们应该需要确保该数据集合的确符合线性模型,如果不符合那么得出的结果将会是非常有意思的, 该种情况在之前的博客中已有介绍,下面给出网址…

网上对于线性回归的讲解已经很多,这里不再对此概念进行重复,本博客是作者在听吴恩达ML课程时候偶然突发想法,做了两个小实验,第一个实验是采用最小二乘法对数据进行拟合, 第二个实验是采用梯度下降方法对数据集进行线性拟合,下面上代码: 最小二乘法: #!/usr/bin/env python #encoding:UTF-8 import numpy as np import matplotlib.pyplot as plt N=10 X=np.linspace(-3, 3, N) Y=(X+10.0)…