Cs231n课堂内容记录-Lecture 3 最优化
Lecture 4 最优化
课程内容记录:
(上)https://zhuanlan.zhihu.com/p/21360434?refer=intelligentunit
(下)https://zhuanlan.zhihu.com/p/21387326?refer=intelligentunit
1.代码注释:
numpy.random.randn():
numpy.random.randn(d0,d1,…,dn):rand函数返回一个或一组样本,具有标准正态分布。。dn对应每个维度,函数返回值为指定维度的array。
具体用法参见:https://blog.csdn.net/u012149181/article/details/78913167
float("inf"): 正无穷。
2.关于梯度:
数值梯度是利用有限差分法代入一个具体的较小值,利用公式求得对应的梯度,这个梯度值是近似的,近似程度取决于你的较小值的大小。它的优点是代码容易实现。解析梯度是利用微分直接求解梯度,优点是精确求解,解析速度快,但是有时候会出错。在debug的时候,为了检验公式的正确性,数值梯度往往是一个很好的工具,由于计算速度很慢,你可能需要适当减少参数的数量,这是一个非常好的调试策略。
注:学习率是一个很重要的超参数,在训练网络时往往是第一个需要检查的超参数,关于模型大小和正则化强度的检查往往在其之后进行。
注:交互网页项目网址(很好用,就不加以说明了):
http://vision.stanford.edu/teaching/cs231n-demos/linear-classify/
3.深度神经网络之前:
将像素直接输入线性分类器不是一个明智的选择,因为这样的模型无法分辨多模态等图片的特征,且总由背景等像素占比多的区域决定分类结果。在深度神经网络大规模运用之前,常用的方式是计算图片各种特征代表(feature representation),例如一些与图片形象特征有关的数值构成特征向量,然后将不同的特征向量合在一起,得到图像的特征表述,再将这些特征表述传入线性分类器。这种模型可以得到图片的转换特征(比如得到颜色频数直方图,或者边缘方向直方图),将某些原本线性不可分的图片特征变为线性可分的,从而可以有线性分类器进行分类。如今的深度学习网络主要的区别就是网络可以利用卷积层等结构自行学习特征,不再需要人工提取输入特征。
Cs231n课堂内容记录-Lecture 3 最优化的更多相关文章
- Cs231n课堂内容记录-Lecture 4-Part2 神经网络
Lecture 7 神经网络二 课程内容记录:https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit 1.协方差矩阵: 协方差(Cova ...
- Cs231n课堂内容记录-Lecture 4-Part1 反向传播及神经网络
反向传播 课程内容记录:https://zhuanlan.zhihu.com/p/21407711?refer=intelligentunit 雅克比矩阵(Jacobian matrix) 参见ht ...
- Cs231n课堂内容记录-Lecture 6 神经网络训练
Lecture 6 Training Neural Networks 课堂笔记参见:https://zhuanlan.zhihu.com/p/22038289?refer=intelligentun ...
- Cs231n课堂内容记录-Lecture 8 深度学习框架
Lecture 8 Deep Learning Software 课堂笔记参见:https://blog.csdn.net/u012554092/article/details/78159316 今 ...
- Cs231n课堂内容记录-Lecture 7 神经网络训练2
Lecture 7 Training Neural Networks 2 课堂笔记参见:https://zhuanlan.zhihu.com/p/21560667?refer=intelligent ...
- Cs231n课堂内容记录-Lecture 5 卷积神经网络介绍
Lecture 5 CNN 课堂笔记参见:https://zhuanlan.zhihu.com/p/22038289?refer=intelligentunit 不错的总结笔记:https://blo ...
- Cs231n课堂内容记录-Lecture 9 深度学习模型
Lecture 9 CNN Architectures 参见:https://blog.csdn.net/qq_29176963/article/details/82882080#GoogleNet_ ...
- Cs231n课堂内容记录-Lecture2-Part2 线性分类
Lecture 3 课程内容记录:(上)https://zhuanlan.zhihu.com/p/20918580?refer=intelligentunit (中)https://zhuanlan. ...
- Cs231n课堂内容记录-Lecture2-Part1 图像分类
Lecture 2 课程内容记录:(上)https://zhuanlan.zhihu.com/p/20894041?refer=intelligentunit (下)https://zhuanlan. ...
随机推荐
- koa2入门使用总结
koa2的介绍 Koa 是一个新的 web 框架,由 Express 幕后的原班人马打造, 致力于成为 web 应用和 API 开发领域中的一个更小.更富有表现力.更健壮的基石. 通过利用 async ...
- vue开发中vue-resource + canvas 图片压缩、上传、预览
1.使用vue-resource上传,也可以自定义ajax上传: 2.使用<input type="file" @change="submit()" na ...
- dd、split、csplit命令
在Linux最常用的文件生成和切片工具是dd,它功能比较全面,但无法以行为单位提取文件数据,也无法直接将文件按大小或行数进行均分(除非借助循环).另两款数据分割工具split和csplit能够比较轻松 ...
- 搞懂Python的类和对象名称空间
代码块的分类 python中分几种代码块类型,它们都有自己的作用域,或者说名称空间: 文件或模块整体是一个代码块,名称空间为全局范围 函数代码块,名称空间为函数自身范围,是本地作用域,在全局范围的内层 ...
- Ubuntu 安装 JDK8 的两种方式
ubuntu 安装jdk 的两种方式: 1:通过ppa(源) 方式安装. 2:通过官网下载安装包安装. 这里推荐第1种,因为可以通过 apt-get upgrade 方式方便获得jdk的升级 使用pp ...
- 35.QT-多线程
程序和进程的区别 进程是动态的,程序是静态的,进程是程序运行时的实例,是占用系统运行资源的程序 进程是暂时的,程序是永久的, 进程是通过程序运行时得到的 程序是一个数据文件,进程是内存中动态的运行实体 ...
- java8 Stream sorted()的一次调用链记录
代码 public static void main (String[] args) { Stream.of("d2", "a2", "b1" ...
- Integer Game(UVA11489)3的倍数
K - Integer Game Time Limit:1000MS Memory Limit:0KB 64bit IO Format:%lld & %llu Submit Status Pr ...
- regression and anova
regression一般是统计学的回归回归,研究一个随机变量Y对另一个(X)或一组(X1,X2,-,Xk)变量的相依关系的统计分析方法.研究一 个或多个随机变量Y1 ,Y2 ,-,Yi与另一些变量X1 ...
- VS2013 添加控制台程序
一.打开vs2013