Dropout的作用: cell  1 - cell 2 依旧 cell 3 Dropout层的前向传播 核心代码: train 时: if mode == 'train': ########################################################################### # TODO: Implement the training phase forward pass for inverted dropout. # # Store the…

BN层在实际中应用广泛. 上一次总结了使得训练变得简单的方法,比如SGD+momentum RMSProp Adam,BN是另外的方法. cell 1 依旧是初始化设置 cell 2 读取cifar-10数据 cell 3 BN的前传 # Check the training-time forward pass by checking means and variances # of features both before and after batch normalization # Sim…

要求:实现任意层数的NN. 每一层结构包含: 1.前向传播和反向传播函数:2.每一层计算的相关数值 cell 1 依旧是显示的初始设置 # As usual, a bit of setup import time import numpy as np import matplotlib.pyplot as plt from cs231n.classifiers.fc_net import * from cs231n.data_utils import get_CIFAR10_data from…

在上一次总结中,总结了NN的基本结构. 接下来的几次课,对一些具体细节进行讲解. 比如激活函数.参数初始化.参数更新等等. ========================================================================================= 首先,课程做 一个小插曲: 经常使用已经训练好的模型>>Finetune network 具体例子: 使用现成模型,修改部分层,使用现成的参数做初始参数. 以caffe为例,其提供了很多现成的模…

本章节讲解 参数更新 dropout ========================================================================================= 上节内容回顾与总结: 模型过程: 激活函数:注意理解各个函数的优缺点 数据预处理: 权重参数初始化:Xavier方法,使用较多. batch normalization : cross validation :比较loss 结果,选择合适学习率 ==================…

1===本节课对应视频内容的第三讲,对应PPT是Lecture3 2===本节课的收获 ===熟悉SVM及其多分类问题 ===熟悉softmax分类问题 ===了解优化思想 由上节课即KNN的分析步骤中,了解到做图像分类的主要步骤 ===根据数据集建立模型 ===得到loss function ===根据loss function 对参数做优化 ============================================================================…

cell 1 显示设置初始化 # A bit of setup import numpy as np import matplotlib.pyplot as plt from cs231n.classifiers.neural_net import TwoLayerNet %matplotlib inline plt.rcParams['figure.figsize'] = (10.0, 8.0) # set default size of plots plt.rcParams['image.i…

在上次的分享中,介绍了模型建立与使用梯度下降法优化参数.梯度校验,以及一些超参数的经验. 本节课的主要内容: 1==链式法则 2==深度学习框架中链式法则 3==全连接神经网络 ========================================================================================= 1.链式法则 目前我们所处的阶段: 学习了SVM softmax两个模型或者算法,需要优化w>>梯度下降. 上述公式的计算图例: 由上述计算…

在完成SVM作业的基础上,Softmax的作业相对比较轻松. 完成本作业需要熟悉与掌握的知识: cell 1 设置绘图默认参数 mport random import numpy as np from cs231n.data_utils import load_CIFAR10 import matplotlib.pyplot as plt %matplotlib inline plt.rcParams['figure.figsize'] = (10.0, 8.0) # set default s…

作业内容,完成作业便可熟悉如下内容: cell 1  设置绘图默认参数 # Run some setup code for this notebook. import random import numpy as np from cs231n.data_utils import load_CIFAR10 import matplotlib.pyplot as plt # This is a bit of magic to make matplotlib figures appear inline…