Pytorch_第七篇_深度学习 (DeepLearning) 基础 [3]---梯度下降

【Pytorch_第七篇_深度学习 (DeepLearning) 基础 [3]---梯度下降】的更多相关文章

Pytorch_第七篇_深度学习 (DeepLearning) 基础 [3]---梯度下降

深度学习 (DeepLearning) 基础 [3]---梯度下降法 Introduce 在上一篇"深度学习 (DeepLearning) 基础 [2]---神经网络常用的损失函数"中我们介绍了神经网络常用的损失函数.本文将继续学习深度学习的基础知识,主要涉及基于梯度下降的一类优化算法.首先介绍梯度下降法的主要思想,其次介绍批量梯度下降.随机梯度下降以及小批量梯度下降(mini-batch)的主要区别. 以下均为个人学习笔记,若有错误望指出. 梯度下降法主要思想:沿着梯度反方向更新相…

Pytorch_第八篇_深度学习 (DeepLearning) 基础 [4]---欠拟合、过拟合与正则化

深度学习 (DeepLearning) 基础 [4]---欠拟合.过拟合与正则化 Introduce 在上一篇"深度学习 (DeepLearning) 基础 [3]---梯度下降法"中我们介绍了梯度下降的主要思想以及优化算法.本文将继续学习深度学习的基础知识,主要涉及: 欠拟合和过拟合正则化以下均为个人学习笔记,若有错误望指出. 欠拟合和过拟合要理解欠拟合和过拟合,我们需要先清楚一对概念,即偏差和方差. 偏差和方差是深度学习中非常有用的一对概念,尤其是可以帮助我们理解模型的欠拟合…

Pytorch_第六篇_深度学习 (DeepLearning) 基础 [2]---神经网络常用的损失函数

深度学习 (DeepLearning) 基础 [2]---神经网络常用的损失函数 Introduce 在上一篇"深度学习 (DeepLearning) 基础 [1]---监督学习和无监督学习"中我们介绍了监督学习和无监督学习相关概念.本文主要介绍神经网络常用的损失函数. 以下均为个人学习笔记,若有错误望指出. 神经网络常用的损失函数 pytorch损失函数封装在torch.nn中. 损失函数反映了模型预测输出与真实值的区别,模型训练的过程即让损失函数不断减小,最终得到可以拟合预测训练样…

Pytorch_第五篇_深度学习 (DeepLearning) 基础 [1]---监督学习与无监督学习

深度学习 (DeepLearning) 基础 [1]---监督学习与无监督学习 Introduce 学习了Pytorch基础之后,在利用Pytorch搭建各种神经网络模型解决问题之前,我们需要了解深度学习的一些基础知识.本文主要介绍监督学习和无监督学习. 以下均为个人学习笔记,若有错误望指出. 监督学习和无监督学习常见的机器学习方法的类型如下: 监督学习:用已知标签的训练样本训练模型,用来预测未来输入样本的标签,如用于逻辑回归分类器. 无监督学习:不需要有已知标签的训练样本,而是直接对数据建模…

深度学习必备：随机梯度下降（SGD）优化算法及可视化

补充在前:实际上在我使用LSTM为流量基线建模时候,发现有效的激活函数是elu.relu.linear.prelu.leaky_relu.softplus,对应的梯度算法是adam.mom.rmsprop.sgd,效果最好的组合是:prelu+rmsprop.我的代码如下: # Simple example using recurrent neural network to predict time series values from __future__ import division, p…

吴恩达深度学习：2.3梯度下降Gradient Descent

1.用梯度下降算法来训练或者学习训练集上的参数w和b,如下所示,第一行是logistic回归算法,第二行是成本函数J,它被定义为1/m的损失函数之和,损失函数可以衡量你的算法的效果,每一个训练样例都输出y,把它和基本真值标签y进行比较右边展示了完整的公式,成本函数衡量了参数w和b在训练集上的效果.要找到合适的w和b,就很自然的想到,使得成本函数J(w,b)尽可能小的w和b 2.接下来看看梯度下降算法,下图中的横轴表示空间参数w和b,在实践中,w可以是更高维的,但是为了绘图的方便,我们让w是一个…

Pytorch_第十篇_卷积神经网络（CNN）概述

卷积神经网络(CNN)概述 Introduce 卷积神经网络(convolutional neural networks),简称CNN.卷积神经网络相比于人工神经网络而言更适合于图像识别.语音识别等任务.本文主要涉及卷积神经网络的概念介绍,首先介绍卷积神经网络相比于人工神经网络的优势,其次介绍卷积神经网络的基本结构,最后我们分别介绍神经网络的各个部件从而完整的了解CNN. 以下均为初学者笔记,若有错误请不吝指出. Advantages of Convolutional Neural Networ…