在使用Pytorch时经常碰见这些函数cross_entropy,CrossEntropyLoss, log_softmax, softmax.看得我头大,所以整理本文以备日后查阅. 首先要知道上面提到的这些函数一部分是来自于torch.nn,而另一部分则来自于torch.nn.functional(常缩写为F).二者函数的区别可参见 知乎:torch.nn和funtional函数区别是什么? 下面是对与cross entropy有关的函数做的总结: torch.nn torch.nn.func

神经网络中损失函数后一般会加一个额外的正则项L1或L2,也成为L1范数和L2范数.正则项可以看做是损失函数的惩罚项,用来对损失函数中的系数做一些限制. 正则化描述: L1正则化是指权值向量w中各个元素的绝对值之和; L2正则化是指权值向量w中各个元素的平方和然后再求平方根; 一般都会在正则化项之前添加一个系数,这个系数需要用户设定,系数越大,正则化作用越明显. 正则化作用: L1正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择,一定程度上,L1也可以防止过拟合;L2正则化可以防止

import numpy as np import tensorflow as tf y_pred = np.array([[1], [2], [3]],dtype=np.float32) y_real = np.array([[1], [1], [1]]) bias = np.array([1,2,3,4],dtype=np.float32) with tf.Session() as sess: sess.run(tf.global_variables_initializer()) Input

一.项目说明 给定数据集train.csv,要求使用卷积神经网络CNN,根据每个样本的面部图片判断出其表情.在本项目中,表情共分7类,分别为:(0)生气,(1)厌恶,(2)恐惧,(3)高兴,(4)难过,(5)惊讶和(6)中立(即面无表情,无法归为前六类).所以,本项目实质上是一个7分类问题. 数据集介绍: (1).CSV文件,大小为28710行X2305列: (2).在28710行中,其中第一行为描述信息,即“label”和“feature”两个单词,其余每行内含有一个样本信息,即共有28709

介绍 DeepLearning课程总共五大章节,该系列笔记将按照课程安排进行记录. 另外第一章的前两周的课程在之前的Andrew Ng机器学习课程笔记(博客园)&Andrew Ng机器学习课程笔记(CSDN)系列笔记中都有提到,所以这里不再赘述. 1.神经网络概要 注意:这一系列的课程中用中括号表示层数,例如\(a^{[1]}\)表示第二层(隐藏层)的数据. 2.神经网络表示 这个图的内容有点多,跟着下面的步骤来理解这个图吧: 首先看蓝色字体,这个2层的神经网络(输入层一般理解成第0层)有输入层

1.sigmoid函数 ​ sigmoid函数,也就是s型曲线函数,如下: 函数: 导数: ​ 上面是我们常见的形式,虽然知道这样的形式,也知道计算流程,不够感觉并不太直观,下面来分析一下. 1.1 从指数函数到sigmoid ​ 首先我们来画出指数函数的基本图形: ​ 从上图,我们得到了这样的几个信息,指数函数过(0,1)点,单调递增/递减,定义域为(−∞,+∞),值域为(0,+∞),再来我们看一下sigmoid函数的图像: ​ ​ 如果直接把e−x放到分母上,就与ex图像一样了,所以分母加上

讲授神经网络的理论解释.实现细节包括输入与输出值的设定.网络规模.激活函数.损失函数.初始化.正则化.学习率的设定.实际应用等 大纲: 实验环节: 理论层面的解释:两个方面,1.数学角度,映射函数h(x)理论分析:2.和动物神经网络的区别. 实现细节问题:输入输出值该怎么设置,神经网络该建多少层,每层多少个神经元,选择什么样的激活函数和损失函数. 面临的挑战与改进措施:梯度消失,局部最小值,鞍点等. 实际应用情况: 实验环节:(通过代码实现) 设置网络的层数和各层神经元数量.设置激活函数和参数.

深度学习入门 1.随机梯度下降 在之前的学习过程当中,对于损失函数的最为重要的参数的梯度的更新是基于数据集中的所有数据,每一个数据都会进行到计算过程当中去,在本案例中,因为波士顿房价预测这个案例所涉及的数据并没有很多,还能够适用于这样的基于所有数据的计算.然而在实际的应用当中,很多时候都是需要很大量的数据集的,因此,这里就提出了随机梯度下降的这样一个概念.即在整个的样本中抽取一小部分的数据进行梯度的更新,这样做的好处在于虽然没有特别精确,但是能够大大的优化整个计算的性能. 其核心概念有三个:①m

笔记总结,各章节主要内容已总结在标题之中 Andrew Ng机器学习课程笔记–week1(机器学习简介&线性回归模型) Andrew Ng机器学习课程笔记--week2(多元线性回归&正规公式) Andrew Ng机器学习课程笔记--week3(逻辑回归&正则化参数) Andrew Ng机器学习课程笔记--week4(神经网络) Andrew Ng机器学习课程笔记--week5(上)(神经网络损失函数&反向传播算法) Andrew Ng机器学习课程笔记--week5(下)(

在强化学习(十四) Actor-Critic中,我们讨论了Actor-Critic的算法流程,但是由于普通的Actor-Critic算法难以收敛,需要一些其他的优化.而Asynchronous Advantage Actor-critic(以下简称A3C)就是其中比较好的优化算法.本文我们讨论A3C的算法原理和算法流程. 本文主要参考了A3C的论文,以及ICML 2016的deep RL tutorial. 1. A3C的引入 上一篇Actor-Critic算法的代码,其实很难收敛,无论怎么调参

偏差方差权衡 使用较小的神经网络,类似于参数较少的情况,容易导致高偏差和欠拟合,但计算代价较小使用较大的神经网络,类似于参数较多的情况,容易导致高方差和过拟合,虽然计算代价比较大,但是可以通过归一化手段来调整而更加适应数据. 通常选择较大的神经网络并采用归一化处理会比采用较小的神经网络效果要好. 对于神经网络中的隐藏层的层数的选择,通常从一层开始逐渐增加层数,为了更好地作选择,可以把数据分为训练集.交叉验证集和测试集,针对不同隐藏层层数的神经网络训练神经网络, 然后选择交叉验证集代价最小的神经网

学习的矩阵微积分The matrix calculus you need for deep learning https://explained.ai/matrix-calculus/index.html 本文试图解释为了理解深度神经网络的训练所需的所有矩阵演算.我们假设除了您在微积分1中学到的知识之外没有任何数学知识,并提供链接以帮助您在需要时刷新必要的数学.请注意,你不会需要你开始学习训练,并在实践中使用深度学习之前,了解该材料; 相反,这些材料适用于那些已经熟悉神经网络基础知识的人,并希望

收藏些图像处理,机器学习,深度学习方面比较不错的文章,时常学习,复习和膜拜吧... 图像方面(传统CV): 1. SIFT特征 https://www.cnblogs.com/wangguchangqing/p/4853263.html http://shartoo.github.io/SIFT-feature/?FbmNv=5d9f3d0c8ca5090a https://blog.csdn.net/u010440456/article/details/81483145 2. HOG特征 ht

前言 PyTorch和Tensorflow是目前最为火热的两大深度学习框架,Tensorflow主要用户群在于工业界,而PyTorch主要用户分布在学术界.目前视觉三大顶会的论文大多都是基于PyTorch,如何快速入门PyTorch成了当务之急. 正文 本着循序渐进的原则,我会依次从易到难的内容进行介绍,并采用定期更新的方式来补充该文. 一.安装PyTorch 参考链接:https://blog.csdn.net/miao0967020148/article/details/80394270 安

人工智能 什么是人工智能.机器学习与深度学习(见图1-1)?这三者之间有什么关系?

Alink漫谈(十一) :线性回归 之 L-BFGS优化 目录 Alink漫谈(十一) :线性回归 之 L-BFGS优化 0x00 摘要 0x01 回顾 1.1 优化基本思路 1.2 各类优化方法 0x02 基本概念 2.1 泰勒展开 如何通俗推理? 2.2 牛顿法 2.2.1 泰勒一阶展开 2.2.2 泰勒二阶展开 2.2.3 高维空间 2.2.4 牛顿法基本流程 2.2.5 问题点及解决 2.3 拟牛顿法 2.4 L-BFGS算法 0x03 优化模型 -- L-BFGS算法 3.1 如何分布

深度学习 (DeepLearning) 基础 [2]---神经网络常用的损失函数 Introduce 在上一篇"深度学习 (DeepLearning) 基础 [1]---监督学习和无监督学习"中我们介绍了监督学习和无监督学习相关概念.本文主要介绍神经网络常用的损失函数. 以下均为个人学习笔记,若有错误望指出. 神经网络常用的损失函数 pytorch损失函数封装在torch.nn中. 损失函数反映了模型预测输出与真实值的区别,模型训练的过程即让损失函数不断减小,最终得到可以拟合预测训练样

在深度神经网络(DNN)反向传播算法(BP)中,我们对DNN的前向反向传播算法的使用做了总结.里面使用的损失函数是均方差,而激活函数是Sigmoid.实际上DNN可以使用的损失函数和激活函数不少.这些损失函数和激活函数如何选择呢?下面我们就对DNN损失函数和激活函数的选择做一个总结. 1. 均方差损失函数+Sigmoid激活函数的问题 在讲反向传播算法时,我们用均方差损失函数和Sigmoid激活函数做了实例,首先我们就来看看均方差+Sigmoid的组合有什么问题. 首先我们回顾下Sigmoid激

损失函数 作用 在有监督的学习中,需要衡量神经网络输出和所预期的输出之间的差异大小.这种误差函数需要能够反映出当前网络输出和实际结果之间一种量化之后的不一致程度,也就是说函数值越大,反映出模型预测的结果越不准确. 还是拿练枪的Bob做例子,Bob预期的目标是全部命中靶子的中心,但他现在的命中情况是这个样子的: 最外圈是1分,之后越向靶子中心分数是2,3,4分,正中靶心可以得5分. 那Bob每次射击结果和目标之间的差距是多少呢?在这个例子里面,用得分来衡量的话,就是说Bob得到的反馈结果从差4分,

对于分类问题的神经网络最后一层的函数做如下知识点总结: sigmoid和softmax一般用作神经网络的最后一层做分类函数(备注:sigmoid也用作中间层做激活函数): 对于类别数量大于2的分类问题,如果每个类别之间互斥,则选用softmax函数(例如:类别为牡丹花.玫瑰花.菊花),如果每个类别之间有交叉则选用与类别数量相等的sigmoid函数(例如:类别为小孩.大人.男人.女人,此处应该选用4个sigmoid函数): 神经网络最后一层的分类函数直接面临作损失函数的选择: softmax函数的

一.疑问 二.知识点 1. 损失函数可视化 ​ 损失函数一般都是定义在高维度的空间中,这样要将其可视化就很困难.然而办法还是有的,在1个维度或者2个维度的方向上对高维空间进行切片,例如,随机生成一个权重矩阵,该矩阵就与高维空间中的一个点对应.然后沿着某个维度方向前进的同时记录损失函数值的变化.换句话说,就是生成一个随机的方向并且沿着此方向计算损失值,计算方法是根据不同的值来计算.这个过程将生成一个图表,其x轴是值,y轴是损失函数值.同样的方法还可以用在两个维度上,通过改变来计算损失值,从而给出二