Reference: https://blog.csdn.net/marsjhao/article/details/72630147 分类问题损失函数-交叉熵(crossentropy) 交叉熵描述的是两个概率分布之间的距离,分类中广泛使用的损失函数,公式如下 在网络中可以通过Softmax回归将前向传播得到的结果变为交叉熵要求的概率分数值.Tensorflow中,Softmax回归的参数被去掉,通过一层将神经网络的输出变为一个概率分布. 代码实现 import tensorflow as tf

本人人工智能初学者,现在在学习TensorFlow2.0,对一些学习内容做一下笔记.笔记中,有些内容理解可能较为肤浅.有偏差等,各位在阅读时如有发现问题,请评论或者邮箱(右侧边栏有邮箱地址)提醒. 若有小伙伴需要笔记的可复制的html或ipynb格式文件,请评论区留下你们的邮箱,或者邮箱(右侧边栏有邮箱地址)联系本人.

在上一篇博客<TensorFlow之DNN(一):构建“裸机版”全连接神经网络>中,我整理了一个用TensorFlow实现的简单全连接神经网络模型,没有运用加速技巧(小批量梯度下降不算哦)和正则化方法,通过减小batch size,也算得到了一个还可以的结果. 那个网络只有两层,而且MINIST数据集的样本量并不算太大.如果神经网络的隐藏层非常多,每层神经元的数量巨大,样本数量也巨大时,可能出现三个问题: 一是梯度消失和梯度爆炸问题,导致反向传播算法难以进行下去: 二是在如此庞大的网络中进行训

最近在摸mxnet和tensorflow.两个我都搭起来了.tensorflow跑了不少代码,总的来说用得比较顺畅,文档很丰富,api熟悉熟悉写代码没什么问题. 今天把两个平台做了一下对比.同是跑mnist,tensorflow 要比mxnet 慢一二十倍.mxnet只需要半分钟,tensorflow跑了13分钟. 在mxnet中如何开跑? cd /mxnet/example/image-classification python train_mnist.py我用的是最新的mxnet版本.运行脚

深度学习在过去几年,由于卷积神经网络的特征提取能力让这个算法又火了一下,其实在很多年以前早就有所出现,但是由于深度学习的计算复杂度问题,一直没有被广泛应用. 一般的,卷积层的计算形式为: 其中.x分别表示当前卷积层中第j个特征.前一层的第i个特征:k表示当前层的第j个特征与前一层的第i个特征之间的卷积核:M表示需要卷积的前一层的特征的集合,b表示当前卷积层中第j个卷积核对应的偏置.f为激活函数. 卷积层中的权值与阈值通过随机梯度下降法得到: 式中,a为学习率. 损失函数对卷积层参数的梯度可通过链

在学习深度网络框架的过程中,我们发现一个问题,就是如何输出各层网络参数,用于更好地理解,调试和优化网络?针对这个问题,TensorFlow开发了一个特别有用的可视化工具包:TensorBoard,既可以显示网络结构,又可以显示训练和测试过程中各层参数的变化情况.本博文分为四个部分,第一部分介绍相关函数,第二部分是代码测试,第三部分是运行结果,第四部分介绍相关参考资料. 一. 相关函数 TensorBoard的输入是tensorflow保存summary data的日志文件.日志文件名的形式如:e

分类器需要在识别物体变化时候具有很好的鲁棒性(robus) 线性分类器(linear classifier)理解为模板的匹配,根据数量,表达能力不足,泛化性低:理解为将图片看做在高维度区域 线性分类器对这个区域进行染色. loss function 衡量预测结果的不理性程度,并基于损失函数优化weight, 使损失函数最小,达到在训练集的理想结果. Multiclass SVM loss (两分类的SVM的泛化),使SVM损失计算了所有的不正确的例子,as follows: where 将所有不

概述 迁移学习可以改变你建立机器学习和深度学习模型的方式 了解如何使用PyTorch进行迁移学习,以及如何将其与使用预训练的模型联系起来 我们将使用真实世界的数据集,并比较使用卷积神经网络(CNNs)构建的模型和使用迁移学习构建的模型的性能 介绍 我去年在一个计算机视觉项目中工作,我们必须建立一个健壮的人脸检测模型. 考虑到我们拥有的数据集的大小,从头构建一个模型是一个挑战.从头构建将是一个耗时又消耗计算资源的方案.由于时间紧迫,我们必须尽快找出解决办法. 这就是迁移学习拯救我们的时候.这是一个

作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/36 本文地址:http://www.showmeai.tech/article-detail/234 声明:版权所有,转载请联系平台与作者并注明出处 收藏ShowMeAI查看更多精彩内容 本系列为斯坦福CS224n<自然语言处理与深度学习(Natural Language Processing with Deep Learning)>的全套学习笔记,对应的课程视频可以在 这里 查看

CRNN是OCR领域非常经典且被广泛使用的识别算法,其理论基础可以参考我上一篇文章,本文将着重讲解CRNN代码实现过程以及识别效果. 数据处理 利用图像处理技术我们手工大批量生成文字图像,一共360万张图像样本,效果如下: 我们划分了训练集和测试集(10:1),并单独存储为两个文本文件: 文本文件里的标签格式如下: 我们获取到的是最原始的数据集,在图像深度学习训练中我们一般都会把原始数据集转化为lmdb格式以方便后续的网络训练.因此我们也需要对该数据集进行lmdb格式转化.下面代码就是用于lmd

在以前的OCR任务中,识别过程分为两步:单字切割和分类任务.我们一般都会讲一连串文字的文本文件先利用投影法切割出单个字体,在送入CNN里进行文字分类.但是此法已经有点过时了,现在更流行的是基于深度学习的端到端的文字识别,即我们不需要显式加入文字切割这个环节,而是将文字识别转化为序列学习问题,虽然输入的图像尺度不同,文本长度不同,但是经过DCNN和RNN后,在输出阶段经过一定的翻译后,就可以对整个文本图像进行识别,也就是说,文字的切割也被融入到深度学习中去了. 现今基于深度学习的端到端OCR技术有

损失函数 作用 在有监督的学习中,需要衡量神经网络输出和所预期的输出之间的差异大小.这种误差函数需要能够反映出当前网络输出和实际结果之间一种量化之后的不一致程度,也就是说函数值越大,反映出模型预测的结果越不准确. 还是拿练枪的Bob做例子,Bob预期的目标是全部命中靶子的中心,但他现在的命中情况是这个样子的: 最外圈是1分,之后越向靶子中心分数是2,3,4分,正中靶心可以得5分. 那Bob每次射击结果和目标之间的差距是多少呢?在这个例子里面,用得分来衡量的话,就是说Bob得到的反馈结果从差4分,

1.mini-batch梯度下降 在前面学习向量化时,知道了可以将训练样本横向堆叠,形成一个输入矩阵和对应的输出矩阵: 当数据量不是太大时,这样做当然会充分利用向量化的优点,一次训练中就可以将所有训练样本涵盖,速度也会较快.但当数据量急剧增大,达到百万甚至更大的数量级时,组成的矩阵将极其庞大,直接对这么大的的数据作梯度下降,可想而知速度是快不起来的.故这里将训练样本分割成较小的训练子集,子集就叫mini-batch.例如:训练样本数量m=500万,设置mini-batch=1000,则可以将训练

神经网络训练过程中,根据每batch训练数据前向传播的结果,计算损失函数,再由损失函数根据梯度下降法更新每一个网络参数,在参数更新过程中使用到一个学习率(learning rate),用来定义每次参数更新的幅度. 过小的学习率会降低网络优化的速度,增加训练时间,过大的学习率可能导致网络参数在最终的极优值两侧来回摆动,导致网络不能收敛.实践中证明有效的方法是设置一个根据迭代次数衰减的学习率,可以兼顾训练效率和后期的稳定性. 分段常数衰减 分段常数衰减是在事先定义好的训练次数区间上,设置不同的学习率

TensorFlow笔记-07-神经网络优化-学习率,滑动平均 学习率 学习率 learning_rate: 表示了每次参数更新的幅度大小.学习率过大,会导致待优化的参数在最小值附近波动,不收敛:学习率过小,会导致待优化的参数收敛缓慢 在训练过程中,参数的更新向着损失函数梯度下降的方向 参数的更新公式为: wn+1 = wn - learning_rate▽ 假设损失函数 loss = (w + 1)2.梯度是损失函数 loss 的导数为 ▽ = 2w + 2 .如参数初值为5,学习率为 0.2

在使用梯度下降最小化损失函数时,如果学习率过大会导致问题不能收敛到最优解,学习率过小,虽然可以收敛到最优解,但是需要的迭代次数会大大增加,在Tensorflow中,可以用指数衰减法设置学习率,tf.train.exponential_decay()函数会指数级地减小学习率,这样可以让模型在前期快速接近最优解,在后期不至于有太大的波动,从而更加接近最优解.

一.疑问 二.知识点 1. 损失函数可视化 ​ 损失函数一般都是定义在高维度的空间中,这样要将其可视化就很困难.然而办法还是有的,在1个维度或者2个维度的方向上对高维空间进行切片,例如,随机生成一个权重矩阵,该矩阵就与高维空间中的一个点对应.然后沿着某个维度方向前进的同时记录损失函数值的变化.换句话说,就是生成一个随机的方向并且沿着此方向计算损失值,计算方法是根据不同的值来计算.这个过程将生成一个图表,其x轴是值,y轴是损失函数值.同样的方法还可以用在两个维度上,通过改变来计算损失值,从而给出二

在神经网络中,广泛的使用反向传播和梯度下降算法调整神经网络中参数的取值. 梯度下降和学习率: 假设用 θ 来表示神经网络中的参数, J(θ) 表示在给定参数下训练数据集上损失函数的大小. 那么整个优化过程就是寻找一个参数θ, 使得J(θ) 的值最小, 也就是求J(θ) 的最小值 损失函数J(θ)的梯度 = ∂ J(θ) / ∂ θ 此时定义一个学习率 η 梯度下降法更新参数的公式为: θn+1 = θn - η ( ∂ J(θn) / ∂ θn ) 将这个公式循环的重复下去,θ的值就从高处逐渐向

实战案例: 数据X[x0,x1]为正太分布随机点, 标注Y_,当x0*x0+x1*x1<2时,y_=1(红),否则y_=0(蓝)  建立三个.py文件 1.  generateds.py生成数据集 import numpy as np import matplotlib.pyplot as plt seed = 2 def generateds(): #基于seed产生随机数 rdm = np.random.RandomState(seed) #随机数返回200列2行的矩阵,表示300组坐标点(

代码地址如下:http://www.demodashi.com/demo/13870.html 参考GitHub源码:https://github.com/YoungMiao/crnn 应demo大师文章要求,我再补充下,推荐下,这个平台挺好 1.环境搭建 1.1 基础环境 Ubuntu14.04 + CUDA opencv2.4 + pytorch + lmdb +wrap_ctc 安装lmdb apt-get install lmdb 1.2 安装pytorch pip,linux,cuda