以下这些函数可以用于解决梯度消失或梯度爆炸问题上. 1. tf.clip_by_value tf.clip_by_value( t, clip_value_min, clip_value_max, name=None ) Returns:A clipped Tensor. 输入一个张量t,把t中的每一个元素的值都压缩在clip_value_min和clip_value_max之间.小于min的让它等于min,大于max的元素的值等于max. 例子: import tensorflow as tf…

首先明白这个事干嘛的,在我们做求导的时候,会遇到一种情况,求导函数突然变得特别陡峭,是不是意味着下一步的进行会远远高于正常值,这个函数的意义在于,在突然变得陡峭的求导函数中,加上一些判定,如果过于陡峭,就适当减小求导步伐. tf.clip_by_global_norm(t_list, clip_norm, use_norm=None, name=None) 通过权重梯度的总和的比率来截取多个张量的值. t_list 是梯度张量, clip_norm 是截取的比率, 这个函数返回截取过的梯度张量和…

张量的定义 张量(Tensor)理论是数学的一个分支学科,在力学中有重要应用.张量这一术语起源于力学,它最初是用来表示弹性介质中各点应力状态的,后来张量理论发展成为力学和物理学的一个有力的数学工具.张量之所以重要,在于它可以满足一切物理定律必须与坐标系的选择无关的特性.张量概念是矢量概念的推广,矢量是一阶张量.张量是一个可用来表示在一些矢量.标量和其他张量之间的线性关系的多线性函数(可以理解成是向量.矩阵以及更高维结构的统称). But we don’t have to restrict our…

RNN是一个很有意思的模型.早在20年前就有学者发现了它强大的时序记忆能力,另外学术界以证实RNN模型属于Turning-Complete,即理论上可以模拟任何函数.但实际运作上,一开始由于vanishing and exploiting gradient问题导致BPTT算法学习不了长期记忆.虽然之后有了LSTM(长短记忆)模型对普通RNN模型的修改,但是训练上还是公认的比较困难.在Tensorflow框架里,之前的两篇博客已经就官方给出的PTB和Machine Translation模型进行了…

RNN 模型作为一个可以学习时间序列的模型被认为是深度学习中比较重要的一类模型.在Tensorflow的官方教程中,有两个与之相关的模型被实现出来.第一个模型是围绕着Zaremba的论文Recurrent Neural Network Regularization,以Tensorflow框架为载体进行的实验再现工作.第二个模型则是较为实用的英语法语翻译器.在这篇博客里,我会主要针对第一个模型的代码进行解析.在之后的随笔里我会进而解析英语法语翻译器的机能. 论文以及Tensorflow官方教程介绍…

神经结构进步.GPU深度学习训练效率突破.RNN,时间序列数据有效,每个神经元通过内部组件保存输入信息. 卷积神经网络,图像分类,无法对视频每帧图像发生事情关联分析,无法利用前帧图像信息.RNN最大特点,神经元某些输出作为输入再次传输到神经元,可以利用之前信息. xt是RNN输入,A是RNN节点,ht是输出.对RNN输入数据xt,网络计算得输出结果ht,某些信息(state,状态)传到网络输入.输出ht与label比较得误差,用梯度下降(Gradient Descent)和Back-Propag…

自然语言处理,语音处理.文本处理.语音识别(speech recognition),让计算机能够"听懂"人类语音,语音的文字信息"提取". 日本富国生命保险公司花170万美元安装人工智能系统,客户语言转换文本,分析词正面或负面.智能客服是人工能智能公司研究重点.循环神经网络(recurrent neural network,RNN)模型. 模型选择.每一个矩形是一个向量,箭头表示函数.最下面一行输入向量,最上面一行输出向量,中间一行RNN状态.一对一,没用RNN,如…

RNN循环神经网络(Recurrent Neural Network) 如同word2vec中提到的,很多数据的原型,前后之间是存在关联性的.关联性的打破必然造成关键指征的丢失,从而在后续的训练和预测流程中降低准确率. 除了提过的自然语言处理(NLP)领域,自动驾驶前一时间点的雷达扫描数据跟后一时间点的扫描数据.音乐旋律的时间性.股票前一天跟后一天的数据,都属于这类的典型案例. 因此在传统的神经网络中,每一个节点,如果把上一次的运算结果记录下来,在下一次数据处理的时候,跟上一次的运算结果结合在一…

1.导入依赖包,初始化一些常量 import collections import numpy as np import tensorflow as tf TRAIN_DATA = "./data/ptb.train.txt" # 训练数据路径 TEST_DATA = "./data/ptb.test.txt" # 测试数据路径 EVAL_DATA = "./data/ptb.valid.txt" # 验证数据路径 HIDDEN_SIZE = 3…

tensorflow实现基于LSTM的文本分类方法 作者:u010223750 引言 学习一段时间的tensor flow之后,想找个项目试试手,然后想起了之前在看Theano教程中的一个文本分类的实例,这个星期就用tensorflow实现了一下,感觉和之前使用的theano还是有很大的区别,有必要总结mark一下 模型说明 这个分类的模型其实也是很简单,主要就是一个单层的LSTM模型,当然也可以实现多层的模型,多层的模型使用Tensorflow尤其简单,下面是这个模型的图  简单解释一下这个图…