————————————————————————————————————

写在开头:此文参照莫烦python教程(墙裂推荐!!!)

————————————————————————————————————

循环神经网络RNN

相关名词:

- LSTM:长短期记忆

- 梯度消失/梯度离散

- 梯度爆炸

- 输入控制:控制是否把当前记忆加入主线网络

- 忘记控制:控制是否暂时忘记主线网络,先看当前分线

- 输出控制: 控制输出是否要考虑要素

- 数据有顺序的/序列化

- 前面的影响后面的

RNN LSTM 之分类

识别手写数字

  • 识别手写数字
  • mnist数据集
  • 一行一行地识别
rnn使用错误及修正
  • 错误一:

错误描述: ValueError: Variable tf.nn.dynsmic_rnn/rnn/basic_lstm_cell/kernel already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope? Originally defined at:

错误解决:看你的训练数据和测试数据是否放在同一个文件下,若是,要加上下面一句:

#如果训练和测试数据存放在同一个文件中,一定要加下面这句!
tf.reset_default_graph()

如果这时候出现了错误二,就用下面的解决方法:

  • 错误二

    错误描述:ValueError: Tensor(“tf.nn.dynsmic_rnn/rnn/Const:0”, shape=(1,), dtype=int32) must be from the same graph as Tensor(“ExpandDims:0”, shape=(1,), dtype=int32).

    错误解决:
#把tf.reset_default_graph()  改为:
tf.Graph()
完整代码

下面是完整的分类代码及结果

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data #load data
mnist = input_data.read_data_sets('MNIST_data',one_hot = True) #参数
lr = 0.001
training_iters = 100000 #循环次数
batch_size = 128 n_inputs = 28 #因为照片是28*28,而每次都读一行,所以input为28
n_steps = 28 #因为有28行,所以要input28步
n_hidden_unis = 128 #隐藏层,自己设
n_classes = 10 #10个数字(0-9),所以类别有10种 #holder
x = tf.placeholder(tf.float32,[None,n_steps,n_inputs])
y = tf.placeholder(tf.float32,[None,n_classes]) #定义权重
weights = {
#input weights(28,128)
'in':tf.Variable(tf.random_normal([n_inputs,n_hidden_unis])),
#output weights(128,10)
'out':tf.Variable(tf.random_normal([n_hidden_unis,n_classes]))
} #定义偏置
biases = {
'in':tf.Variable(tf.constant(0.1,shape=[n_hidden_unis,])),
'out':tf.Variable(tf.constant(0.1,shape =[n_classes,]))
} #定义RNN def RNN(X,weights,biasis):
#hidden layer #X(128,28,28) ==>(128*28,28)
X = tf.reshape(X,[-1,n_inputs])
X_in =tf.matmul(X,weights['in']+biases['in']) #(128*28,128)
X_in = tf.reshape(X_in,[-1,n_steps,n_hidden_unis])#(128,28,128) #cell #forget_bais推荐初始化为1.0
#with tf.variable_scope('lstm_cell'):
lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(n_hidden_unis,forget_bias=1.0,state_is_tuple=True)
#with tf.variable_scope('init_'):
init_state = lstm_cell.zero_state(batch_size,dtype=tf.float32)
#output是个列表;这里实践维度在行,就是X_in的第二个,所以为false,时间维度为第一个,则true
with tf.variable_scope('tf.nn.dynsmic_rnn'):
outputs,states = tf.nn.dynamic_rnn(lstm_cell,X_in,initial_state=init_state,time_major=False) #output
results = tf.matmul(states[1],weights['out']+biases['out'])
##other way,这里可用
#outputs = tf.unpack(tf.transpose(outputs,[1,0,2]))
#results = tf.matmuo(outputs[-1],weights['out']+biases['out']) return results #如果训练和测试数据存放在同一个文件中,一定要加下面这句!
tf.Graph() pred = RNN(x,weights,biases)
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=pred))
train_op = tf.train.AdamOptimizer(lr).minimize(cost) correct_pred = tf.equal(tf.argmax(pred,1),tf.argmax(y,1))
accuracy = tf.reduce_mean(tf.cast(correct_pred,tf.float32)) init = tf.initialize_all_variables()
with tf.Session() as sess:
sess.run(init)
step = 0
while step*batch_size < training_iters:
batch_xs,batch_ys = mnist.train.next_batch(batch_size)
batch_xs = batch_xs.reshape([batch_size,n_steps,n_inputs])
sess.run([train_op],feed_dict={x:batch_xs,y:batch_ys,})
if step%50 == 0:
print(sess.run(accuracy,feed_dict = {
x:batch_xs,y:batch_ys,
}))
step += 1
Extracting MNIST_data\train-images-idx3-ubyte.gz
Extracting MNIST_data\train-labels-idx1-ubyte.gz
Extracting MNIST_data\t10k-images-idx3-ubyte.gz
Extracting MNIST_data\t10k-labels-idx1-ubyte.gz
0.2109375
0.78125
0.84375
0.9140625
0.921875
0.921875
0.9375
0.9453125
0.96875
0.9140625
0.953125
0.984375
0.9609375
0.9453125
0.96875
0.9921875

由上面的结果来看,RNN的效果还是很不错的!


*点击[这儿:TensorFlow]发现更多关于TensorFlow的文章*


5 TensorFlow入门笔记之RNN实现手写数字识别的更多相关文章

  1. TensorFlow使用RNN实现手写数字识别

    学习,笔记,有时间会加注释以及函数之间的逻辑关系. # https://www.cnblogs.com/felixwang2/p/9190664.html # https://www.cnblogs. ...

  2. Pytorch入门——手把手教你MNIST手写数字识别

    MNIST手写数字识别教程 要开始带组内的小朋友了,特意出一个Pytorch教程来指导一下 [!] 这里是实战教程,默认读者已经学会了部分深度学习原理,若有不懂的地方可以先停下来查查资料 目录 MNI ...

  3. SVM学习笔记(二)----手写数字识别

    引言 上一篇博客整理了一下SVM分类算法的基本理论问题,它分类的基本思想是利用最大间隔进行分类,处理非线性问题是通过核函数将特征向量映射到高维空间,从而变成线性可分的,但是运算却是在低维空间运行的.考 ...

  4. TensorFlow(十二):使用RNN实现手写数字识别

    上代码: import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data #载入数据集 mnist ...

  5. Tensorflow项目实战一:MNIST手写数字识别

    此模型中,输入是28*28*1的图片,经过两个卷积层(卷积+池化)层之后,尺寸变为7*7*64,将最后一个卷积层展成一个以为向量,然后接两个全连接层,第一个全连接层加一个dropout,最后一个全连接 ...

  6. TensorFlow(十):卷积神经网络实现手写数字识别以及可视化

    上代码: import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data mnist = inpu ...

  7. mnist手写数字识别——深度学习入门项目(tensorflow+keras+Sequential模型)

    前言 今天记录一下深度学习的另外一个入门项目——<mnist数据集手写数字识别>,这是一个入门必备的学习案例,主要使用了tensorflow下的keras网络结构的Sequential模型 ...

  8. TensorFlow卷积神经网络实现手写数字识别以及可视化

    边学习边笔记 https://www.cnblogs.com/felixwang2/p/9190602.html # https://www.cnblogs.com/felixwang2/p/9190 ...

  9. 【问题解决方案】Keras手写数字识别-ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接

    参考:台大李宏毅老师视频课程-Keras-Demo 在载入数据阶段报错: ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接 Google之 ...

随机推荐

  1. 基于ffmpeg 直播推流和播放rtmp (IOS源码)

    ios直播推流每秒能达到30帧,比安卓要强,视频采用软编码的话手机会发烫,得采用码编码,播放视频采用opengl渲染. ffmpeg初始化代码如下: int init_Code(int width, ...

  2. cannot be translated into a null value due to being declared as a primitive type. Consid

    严重: Servlet.service() for servlet [note-portal] in context with path [] threw exception [Request pro ...

  3. java文件对话框操作

        完毕文件打开与保存   FileDialog : FileDialog fd = new FileDialog(this); fd.setVisible(true);//或fd.show(); ...

  4. ssd算法论文理解

    这篇博客主要是讲下我在阅读ssd论文时对论文的理解,并且自行使用pytorch实现了下论文的内容,并测试可以用. 开篇放下论文地址https://arxiv.org/abs/1512.02325,可以 ...

  5. website 合集

    1. oracle  http://asktom.oracle.com ( 英文 ) http://itpub.net ( 中文 ) https://www.oracle.com/communitie ...

  6. EasyUI获取DataGrid中某一列的所有值

    function count() { var rows = $('#dg'').datagrid('getRows')//获取当前页的数据行 var total = 0; for (var i = 0 ...

  7. Jafka Broker代码阅读之总览

    从本文开始,笔者将尝试从源码角度解读Jafka(Kafka)的特性,探究其背后的实现原理与技术.前面讲解Jafka Broker的文章中有提到下面这段启动服务端的代码,我们就从这里开始. Proper ...

  8. 【ARDUINO】串口无法打开问题

    1.查看是否串口被锁 sudo arduino ls /var/lock sudo rm /var/lock/LCK..ttyACM* 2.查看arduino安装位置 dpkg -S XXXX 3.原 ...

  9. javascript基本语法和变量(转)

    转载来自 阮一峰老师的文章,地址为:http://javascript.ruanyifeng.com/grammar/basic.html#toc0 1.1语句 JavaScript 程序的执行单位是 ...

  10. poj 3498(最大流+拆点)

    题目链接:http://poj.org/problem?id=3498 思路:首先设一个超级源点,将源点与各地相连,边容量为各点目前的企鹅数量,然后就是对每个冰块i进行拆点了(i,i+n),边容量为能 ...