标题党其实也不多,一个输入层,三个隐藏层,一个输出层

老样子先上代码

导入mnist的路径很长,现在还记不住

import tensorflow as tf
import tensorflow.examples.tutorials.mnist.input_data as input_data
import numpy as np
import matplotlib.pyplot as plt
from time import time
mnist = input_data.read_data_sets("data/",one_hot = True)
#导入Tensorflwo和mnist数据集等 常用库

  

设置输入层,X为样本数据,y是标签值

X 784是因为28*28,None是因为不知道需要用多少样本

Y 10是因为 0~9的预测输出,None理由同上

x = tf.placeholder(tf.float32,[None,784],name='X')
y = tf.placeholder(tf.float32,[None,10],name='Y')

3层这样写有点啰嗦 下一版有个用函数实现的比这个好。

tf.truncated_normal([784,H1_NN],stddev = 0.1)以截断正态分布的随机初始化,数学原理不解释(budong),反正大小控制在stddev里面 方便后面训练
H1_NN = 256 #第一层神经元节点数
H2_NN = 64 #第二层神经元节点数
H3_NN = 32 #第三层神经元节点数
#第一层
W1 = tf.Variable(tf.truncated_normal([784,H1_NN],stddev = 0.1))
b1 = tf.Variable(tf.zeros(H1_NN))
#第二层
W2 = tf.Variable(tf.truncated_normal([H1_NN,H2_NN],stddev = 0.1))
b2 = tf.Variable(tf.zeros(H2_NN))
#第三层
W3 = tf.Variable(tf.truncated_normal([H2_NN,H3_NN],stddev = 0.1))
b3 = tf.Variable(tf.zeros(H3_NN))
#输出层
W4 = tf.Variable(tf.truncated_normal([H3_NN,10],stddev = 0.1))
b4 = tf.Variable(tf.zeros(10))

输出 不多讲了 前三层使用了Relu,最后输出因为是10分类所有使用了softmax

(今天写的时候记错了pred输出使用了loss函数的softmax计算导致程序报错,先记下来)

Y1 = tf.nn.relu(tf.matmul(x,W1)+b1) #使用Relu当作激活函数
Y2 = tf.nn.relu(tf.matmul(Y1,W2)+b2)#使用Relu当作激活函数
Y3 = tf.nn.relu(tf.matmul(Y2,W3)+b3)#使用Relu当作激活函数
forward = tf.matmul(Y3,W4)+b4
pred = tf.nn.softmax(forward)#输出层分类应用使用softmax当作激活函数

没错上面说的就是这个tf.nn.sofmax_cross_entropy_with_logits,不使用这个使用第一版的

#损失函数使用交叉熵
loss_function = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits = forward,labels = y))

会因为log为0导致梯度爆炸 数学原理不太懂 以后补一下,会了再来填充

loss_function = tf.reduce_mean(-tf.reduce_sum(y*tf.log(pred),
reduction_indices=1))

超参数设置啥的没啥好说,值得一提total_batch 好像是类似一个洗牌的函数

#设置训练参数
train_epochs = 50
batch_size = 50
total_batch = int(mnist.train.num_examples/batch_size) #随机抽取样本
learning_rate = 0.01
display_step = 1

优化器,(反向传播?)不确定 反正用来调整最优的w和b

#优化器
opimizer = tf.train.AdamOptimizer(learning_rate).minimize(loss_function)

利用argmax对比预测结果和标签值,方便后面统计准确率

#定义准确率
correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(pred,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))

开始训练,后面会补一个保存和调用模型的代码不然以后模型大了 不保存都要程序跑一次才能用太费时间,这里print我把用format的删了 因为不太会用

#开始训练
sess = tf.Session()
init = tf.global_variables_initializer()
startTime = time()
sess.run(init)
for epochs in range(train_epochs):
for batch in range(total_batch):
xs,ys = mnist.train.next_batch(batch_size)#读取批次数据
sess.run(opimizer,feed_dict={x:xs,y:ys})#执行批次数据训练 #total_batch个批次训练完成后,使用验证数据计算误差与准确率
loss,acc = sess.run([loss_function,accuracy],
feed_dict={
x:mnist.validation.images,
y:mnist.validation.labels})
#输出训练情况
if(epochs+1) % display_step == 0:
epochs += 1
print("Train Epoch:",epochs,
"Loss=",loss,"Accuracy=",acc)
duration = time()-startTime
print("Trian Finshed takes:","{:.2f}".format(duration))#显示预测耗时

最后50轮训练后准确率是0.97左右 已经收敛了

使用测试集评估模型

#评估模型
accu_test = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels})
print("model accuracy:",accu_test)

  准确率0.9714,还行

到这里就结束了,最后把完整代码放上来 方便以后看

import tensorflow as tf
import tensorflow.examples.tutorials.mnist.input_data as input_data
import numpy as np
import matplotlib.pyplot as plt
from time import time
mnist = input_data.read_data_sets("data/",one_hot = True)
#导入Tensorflwo和mnist数据集等 常用库
x = tf.placeholder(tf.float32,[None,784],name='X')
y = tf.placeholder(tf.float32,[None,10],name='Y')
H1_NN = 256 #第一层神经元节点数
H2_NN = 64 #第二层神经元节点数
H3_NN = 32 #第三层神经元节点数
#第一层
W1 = tf.Variable(tf.truncated_normal([784,H1_NN],stddev = 0.1))
b1 = tf.Variable(tf.zeros(H1_NN))
#第二层
W2 = tf.Variable(tf.truncated_normal([H1_NN,H2_NN],stddev = 0.1))
b2 = tf.Variable(tf.zeros(H2_NN))
#第三层
W3 = tf.Variable(tf.truncated_normal([H2_NN,H3_NN],stddev = 0.1))
b3 = tf.Variable(tf.zeros(H3_NN))
#输出层
W4 = tf.Variable(tf.truncated_normal([H3_NN,10],stddev = 0.1))
b4 = tf.Variable(tf.zeros(10))
#计算结果
Y1 = tf.nn.relu(tf.matmul(x,W1)+b1) #使用Relu当作激活函数
Y2 = tf.nn.relu(tf.matmul(Y1,W2)+b2)#使用Relu当作激活函数
Y3 = tf.nn.relu(tf.matmul(Y2,W3)+b3)#使用Relu当作激活函数
forward = tf.matmul(Y3,W4)+b4
pred = tf.nn.softmax(forward)#输出层分类应用使用softmax当作激活函数
#损失函数使用交叉熵
loss_function = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits = forward,labels = y))
#设置训练参数
train_epochs = 50
batch_size = 50
total_batch = int(mnist.train.num_examples/batch_size) #随机抽取样本
learning_rate = 0.01
display_step = 1
#优化器
opimizer = tf.train.AdamOptimizer(learning_rate).minimize(loss_function)
#定义准确率
correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(pred,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
#开始训练
sess = tf.Session()
init = tf.global_variables_initializer()
startTime = time()
sess.run(init)
for epochs in range(train_epochs):
for batch in range(total_batch):
xs,ys = mnist.train.next_batch(batch_size)#读取批次数据
sess.run(opimizer,feed_dict={x:xs,y:ys})#执行批次数据训练 #total_batch个批次训练完成后,使用验证数据计算误差与准确率
loss,acc = sess.run([loss_function,accuracy],
feed_dict={
x:mnist.validation.images,
y:mnist.validation.labels})
#输出训练情况
if(epochs+1) % display_step == 0:
epochs += 1
print("Train Epoch:",epochs,
"Loss=",loss,"Accuracy=",acc)
duration = time()-startTime
print("Trian Finshed takes:","{:.2f}".format(duration))#显示预测耗时
#评估模型
accu_test = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels})
print("model accuracy:",accu_test)

全部代码

基于tensorflow实现mnist手写识别 (多层神经网络)的更多相关文章

  1. 使用tensorflow实现mnist手写识别(单层神经网络实现)

    import tensorflow as tf import tensorflow.examples.tutorials.mnist.input_data as input_data import n ...

  2. 基于tensorflow的MNIST手写识别

    这个例子,是学习tensorflow的人员通常会用到的,也是基本的学习曲线中的一环.我也是! 这个例子很简单,这里,就是简单的说下,不同的tensorflow版本,相关的接口函数,可能会有不一样哟.在 ...

  3. 基于tensorflow的MNIST手写数字识别(二)--入门篇

    http://www.jianshu.com/p/4195577585e6 基于tensorflow的MNIST手写字识别(一)--白话卷积神经网络模型 基于tensorflow的MNIST手写数字识 ...

  4. 基于TensorFlow的MNIST手写数字识别-初级

    一:MNIST数据集    下载地址 MNIST是一个包含很多手写数字图片的数据集,一共4个二进制压缩文件 分别是test set images,test set labels,training se ...

  5. 基于TensorFlow的MNIST手写数字识别-深入

    构建多层卷积神经网络时需要多组W和偏移项b,我们封装2个方法来产生W和b 初级MNIST中用0初始化W和b,这里用噪声初始化进行对称打破,防止产生梯度0,同时用一个小的正值来初始化b避免dead ne ...

  6. Tensorflow之基于MNIST手写识别的入门介绍

    Tensorflow是当下AI热潮下,最为受欢迎的开源框架.无论是从Github上的fork数量还是star数量,还是从支持的语音,开发资料,社区活跃度等多方面,他当之为superstar. 在前面介 ...

  7. Android+TensorFlow+CNN+MNIST 手写数字识别实现

    Android+TensorFlow+CNN+MNIST 手写数字识别实现 SkySeraph 2018 Email:skyseraph00#163.com 更多精彩请直接访问SkySeraph个人站 ...

  8. TensorFlow 入门之手写识别(MNIST) softmax算法

    TensorFlow 入门之手写识别(MNIST) softmax算法 MNIST flyu6 softmax回归 softmax回归算法 TensorFlow实现softmax softmax回归算 ...

  9. tensorflow笔记(四)之MNIST手写识别系列一

    tensorflow笔记(四)之MNIST手写识别系列一 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7436310.html ...

随机推荐

  1. virtualbox+vagrant学习-4-Vagrantfile-1-简介

    Vagrantfile Vagrantfile的主要功能是描述项目所需的机器类型,以及如何配置和提供这些机器.之所以称为Vagrantfiles,是因为文件的实际文本文件名是Vagrantfile(除 ...

  2. 【转】Android:No implementation found for native

    解决方法: 1.检查native c code的定义: JNIEXPORT void Java_com_example_something_MyClass_getMyString(JNIEnv * e ...

  3. PCB布线经验

      查看: 3645|回复: 11    [经验] PCB设计经验(1)——布局基本要领 [复制链接]     ohahaha 927 TA的帖子 0 TA的资源 纯净的硅(中级) 发消息 加好友 电 ...

  4. C#窗口皮肤制作(二):创建窗口库项目以及最小化、最大化、关闭button的实现

    非常高兴有朋友关注这篇博客,同一时候也十分抱歉让关注的朋友久等了,隔上一篇博客也有3个月没有更新,主要是因为3月份辞职,4月份初离职到期离开了北京高德,来到了上海张江.眼下新工作也处于熟悉其中,希望大 ...

  5. 前端获取table表格里面的所有(单个)tr和所有(单个)td,用js实现

    今天在做项目遇到了一个问题,就是获取不到table里面的td. 本来是打算使用jq来解决的,但网上大部分人使用的都是获取到table标签然后点出他的children函数,我的前端页面没有这个函数,然后 ...

  6. 关于mysql中GROUP_CONCAT函数的使用

    偶然看到公司存储过程中有个字符串拼接的函数,改bug过程中使用到了,还挺有用的,于是记录下来方便记忆,帮助有需要的人. 这是我需要整理的串,他是调用了一个存储过程,传入组织机构的id和迭代层数,返回来 ...

  7. 前端框架比较,Layui - iView - ElementUI

    Layui 分为单页版和iframe版 单页版 通过将单页代码输出到div,不如要完整的html代码. 刷新页面后,依然能够记录上一次的页面. 此种方式不易于调试前端代码. Iframe版 通过ifr ...

  8. PHP SHA1withRSA加密生成签名及验签

    最近公司对接XX第三方支付平台的代付业务,由于对方公司只有JAVA的demo,所以只能根据文档自己整合PHP的签名加密,网上找过几个方法,踩到各种各样的坑,还好最后算是搞定了,话不多说,代码分享出来. ...

  9. nRF52832 改变ATT_MTU提高蓝牙数据发送速率(nRF5_SDK_14.2.0)

    nRF52832 作为一个低功耗蓝牙芯片,其数据发送发送速率一直都偏低(高就不叫低功耗了^_^),作为初学者在网上找了很多资料,终于找到通过修改ATT_MTU来提升发送速率的方法,最快能达到8.2KB ...

  10. 从0开始学golang--1--部署本地服务器

    部署自己的本地服务器. 找了个三方包项目:beego.看了下还不错. 上代码....: 首先直接安装三方包,CMD下:go get github.com/astaxie/beego 安装成功后会在pk ...