————————————————————————————————————

写在开头:此文参照莫烦python教程(墙裂推荐!!!)

————————————————————————————————————

TensorFlow之建造第一个神经网络

1 定义添加层

import tensorflow as tf

def add_layer(inputs,in_size,out_size,activation_function=None):
Weights = tf.Variable(tf.random_normal([in_size,out_size]))#用随机数来初始化Weights,这比全部为0要好,int_size行,out_size列
biases = tf.Variable(tf.zeros([1,out_size])+0.1) #1行,out_size列,均为0.1
Wx_plus_b = tf.matmul(inputs,Weights) + biases #预测出来但还没激活的值
if activation_function is None: #如果没有激活函数,则返回预测原值
outputs = Wx_plus_b
else:
outputs = activation_function(Wx_plus_b) #否则,返回预测值激活之后的值
return outputs

2 建立神经网络结构

import numpy as np
#生成数据
x_data = np.linspace(-1,1,300)[:,np.newaxis] #有300行,即一个特性,300个对象
noise = np.random.normal(0,0.05,x_data.shape) #加入噪音,用期望为0、方差为0.05的正态分布的随机数来建立
y_data = np.square(x_data)-0.5 + noise #将输入数据和输出数据定义为placeholder
xs = tf.placeholder(tf.float32,[None,1]) #1为属性数,None为随意数都行
ys = tf.placeholder(tf.float32,[None,1]) #第一层layer,即输入层,这里只有一个神经元
#第二层layer,即隐藏层,这里定义10个神经元
#第三层layer,这里为输出层,这里有一个神经元 #下面增加第二层,即这里的隐藏层
l1 = add_layer(xs,1,10,activation_function=tf.nn.relu) #下面定义输出层
prediction = add_layer(l1,10,1,activation_function=None) #计算损失
loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys -prediction),reduction_indices=[1]))#求和之后求平均 #训练
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss) #学习效率为0.1,学习效率一般小于1 #初始所有变量
init = tf.global_variables_initializer() sess = tf.Session()
sess.run(init) for i in range(1000):
sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
if i % 50 == 0:
print(sess.run(loss,feed_dict={xs:x_data,ys:y_data})) #打印误差,如果误差不断减小,则模型有不断学习
0.32276458
0.012201915
0.0066840313
0.0057683536
0.0053448635
0.0050948677
0.004914441
0.004781631
0.0046798103
0.0046042935
0.004543632
0.0044809543
0.0044029644
0.0042897784
0.004155126
0.004016761
0.0038873414
0.003766319
0.0036393174
0.0035409257

由上面结果可知,误差是越来越小的。这说明,这个网络是在不断学习的

3 结果可视化

#在上面的for之前加入一些绘图的代码,如下:
%matplotlib inline
import matplotlib.pyplot as plt #结果可视化所用 #加入绘图代码,先打印x_data和y_data
fig = plt.figure()
ax = fig.add_subplot(1,1,1)
ax.scatter(x_data,y_data)
plt.ion() #使show()后不会暂停程序
#plt.show() for i in range(1000):
#训练
sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
if i % 50 == 0:
#print(sess.run(loss,feed_dict={xs:x_data,ys:y_data})) #打印误差,如果误差不断减小,则模型有不断学习
try:
ax.lines.remove(lines[0])
except Exception:
pass
prediction_value = sess.run(prediction,feed_dict={xs:x_data}) #计算预测值
lines = ax.plot(x_data,prediction_value,'r-',lw = 5) #绘制预测值的曲线,红色,线框为5
#ax.lines.remove(lines[0]) #抹除掉第一个线段
plt.pause(1) #暂停1秒

这里应该是有一条红色的线在不断拟合这些蓝点的。这里只显示了最后一条红色的线

4 加速神经网络

  • SGD:把数据分块,每次使用批量数据。虽然损失了一点精度,但速度大大加快了
  • Mmomentum:在更新W权值时加速。公式如下:

    m = b1*m - learning rate * dx;

    W += m
  • AdaGrad:在更新W权值时加速。公式如下:

    v += pow(dx,2)

    W += -Learning rate * dx /sqrt(v)
  • RMSProp:在更新W权值时加速。公式如下:

    v = b1*v + (1-b1)*pow(dx,2)

    W += -Learning rate * dx/sqrt(v)
  • Adam:在更新W权值时加速。公式如下:(又快又好)

    m = b1*m +(1-b1)*dx

    v = b2*v + (1-b2)*pow(dx,2)

    W += -Learning tate *m/sqrt(v)

5 Optimizer优化器

TensorFlow有很多优化器,可以去tensorflow的官网查询

#这里列出几种优化器:

tf.train.GradientDescentOptimizer  #初级常用
tf.train.AdadeltaOptimizer
tf.train.AdagradOptimizer
tf.train.MomentumOptimizer #常用
tf.train.AdamOptimizer #常用
tf.train.FtrlOptimizer
tf.train.RMSPropOptimizer #常用

6 网络可视化工具:tensorboard

利用Tensorboard,可以很好的画出我们的网络结构。下面以上面的例子为例,实践一下。

#把上面的代码copy下来先
import tensorflow as tf

def add_layer(inputs,in_size,out_size,activation_function=None):
with tf.name_scope('layer'): #加入名字
with tf.name_scope('weights'):
Weights = tf.Variable(tf.random_normal([in_size,out_size]))#用随机数来初始化Weights,这比全部为0要好,int_size行,out_size列
with tf.name_scope('biases'):
biases = tf.Variable(tf.zeros([1,out_size])+0.1) #1行,out_size列,均为0.1
with tf.name_scope('Wx_plus_b'):
Wx_plus_b = tf.matmul(inputs,Weights) + biases #预测出来但还没激活的值
if activation_function is None: #如果没有激活函数,则返回预测原值
outputs = Wx_plus_b
else:
outputs = activation_function(Wx_plus_b) #否则,返回预测值激活之后的值
return outputs
import numpy as np
x_data = np.linspace(-1,1,300)[:,np.newaxis]
noise = np.random.normal(0,0.05,x_data.shape)
y_data = np.square(x_data)-0.5 + noise with tf.name_scope('input'):
xs = tf.placeholder(tf.float32,[None,1],name='x_input') #加入名字name
ys = tf.placeholder(tf.float32,[None,1],name='y_input') #第一层layer,即输入层,这里只有一个神经元
#第二层layer,即隐藏层,这里定义10个神经元
#第三层layer,这里为输出层,这里有一个神经元 #下面增加第二层,即这里的隐藏层
l1 = add_layer(xs,1,10,activation_function=tf.nn.relu) #下面定义输出层
prediction = add_layer(l1,10,1,activation_function=None) #计算损失
with tf.name_scope('loss'):
loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys -prediction),reduction_indices=[1]),name='mean') #训练
with tf.name_scope('train'):
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss) sess = tf.Session()
writer = tf.summary.FileWriter("desktop",sess.graph)
#初始所有变量
init = tf.global_variables_initializer()
sess.run(init)

这样桌面便出现了events.out。但我在win10下无法打开。


*点击[这儿:TensorFlow]发现更多关于TensorFlow的文章*


2 TensorFlow入门笔记之建造神经网络并将结果可视化的更多相关文章

  1. 1 TensorFlow入门笔记之基础架构

    ------------------------------------ 写在开头:此文参照莫烦python教程(墙裂推荐!!!) ---------------------------------- ...

  2. tensorflow+入门笔记︱基本张量tensor理解与tensorflow运行结构

    Gokula Krishnan Santhanam认为,大部分深度学习框架都包含以下五个核心组件: 张量(Tensor) 基于张量的各种操作 计算图(Computation Graph) 自动微分(A ...

  3. Tensorflow学习笔记03-使用神经网络做线性回归

    import tensorflow as tf import numpy as np #input就是输入数据,输入矩阵,in_size就是输入矩阵的列数(数据属性数量),out_size输出矩阵列数 ...

  4. 5 TensorFlow入门笔记之RNN实现手写数字识别

    ------------------------------------ 写在开头:此文参照莫烦python教程(墙裂推荐!!!) ---------------------------------- ...

  5. tensorflow学习笔记七----------卷积神经网络

    卷积神经网络比神经网络稍微复杂一些,因为其多了一个卷积层(convolutional layer)和池化层(pooling layer). 使用mnist数据集,n个数据,每个数据的像素为28*28* ...

  6. tensorflow入门笔记(五) name_scope和variable_scope

    一.上下文管理器(context manager) 上下文管理器是实现了上下文协议的对象,主要用于资源的获取与释放.上下文协议包括__enter__.__exit__,简单说就是,具备__enter_ ...

  7. tensorflow入门笔记(二) 滑动平均模型

    tensorflow提供的tf.train.ExponentialMovingAverage 类利用指数衰减维持变量的滑动平均. 当训练模型的时候,保持训练参数的滑动平均是非常有益的.评估时使用取平均 ...

  8. 【TensorFlow入门完全指南】神经网络篇·卷积神经网络

    加载数据集. 这里的keep_prob是dropout的一个参数.dropout是一种随机置零的策略,用来防止模型过拟合. 这里定义两层,上面是卷积层,下面是池化层. 搭建了一层卷积.一层池化.一层卷 ...

  9. tensorflow入门笔记(四) tf.summary 模块

    模块内的函数: tf.summary.audio(name, tensor, sample_rate, max_outputs=3, collections=None, family=None) 输出 ...

随机推荐

  1. ES博客链接

    https://blog.csdn.net/laoyang360/article/details/78290484

  2. 抽象窗口工具包AWT (Abstract Window Toolkit) 是 API为Java 程序提供的建立 图形用户界面

    抽象窗口工具包AWT (Abstract Window Toolkit) 是 API为Java 程序提供的建立 图形用户界面GUI (Graphics User Interface)工具集,AWT可用 ...

  3. java web 页面提速

    记得面试现在这份工作的时候,一位领导语重心长地谈道——当今的世界是互联网的世界,IT企业之间的竞争是很激烈的,如果一个网页的加载和显示速度,相比别人的站点页面有那么0.1秒的提升,那也是很大的一个成就 ...

  4. Node.js 入门 资源

    Node.js 入门 <快速搭建 Node.js 开发环境以及加速 npm> http://fengmk2.com/blog/2014/03/node-env-and-faster-npm ...

  5. 第七篇:两个经典的文件IO程序示例

    前言 本文分析两个经典的C++文件IO程序,提炼出其中文件IO的基本套路,留待日后查阅. 程序功能 程序一打印用户指定的所有文本文件,程序二向用户指定的所有文本文件中写入数据. 程序一代码及其注释 # ...

  6. ddos cc攻击简单介绍(转)

    何为syn flood攻击: SYN Flood是一种广为人知的DoS(拒绝服务攻击)是DDoS(分布式拒绝服务攻击)的方式之一,这是一种利用TCP协议缺陷,发送大量伪造的TCP连接请求,从而使得被攻 ...

  7. cxGrid 显示行号及行号列列名

    cxGrid默认不显示行号,但是可以通过cxGrid1DBTableView1CustomDrawIndicatorCell事件来重绘行号 选中cxGrid1DBTableView1,在OnCusto ...

  8. codeforces2015ICL,Finals,Div.1#J Ceizenpok’s formula【扩展lucas】

    传送门 [题意]: 求C(n,k)%m,n<=108,k<=n,m<=106 [思路]: 扩展lucas定理+中国剩余定理    #include<cstdio> usi ...

  9. jq 之Autocomplete 引发联想及思考

    前情纪要:JQuery UI 是以 JQuery 为基础的开源 JavaScript 网页用户界面代码库.包含底层用户交互.动画.特效和可更换主题的可视控件,这些控件主要包括:Accordion,Au ...

  10. Express入门教程:一个简单的博客

    来自:  http://ourjs.com/detail/56b2a6f088feaf2d031d2468 Express 简介 Express 是一个简洁而灵活的 node.js Web应用框架, ...