学习笔记TF055:TensorFlow神经网络简单实现一元二次函数
TensorFlow运行方式。加载数据、定义超参数,构建网络,训练模型,评估模型、预测。
构造一个满足一元二次函数y=ax^2+b原始数据,构建最简单神经网络,包含输入层、隐藏层、输出层。TensorFlow学习隐藏层、输出层weights、biases。观察训练次数增加,损失值变化。
生成、加载数据。方程y=x^2-0.5。构造满足方程的x、y。加入不满足方程噪声点。
import tensor flow as tf
import bumpy as np
# 构造满中一元二次方程的函数
x_data = np.linspace(-1,1,300)[:,np.newaxis] # 构建起300个点,分布在-1到1区间,用np生成等差数列,300个点的一维数组转换为300x1的二维数组
noise = np.random.normal(0, 0.05, x_data.shape) # 加入噪声点,与x_data维度一致,拟合均值0、方差0.05正态分布
y_data = np.square(x_data) - 0.5 + noise # y = x^2 - 0.5 + 噪声
定义x、y占位符作输入神经网络变量。
xs = tf.placeholder(tf.float32, [None, 1])
ys = tf.placeholder(tf.float32, [None, 1])
构建网络模型。
构建一个隐藏层,一个输出层。输入参数4个变量,输入数据、输入数据维度、输出数据维度、激活函数。每层向量化处理(y = weights*x +biases),激活函数非线性化处理,输出数据。定义隐藏层、输出层:
def add_layer(inputs, in_size, out_size, activation_function=None):
# 构建权重:in_size*out_size 大小的矩阵
weights = tf.Variable(tf.random_normal([in_size, out_size]))
# 构建偏置:1 * out_size矩阵
biases = tf.Variable(tf.zeros([1, out_size]) + 0.1)
# 矩阵相乘
Wx_plus_b = tf.matmul(inputs, weights) + biases
if activation_function is None:
outputs = Wx_plus_b
else:
outputs = activation_function(Wx_plus_b)
return outputs #得到输出数据
# 构建隐藏层,假设隐藏层有10个神经元
h1 = add_layer(xs, 1, 20, activation_function=tf.nn.relu)
# 构建输出层,假设输出层和输入层一样,有1个神经元
prediction = add_layer(h1, 20, 1, activation_function=None)
构建损失函数,计算输出层预测值、真实值间误差。二者差的平方求和再取平均。梯度下降法,以0.1效率最小化损失。
loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys - prediction), reduction_indices=[1]))
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)
训练模型。训练1000次,每50次输出训练损失值。
init = tf.global_variables_initializer() # 初始化所有变量
sess = tf.Session()
sess.run(init)
for i in range(1000): # 训练1000次
sess.run(train_step, feed_dict = (xs: x_data, ys: y_data)
if i % 50 == 0: #每50次打印出一次损失值
print(sets.run(loss, feed_dict={xs: x_data, ys: y_data}))
训练权重值,模型拟合y = x^2-0.5的系数1和-0.5。损失值越来越小,训练参数越来越逼近目标结果。评估模型,学习系数weights、biase前向传播后和真值y = x^2-0.5结果系数比较,根据相近程度计算准确率。
超参数设定。hyper-parameters,机器学习模型框架参数。手动设定、不断试错。
学习率(learning rate),设置越大,训练时间越短,速度越快。设置越小,训练准确度越高。可变学习率,训练过程记录最桂准确率,连续n轮(epoch)没达到最佳准确率,认为准确率不再提高,停止训练,early stopping,no_improvement-in-n规则。学习率减半,再满足时再减半。逐渐接近最优解,学习率越小,准确度越高。
mini-batch大小。每批大小决定权重更新规则。整批样本梯度全部计算完,才求平均值,更新权重。批次越大训练速度越快,利用矩阵、线性代数库加速,权重更新频率低。批次越小,训练速度越慢。结合机器硬件性能与数据集大小设定。
正则项系数(regularization parameter,λ)。凭经验。复杂网络出现明显过拟合(训练数据准确率高,测试数据准确率下降)。一开始设0,确定好学习率,再给λ设值,根据准确率精细调整。
参考资料:
《TensorFlow技术解析与实战》
欢迎推荐上海机器学习工作机会,我的微信:qingxingfengzi
学习笔记TF055:TensorFlow神经网络简单实现一元二次函数的更多相关文章
- tensorflow学习笔记——使用TensorFlow操作MNIST数据(2)
tensorflow学习笔记——使用TensorFlow操作MNIST数据(1) 一:神经网络知识点整理 1.1,多层:使用多层权重,例如多层全连接方式 以下定义了三个隐藏层的全连接方式的神经网络样例 ...
- tensorflow学习笔记——使用TensorFlow操作MNIST数据(1)
续集请点击我:tensorflow学习笔记——使用TensorFlow操作MNIST数据(2) 本节开始学习使用tensorflow教程,当然从最简单的MNIST开始.这怎么说呢,就好比编程入门有He ...
- [转载]SharePoint 2013搜索学习笔记之搜索构架简单概述
Sharepoint搜索引擎主要由6种组件构成,他们分别是爬网组件,内容处理组件,分析处理组件,索引组件,查询处理组件,搜索管理组件.可以将这6种组件分别部署到Sharepoint场内的多个服务器上, ...
- OGG学习笔记03-单向复制简单故障处理
OGG学习笔记03-单向复制简单故障处理 环境:参考:OGG学习笔记02-单向复制配置实例 实验目的:了解OGG简单故障的基本处理思路. 1. 故障现象 故障现象:启动OGG源端的extract进程, ...
- QML学习笔记(六)- 简单计时器和定时器
做一个简单的qml计时器和定时器,左键触发计时,右键触发定时 GitHub:八至 作者:狐狸家的鱼 本文链接:QML学习笔记(六)- 简单计时器和定时器 左键点击按钮,触发计时器,中键可以暂停计时,同 ...
- CNN学习笔记:卷积神经网络
CNN学习笔记:卷积神经网络 卷积神经网络 基本结构 卷积神经网络是一种层次模型,其输入是原始数据,如RGB图像.音频等.卷积神经网络通过卷积(convolution)操作.汇合(pooling)操作 ...
- [DL学习笔记]从人工神经网络到卷积神经网络_3_使用tensorflow搭建CNN来分类not_MNIST数据(有一些问题)
3:用tensorflow搭个神经网络出来 为什么用tensorflow呢,应为谷歌是亲爹啊,虽然有些人说caffe更适合图像啊mxnet效率更高等等,但爸爸就是爸爸,Android都能那么火,一个道 ...
- [DL学习笔记]从人工神经网络到卷积神经网络_1_神经网络和BP算法
前言:这只是我的一个学习笔记,里边肯定有不少错误,还希望有大神能帮帮找找,由于是从小白的视角来看问题的,所以对于初学者或多或少会有点帮助吧. 1:人工全连接神经网络和BP算法 <1>:人工 ...
- 学习笔记TF024:TensorFlow实现Softmax Regression(回归)识别手写数字
TensorFlow实现Softmax Regression(回归)识别手写数字.MNIST(Mixed National Institute of Standards and Technology ...
随机推荐
- C#Mvc批量删除
前台页面(JQuery) @*全选&批删*@<script type="text/javascript"> $(document).ready(function ...
- net core 随笔
UseApplicationInsights 这个有用到azure 才有用, 平时没用的话可以去掉. 遥测. 上下文指的是 进程间占有的资源空间. 当一个进程时间片到了或者资缺的时候就会让出CPU ...
- F2833x 调用DSP函数库实现复数的FFT的方法
转载自:http://blog.csdn.net/aeecren/article/details/67644363:个人觉得写的很详细,值得一看 在数字信号处理中,FFT变换是经常使用到的,在DSP中 ...
- Linux 安装Python37
1.下载python3.7.0 https://www.python.org/downloads/release/python-370/ 2.创建Linux的python37目录 mkdir /usr ...
- Spring MVC流程
这是spring mvc框架结构图,图片是很早在网上撸过来的,具体在哪忘了…… 早期学习Springmvc 并没有具体了解过,只知道这样用很爽,最近了解下基本结构流程及组件所在…… 执行流程 Spri ...
- 文件6. 查找替换.txt文本文件中的内容
servlet实现对文本文件的查找替换 .jsp界面 <form> <table> <tr> <td>选择文本文件:</td> <td ...
- Debian 系linux切换登录管理器(display manager)
在控制台中sudo dpkg-reconfigure <你的dm包名>即可dm选择列表,选择自己需要的dm 例如ubutu18默认使用gdm3,则输入命令: sudo dpkg-recon ...
- WScript与CScript的区别
WSH有两种形式:一为WScript是一个窗口化的版本:一为CScript是一个命令行的版本.两种版本都可以运行任何脚本.二者之间的区别是,窗口化版本(WScript)使用一个弹出对话框来显示文本输出 ...
- OpenGL绘制一个四边形
学习自:https://learnopengl-cn.github.io/01%20Getting%20started/04%20Hello%20Triangle/ OpenGL没有直接绘制四边形的a ...
- Js修改input值后怎么同步修改绑定的v-model值
v-model只是一种语法糖,底层的方法还是去监听input事件.所以可以使用dispatchEvent事件给元素分配一个input事件,这样可以手动触发 inputElement 的 input 事 ...