TensorFlow笔记-05-反向传播,搭建神经网络的八股 反向传播 反向传播: 训练模型参数,在所有参数上用梯度下降,使用神经网络模型在训练数据上的损失函数最小 损失函数:(loss) 计算得到的预测值 y 与已知答案 y_ 差距 损失函数的计算有很多方法,均方误差MSE是比较常用的方法之一 关于损失函数,会在下一篇仔细讲 均方误差: 求前向传播计算结果与已知答案之差的平方再求平均 用 Tensorflow 函数表示: loss = tf.reduce_mean(tf.square(y-y_…

Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 zouxy09@qq.com http://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正…

TensorFlow笔记-07-神经网络优化-学习率,滑动平均 学习率 学习率 learning_rate: 表示了每次参数更新的幅度大小.学习率过大,会导致待优化的参数在最小值附近波动,不收敛:学习率过小,会导致待优化的参数收敛缓慢 在训练过程中,参数的更新向着损失函数梯度下降的方向 参数的更新公式为: wn+1 = wn - learning_rate▽ 假设损失函数 loss = (w + 1)2.梯度是损失函数 loss 的导数为 ▽ = 2w + 2 .如参数初值为5,学习率为 0.2…

指数衰减学习率是先使用较大的学习率来快速得到一个较优的解,然后随着迭代的继续,逐步减小学习率,使得模型在训练后期更加稳定.在训练神经网络时,需要设置学习率(learning rate)控制参数的更新速度,学习速率设置过小,会极大降低收敛速度,增加训练时间:学习率太大,可能导致参数在最优解两侧来回振荡. 函数原型: tf.train.exponential_decay(    learning_rate,    global_step,    decay_steps,    decay_rate,…

实战案例: 数据X[x0,x1]为正太分布随机点, 标注Y_,当x0*x0+x1*x1<2时,y_=1(红),否则y_=0(蓝)  建立三个.py文件 1.  generateds.py生成数据集 import numpy as np import matplotlib.pyplot as plt seed = 2 def generateds(): #基于seed产生随机数 rdm = np.random.RandomState(seed) #随机数返回200列2行的矩阵,表示300组坐标点(…

https://blog.csdn.net/zouxy09/article/details/9993371 自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正交流,谢谢. 本文的论文来自: Notes on Convolutio…

1.正则化缓解过拟合 正则化在损失函数中引入模型复杂度指标,利用给w加权值,弱化了训练数据的噪声 一般不会正则化b. 2.matplotlib.pyplot 3.搭建模块化的神经网络八股: 前向传播就是搭建网络,设计网络结构(forward.py) def forward(x,regularizer): #regularizer是正则化权重 w= b= y= return y def get_weight(shape,regularizer): w=tf.Variable()#给w赋初值 tf.…

tensorflow中使用mnist数据集训练全连接神经网络 ——学习曹健老师“人工智能实践:tensorflow笔记”的学习笔记, 感谢曹老师 前期准备:mnist数据集下载,并存入data目录: 文件列表:四个文件,分别为训练和测试集数据 Four files are available on 官网  http://yann.lecun.com/exdb/mnist/ : train-images-idx3-ubyte.gz:  training set images (9912422 by…

人工智能实践:TensorFlow笔记-01-开篇概述 从今天开始,从零开始学习TensorFlow,有相同兴趣的同志,可以互相学习笔记,本篇是开篇介绍 Tensorflow,已经人工智能领域的一些名词介绍 人工智能实践:TensorFlow笔记-01-概述 什么是人工智能? 人工智能:机器模拟人的意识和思维 艾伦·麦席森·图灵(1912/06--1954/06),美国数学家,逻辑学家,"计算机科学之父","人工智能之父" 人工智能助理 谷歌 Assistant,微…

TensorFlow笔记-08-过拟合,正则化,matplotlib 区分红蓝点 TensorFlow笔记-07-神经网络优化-学习率,滑动平均 TensorFlow笔记-06-神经网络优化-损失函数,自定义损失函数,交叉熵 TensorFlow笔记-05-反向传播,搭建神经网络的八股 TensorFlow笔记-04-神经网络的实现过程,前向传播 TensorFlow笔记-03-张量,计算图,会话 TensorFlow笔记-02-Windows下搭建TensorFlow环境(win版非虚拟机)…