1、

tf.multiply(x,y1)      # 对应元素相乘
tf.matmul(x,y2) # 矩阵相乘

2、会话:执行计算图中的节点运算的。

with tf.Session() as sess:

print sess.run(y)

3、参数:就是权重w,用变量表示。随机给初值。

w=tf.Variable(tf.random_normal([2,3],stddev=2,mean=0,seed=1))

正态分布,                                         标准差为2     均值是0

tf.truncated_normal()  去掉过大偏离点的正态分布

4、前向传播:搭建模型,实现推理

输入层,隐藏层,输出层

5、变量初始化、计算图节点运算,都要用会话实现:

变量初始化:

init_op=tf.global_variables_initializer()

sess.run(init_op)

计算图节点运算:在sess.run函数中用feed_dict喂数据

6、用tf.placeholder占位,在sess.run函数中用feed_dict喂数据

喂一组数据:

x=tf.placeholder(tf.float32,shape=(1,2))   多组数据的话,把1改成None

sess.run(y,feed_dict={x:[[0.5,0.6]]})

import tensorflow as tf

x = tf.placeholder(tf.float32,shape=(None,2))
w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1)) a = tf.matmul(x, w1)
y = tf.matmul(a, w2) with tf.Session() as sess:
init_op = tf.global_variables_initializer()
sess.run(init_op)
print(sess.run(y,feed_dict={x: [[0.7, 0.5],[0.2,0.3],
[0.3,0.4],[0.4,0.5]]}))
print(sess.run(w1))
print(sess.run(w2))

7、反向传播:训练模型参数,在所有参数上用梯度下降,使NN模型在训练数据对上的

损失函数最小。

损失函数(loss):预测值y与已知答案y_的差距

均方误差MSE

loss=tf.reduce_mean(tf.square(y_-y))

反向传播训练方法:以减小loss值为优化目标

学习率 :决定参数每次更新的幅度

import tensorflow as tf
import numpy as np BATCH_SIZE = 8 #一次喂入的数据
seed = 23455 rng = np.random.RandomState(seed)
X=rng.rand(32,2)
Y=[[int(x0 + x1 < 1)] for (x0,x1) in X]
print(X)
print(Y) x = tf.placeholder(tf.float32, shape=(None,2))#体积和重量两个特征
yy= tf.placeholder(tf.float32,shape=(None,1))#只有一个特征,合格或者不合格 w1=tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))
w2=tf.Variable(tf.random_normal([3,1],stddev=1,seed=1)) a=tf.matmul(x,w1)
y=tf.matmul(a,w2) #定义损失函数及反向传播方法
loss = tf.reduce_mean(tf.square(yy-y))
train_step=tf.train.GradientDescentOptimizer(0.001).minimize(loss)#学习率为0.001 with tf.Session() as sess:
init_op=tf.global_variables_initializer()
sess.run(init_op)
print(sess.run(w1))
print(sess.run(w2)) #训练模型
STEPS=3000#训练三千轮
for i in range(STEPS):
start = (i*BATCH_SIZE)%32
end = start+BATCH_SIZE
sess.run(train_step, feed_dict={x: X[start:end],yy: Y[start: end]})
if i % 500 == 0: #每500轮打印一次loss值
total_loss = sess.run(loss,feed_dict={x: X, yy: Y})
print(i,total_loss)
print(sess.run(w1))
print(sess.run(w2))

8、搭建神经网络的八股:准备、前传、反传、迭代

(1)准备:import ;常量定义;生成数据集

(2)前向传播:定义输入、参数和输出

(3)反向传播:定义损失函数,反向传播方法

loss =       train_step =

(4)生成会话,训练STEPS轮

9、损失函数

NN复杂度:多用NN层数和NN参数的个数表示

层数=隐藏层的层数+1个输出层

总参数=总w+总b

自定义损失函数:

交叉熵:表征两个概率分布之间的距离

10、学习率:每次参数更新的幅度

学习率设置多少合适?指数衰减率

11、滑动平均(影子值)

记录了每个参数一段时间内过往值得平均,增加了模型的泛化性。

针对所有参数:w、b

tensorflow笔记(北大网课实战)的更多相关文章

  1. tensorflow笔记2(北大网课实战)

    1.正则化缓解过拟合 正则化在损失函数中引入模型复杂度指标,利用给w加权值,弱化了训练数据的噪声 一般不会正则化b. 2.matplotlib.pyplot 3.搭建模块化的神经网络八股: 前向传播就 ...

  2. 对于coursera上三门北大网课的评测

    今年暑假开始就选了coursera上三门北大的网课——C++程序设计.算法基础.数据结构基础,它们属于一个项目的,上的话每个月249块钱,项目里包括这三门一共有七门课.因为一开始是三门课同时上的,数据 ...

  3. CoolBlog开发笔记第2课:搭建开发环境

    教程目录 1.1 CoolBlog开发笔记第1课:项目分析 前言 今天是CoolBlog开发笔记的第2课,我们将要讲解的是开发环境的搭建.俗话说"工欲善其事必先利其器",Djang ...

  4. CoolBlog开发笔记第3课:创建Django应用

    教程目录 1.1 CoolBlog开发笔记第1课:项目分析 1.2 CoolBlog开发笔记第2课:搭建开发环境 前言 经过上一节我们已经创建了CoolBlog工程,但是关于CoolBlog的功能代码 ...

  5. CoolBlog开发笔记第4课:数据库模型设计

    教程目录 1.1 CoolBlog开发笔记第1课:项目分析 1.2 CoolBlog开发笔记第2课:搭建开发环境 1.3 CoolBlog开发笔记第3课:创建Django应用 前言 我新书<Py ...

  6. CoolBlog开发笔记第5课:请求与响应

    教程目录 1.1 CoolBlog开发笔记第1课:项目分析 1.2 CoolBlog开发笔记第2课:搭建开发环境 1.3 CoolBlog开发笔记第3课:创建Django应用 1.4 CoolBlog ...

  7. 手把手教你写电商爬虫-第三课 实战尚妆网AJAX请求处理和内容提取

    版权声明:本文为博主原创文章,未经博主允许不得转载. 系列教程: 手把手教你写电商爬虫-第一课 找个软柿子捏捏 手把手教你写电商爬虫-第二课 实战尚妆网分页商品采集爬虫 看完两篇,相信大家已经从开始的 ...

  8. tensorflow笔记(一)之基础知识

    tensorflow笔记(一)之基础知识 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7399701.html 前言 这篇no ...

  9. tensorflow笔记(二)之构造一个简单的神经网络

    tensorflow笔记(二)之构造一个简单的神经网络 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7425200.html ...

随机推荐

  1. 吴裕雄 Bootstrap 前端框架开发——Bootstrap 字体图标(Glyphicons):glyphicon glyphicon-zoom-in

    <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <meta name ...

  2. python三大神器===》生成器

    1. 认识生成器 利用迭代器,我们可以在每次迭代获取数据(通过next()方法)时按照特定的规律进行生成.但是我们在实现一个迭代器时,关于当前迭代到的状态需要我们自己记录,进而才能根据当前状态生成下一 ...

  3. 【剑指Offer】面试题32 - I. 从上到下打印二叉树

    题目 从上到下打印出二叉树的每个节点,同一层的节点按照从左到右的顺序打印. 例如: 给定二叉树: [3,9,20,null,null,15,7], 3 / \ 9 20 / \ 15 7 返回: [3 ...

  4. mapper.xml实现oracle的分页语句

    当我们用常规方法进行分页查询时,虽然在数据库可以分页查询出来数据, 如下语句 <!-- 分页查询所有 --> <select id="findAllPage" r ...

  5. sass的安装和基础语法

    安装 下载ruby安装包[官网非常慢ruby官网] ruby-2.3.3-x64-mingw32.7z 下载sass sass-3.7.4.gem 方法一: ruby压缩包,解压即可,在bin目录下, ...

  6. JavaScript 对象所有API解析【2020版】

    JavaScript 对象所有API解析[2020版] 写于 2019年08月20日,虽然是2019年写的文章,但现在2020年依旧不过时,现在补充了2019年新增的ES10 Object.fromE ...

  7. 吴裕雄--天生自然JAVA SPRING框架开发学习笔记:Spring JDBCTemplate简介

    Spring 框架针对数据库开发中的应用提供了 JDBCTemplate 类,该类是 Spring 对 JDBC 支持的核心,它提供了所有对数据库操作功能的支持. Spring 框架提供的JDBC支持 ...

  8. 吴裕雄--天生自然C++语言学习笔记:C++ 继承

    当创建一个类时,您不需要重新编写新的数据成员和成员函数,只需指定新建的类继承了一个已有的类的成员即可.这个已有的类称为基类,新建的类称为派生类. 继承代表了 is a 关系.例如,哺乳动物是动物,狗是 ...

  9. mysql视图使用方法

    1.为什么要使用视图 对于复杂的查询,往往是有多个数据表进行关联查询而得到,而这种语句往往比较复杂,也可能非常频繁的使用.比如: select 字段一,字段二.字段三, from 数据表1 join ...

  10. UVA - 11149 Power of Matrix(矩阵倍增)

    题意:已知N*N的矩阵A,输出矩阵A + A2 + A3 + . . . + Ak,每个元素只输出最后一个数字. 分析: A + A2 + A3 + . . . + An可整理为下式, 从而可以用lo ...