接触机器学习也有相当长的时间了,对各种学习算法都有了一定的了解,一直都不愿意写博客(借口是没时间啊),最近准备学习深度学习框架tensorflow,决定还是应该把自己的学习一步一步的记下来,方便后期的规划。当然,学习一个新东西,第一步就是搭建一个平台,这个网上很多相关博客,不过,还是会遇到很多坑的,坑咋们不怕,趟过就好了。下面就以一个逻辑回归拟合二维数据为例来入门介绍吧。(参考书:深度学习之Tensorflow入门原理与进阶实践)

  学习都是有一定套路的,深度学习一般情况下:准备数据、搭建模型、迭代训练及使用模型。当然,Tensorflow开发也是有套路的:

      (1)定义Tensorflow输入节点

      (2)定义“学习参数”等变量

      (3)定义“运算”(定义正向传播模型 、定义损失函数)

      (4)优化函数、优化目标(反向传播)

      (5)初始化所有变量

      (6)迭代更新参数直至最优解

      (7)测试模型

      (8)使用模型

  在tensorflow中,将中间节点及节点间的运算关系(OPS)定义在内部的一个“图”上,全通过一个“会话(session)”进行图中OPS的具体运算。“图”是静态的,无论做任何运算,它们只是将关系搭建在一起,并不会做任何运算;而“会话”是动态的,只有启动会话后才会将数据流向图中,并按照图中的关系进行运算,并将最终的结果从图中流出。构建一个完整的图一般需要定义3种变量:输入结点(网络的入口)、学习参数(连接各个节点的路径)、模型中的节点。在实际训练中,通过动态的会话将图中的各个节点按照静态的规则运算起来,每一次的迭代都会对图中的学习参数进行更新调整,通过一定次数的迭代运算之后,最终所形成的图便是所需要的“模型”。而在会话中,任何一个节点都可以通过会话的run函数进行计算,得到该节点的真实数据。

  模型内部的数据有正向和反向:正向,是数据从输入开始,依次进行个节点定义的运算,一直运算到输出,是模型最基本的数据流向,在模型的训练、测试、使用的场景中都会用到的。反向,只有在训练场景下才会用到,反项链式求导的方法,即先从正向的最后一个节点开始,计算此时结果值与真实值的误差,形成一个关于学习参数表示误差的方程,然后,对方程中的每个参数求导,得到其梯度修正值,同时反向推出上一层的误差,这样就将该层节点的误差按照正向的相反方向传到上一层,并接着计算上一层的修正值,如此反复下去进行传播,直到传到正向的第一个节点。

  1、准备数据  

    这里采用y=2x直线为主体,加入一些干扰噪声     

"""准备数据"""
train_X= np.linspace(-1,1,100)
train_Y= 2*train_X + np.random.randn(*train_X.shape)*0.3
plt.plot(train_X,train_Y,'ro',label="Original Data")
plt.legend()
plt.show()

                        

  2、搭建模型

    模型的搭建分两个方向:正向与反向

    (1)正向搭建模型

      神经网络大多是由多个神经元组成的,此处为了简单,采用单个神经元的网络模型。

      

      计算公式为:z=w*xT + b (其中,w是矩阵,xT是矩阵x的转置)w={w1,w2,...wi} xT={x1,x2.....xi}   i=1,2,....n  z表示输出结果,x为输入数据,w为权重,b为偏执值。

      模型每次的"学习"过程本质上就是调整w,b的值,以获得更适合的值。

"""建立模型"""

#占位符
X=tf.placeholder("float")
Y=tf.placeholder("float")
#模型参数
W=tf.Variable(tf.random_normal([1]),name="weight")
b=tf.Variable(tf.zeros([1]),name="bias")
#前向
z=tf.multiply(X,W)+b

    (2)反向搭建模型

      在神经网络的训练过程中数据流向是有两个方向的,即先通过正向生成一个值,然后对比其与实际值的差距,再通过反向过程将里面的参数进行调整,接着再次正向生成预测值并与真实值进行对比,这样循环下去,直到将参数调整到合适值为止。

 #生成值与真实值的平方差
cost= tf.reduce_mean(tf.square(Y-z))
#学习率
learning_rate= 0.01
#梯度下降
optimizer= tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)

    学习率代表调整参数的速度,这个值越大,表明调整的速度越大,相应的精确度越低,值越小,表明调整的精度越高,但学习速度越慢。GradientDescentOptimizer函数是一个封装好的梯度下降算法。

  3、迭代训练模型

    在tensorflow中,任务是通过Session来进行的,通过sess.run()来进行网络节点的运算,通过feed机制将真实数据加载到占位符对应的位置。

"""训练模型"""
init= tf.global_variables_initializer()
training_epochs=20
display_step=2 with tf.Session() as sess:
sess.run(init)
plotdata={"batchsize":[], "loss":[]} def moving_average(a, w=10):
if len(a)<w:
return a[:]
return [val if idx <w else sum(a[(idx-w):idx])/w for idx, val in enumerate(a)] for epoch in range(training_epochs):
for (x,y) in zip(train_X, train_Y):
sess.run(optimizer, feed_dict={X: x, Y:y }) if epoch % display_step == 0:
loss = sess.run(cost, feed_dict={ X: train_X, Y: train_Y })
print ("Epoch:", epoch+1, " cost=", loss, "W=", sess.run(W), " b=",sess.run(b))
if not (loss == "NA"):
plotdata["batchsize"].append(epoch)
plotdata["loss"].append(loss) print( "Finished.")
print( "cost=", sess.run(cost, feed_dict={ X:train_X, Y:train_Y }), "W=", sess.run(W), "b=", sess.run(b)) """训练模型可视化"""
plt.plot(train_X, train_Y, "ro", label="Original Data")
plt.plot(train_X, sess.run(W)*train_X +sess.run(b), label="FittedLine")
plt.legend()
plt.show() plotdata["avgloss"]= moving_average(plotdata["loss"])
plt.figure(1)
plt.subplot(211)
plt.plot(plotdata["batchsize"], plotdata["avgloss"], "b--")
plt.xlabel("Minibatch number")
plt.ylabel("Loss")
plt.title("Minibatch run vs.Training loss") plt.show()

结果:

Epoch: 1 cost= 0.9754149 W= [0.58673507] b= [0.4007497]
Epoch: 3 cost= 0.15794739 W= [1.648151] b= [0.11324686]
Epoch: 5 cost= 0.09357372 W= [1.9356339] b= [0.00494289]
Epoch: 7 cost= 0.08987887 W= [2.0101867] b= [-0.02363242]
Epoch: 9 cost= 0.08980431 W= [2.029468] b= [-0.03103093]
Epoch: 11 cost= 0.089843966 W= [2.0344524] b= [-0.03294369]
Epoch: 13 cost= 0.08985817 W= [2.0357416] b= [-0.03343845]
Epoch: 15 cost= 0.08986214 W= [2.0360765] b= [-0.03356693]
Epoch: 17 cost= 0.08986315 W= [2.0361621] b= [-0.03359992]
Epoch: 19 cost= 0.08986344 W= [2.0361862] b= [-0.03360903]
Finished.
cost= 0.0898635 W= [2.0361903] b= [-0.03361049]

         

   可以清楚看到,cost的值在不断变小,w和b的值也在不断地调整。最后,趋于得到一条回归直线。

  4、使用模型

    模型训练郝红阳,使用起来就简单了

    如:print("x=2,z=",sess.run(z, feed_dict={X:2 }))即可。

  tensorflow中定义输入节点的方法:

      (1)、通过占位符定义(一般情况下使用)如:

          X=tf.placeholder("float")

          Y=tf.placeholder("float")

      (2)、通过字典类型定义(一般用于输入比较多的情况下)如:

        inputdict = {

              'x' : tf.placeholder("float),

              'y' : tf.placeholder("float")

             }

      (3)直接定义*(一般很少用):将定义好的变量直接放到OP节点中参与输入运算进行训练。

  完整代码: 

# -*- coding: utf-8 -*-
"""
Spyder Editor @Author:wustczx
""" import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt """准备数据"""
train_X= np.linspace(-1,1,100)
train_Y= 2*train_X + np.random.randn(*train_X.shape)*0.3
plt.plot(train_X,train_Y,'ro',label="Original Data")
plt.legend()
plt.show() """建立模型"""
X=tf.placeholder("float")
Y=tf.placeholder("float") W=tf.Variable(tf.random_normal([1]),name="weight")
b=tf.Variable(tf.zeros([1]),name="bias") z=tf.multiply(X,W)+b #生成值与真实值的平方差
cost= tf.reduce_mean(tf.square(Y-z))
#学习率
learning_rate= 0.01
#梯度下降
optimizer= tf.train.GradientDescentOptimizer(learning_rate).minimize(cost) """训练模型"""
init= tf.global_variables_initializer()
training_epochs=20
display_step=2 with tf.Session() as sess:
sess.run(init)
plotdata={"batchsize":[], "loss":[]} def moving_average(a, w=10):
if len(a)<w:
return a[:]
return [val if idx <w else sum(a[(idx-w):idx])/w for idx, val in enumerate(a)] for epoch in range(training_epochs):
for (x,y) in zip(train_X, train_Y):
sess.run(optimizer, feed_dict={X: x, Y:y }) if epoch % display_step == 0:
loss = sess.run(cost, feed_dict={ X: train_X, Y: train_Y })
print ("Epoch:", epoch+1, " cost=", loss, "W=", sess.run(W), " b=",sess.run(b))
if not (loss == "NA"):
plotdata["batchsize"].append(epoch)
plotdata["loss"].append(loss) print( "Finished.")
print( "cost=", sess.run(cost, feed_dict={ X:train_X, Y:train_Y }), "W=", sess.run(W), "b=", sess.run(b)) """训练模型可视化"""
plt.plot(train_X, train_Y, "ro", label="Original Data")
plt.plot(train_X, sess.run(W)*train_X +sess.run(b), label="FittedLine")
plt.legend()
plt.show() plotdata["avgloss"]= moving_average(plotdata["loss"])
plt.figure(1)
plt.subplot(211)
plt.plot(plotdata["batchsize"], plotdata["avgloss"], "b--")
plt.xlabel("Minibatch number")
plt.ylabel("Loss")
plt.title("Minibatch run vs.Training loss") plt.show()

tensorflow白话篇的更多相关文章

  1. tensorflow进阶篇-5(反向传播2)

    上面是一个简单的回归算法,下面是一个简单的二分值分类算法.从两个正态分布(N(-1,1)和N(3,1))生成100个数.所有从正态分布N(-1,1)生成的数据目标0:从正态分布N(3,1)生成的数据标 ...

  2. tensorflow进阶篇-5(反向传播1)

    这里将讲解tensorflow是如何通过计算图来更新变量和最小化损失函数来反向传播误差的:这步将通过声明优化函数来实现.一旦声明好优化函数,tensorflow将通过它在所有的计算图中解决反向传播的项 ...

  3. 机器学习 - pycharm, tensorflow集成篇

    继续上篇的pyspark集成后,我们再来看看当今热的不得了的tensorflow是如何继承进pycharm环境的 参考: http://blog.csdn.net/include1224/articl ...

  4. tensorflow第一篇---numpy模块

    写在前面: 自学tensorflow半个月,博友们给了我很多帮助,这是我第一篇原创的博文,我想把之前的知识梳理一遍,我会分享我一些在学习过程中遇到的问题,我目前只有这些......... 在介绍ten ...

  5. 机器学习 - 开发环境安装pycharm + tensorflow集成篇

    继续上篇的pyspark集成后,我们再来看看当今热的不得了的tensorflow是如何继承进pycharm环境的 参考: http://blog.csdn.net/include1224/articl ...

  6. tensorflow安装篇

    安装虚拟机redhat7u4-64 镜像文件在http://www.linuxfly.org/post/659 更换yum 参考https://blog.csdn.net/xiaoyiaoyou/ar ...

  7. tensorflow进阶篇-4(损失函数2)

    Hinge损失函数主要用来评估支持向量机算法,但有时也用来评估神经网络算法.下面的示例中是计算两个目标类(-1,1)之间的损失.下面的代码中,使用目标值1,所以预测值离1越近,损失函数值越小: # U ...

  8. tensorflow进阶篇-4(损失函数1)

    L2正则损失函数(即欧拉损失函数),L2正则损失函数是预测值与目标函数差值的平方和.L2正则损失函数是非常有用的损失函数,因为它在目标值附近有更好的曲度,并且离目标越近收敛越慢: # L = (pre ...

  9. tensorflow基础篇-2

    #-*- coding:utf-8 -*- import tensorflow as tf sess=tf.Session() #整流水线单元relu print sess.run(tf.nn.rel ...

随机推荐

  1. /etc/sysconfig/network-scripts/ifcfg-ens33

    因为最近重新搭建CDH集群: DEVICE     接口名(设备,网卡) USERCTL    [yes|no](非root用户是否可以控制该设备) BOOTPROTO  IP的配置方法[none|s ...

  2. [每日一讲] Python系列:字典

    #! /usr/bin/python # coding:utf-8 """ DATA STRUCTURE Container: Mapping (Another cont ...

  3. xgboost使用细节

    from http://blog.csdn.net/zc02051126/article/details/46771793 在Python中使用XGBoost 下面将介绍XGBoost的Python模 ...

  4. mysql57 在windows 下无法修改 大小写设置

    参考: https://blog.csdn.net/ceciliawanghenan/article/details/82916662 清空data文件,我的data文件在programdata\My ...

  5. javaweb上传大文件的问题

    总结一下大文件分片上传和断点续传的问题.因为文件过大(比如1G以上),必须要考虑上传过程网络中断的情况.http的网络请求中本身就已经具备了分片上传功能,当传输的文件比较大时,http协议自动会将文件 ...

  6. Codeforces Round #345 (Div 2)

    最后两题是orzCJK学长帮忙代打的,不过总算是到蓝名了(上次睡迟了,只剩半个小时,结果作大死点开题目看,结果rating掉了100多),还有论代码风格的重要性!!!(没写空格被学长各种D) A题 题 ...

  7. (59)Linux操作系统深入应用

    目录: 第一部分:嵌入式的含义 第二部分:DOS命令 第三部分:linux的发展历史(与unix的关系) 第四部分: 基于ubuntu下的linux命令详解大全         第一部分:嵌入式的含义 ...

  8. Min_25筛初级应用:求$[1,n]$内质数个数

    代码 #include <bits/stdc++.h> #define rin(i,a,b) for(int i=(a);i<=(b);++i) #define irin(i,a,b ...

  9. lines

    lines Time Limit: 5000/2500 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others)Total Submi ...

  10. Word2Vec模型参数 详解

    用gensim函数库训练Word2Vec模型有很多配置参数.这里对gensim文档的Word2Vec函数的参数说明进行翻译,以便不时之需. class gensim.models.word2vec.W ...