Tensorflow学习笔记01

Tensorflow官方网站：http://tensorflow.org/

极客学院Tensorflow中文版：http://wiki.jikexueyuan.com/project/tensorflow-zh/

使用Tensorflow写的第一个示例程序，用来做线性回归

import tensorflow as tf
import numpy as np
 
#create data
x_data=np.random.rand(100).astype(np.float32)
y_data=x_data*0.1+0.3
 
#create tensorflow stucture start
Weight=tf.Variable(tf.random_uniform([1],-1.0,1.0))
biases=tf.Variable(tf.zeros([1]))
 
y=Weight*x_data+biases
 
#loss function
loss=tf.reduce_mean(tf.square(y-y_data))
#learning rate=0.5
optimizer=tf.train.GradientDescentOptimizer(0.5)
#minimize loss
train=optimizer.minimize(loss)
 
#variables initialize
init=tf.global_variables_initializer()
#create tensorflow stucture end
 
sess=tf.Session()
sess.run(init)
 
for step in range(201):
    sess.run(train)
    if step%20==0:
        print(step,sess.run(Weight),sess.run(biases))

loss function为代价函数，也被称为平方误差函数

学习率的调整

learning rate则是学习率，它决定了我们沿着能让代价函数下降程度最大方向向下迈出的步子有多大，学习率不能太大也不能太小，如果学习率过小，那么学习的速率过慢，可能需要花很多步才能走到最低点，而学习率过大的话，会导致无法收敛。上面代码中的学习率为0.5，这个学习率是随意设置的，通常可以考虑尝试0.01,0.03,0.1,0.3,1,3,10

在每次迭代中调节不同的学习率

在每次迭代中去调整学习率的值是另一种很好的学习率自适应方法。此类方法的基本思路是当你离最优值越远，你需要朝最优值移动的就越多，即学习率就应该越大；反之亦反。但是这里有一个问题，就是我们并不知道实际上的最优值在哪里，我们也不知道每一步迭代中我们离最优值有多远。

解决办法是，我们在每次迭代的最后，使用估计的模型参数检查误差函数（error function）的值。如果相对于上一次迭代，错误率减少了，就可以增大学习率，以5%的幅度；如果相对于上一次迭代，错误率增大了（意味着跳过了最优值），那么应该重新设置上一轮迭代ω_j 的值，并且减少学习率到之前的50%。这种方法叫做Bold Driverhttp://www.willamette.edu/~gorr/classes/cs449/momrate.html