tensorflow(五)

一、单机编程框架

单机程序是指启动和运行都在一台机器的一个进程中完成，因为没有网络开销，非常适合参数不多、计算量小的模型。

步骤，创建单机数据流图，创建并运行单机会话。

saver = tf.train.Saver()
sess = tf.InteractiveSession()
tf.global_variables_initializer().run()
 
for i in range(1000):
    batch_xs,batch_ys = mnist.train.next_batch(100)
    sess.run(train_step,feed_dict={x:batch_xs,y_=batch_ys})
    if i%100 = 0:
        saver.save(sess,'mnist.ckpt')
correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
sess.run(accuracy,feed_dict={x:mnist.test.images,y_:mnist.test.labels})

如果想指定机器上的设备如cpu,gpu

可以使用

with tf.device('/cpu:0'):

　　……

二、分布式程序编程框架

PS-worker是一种经典的分布式架构，它在大规模分布式机器学习和深度学习中有广泛的应用，tensorFlow提供了对PS-worker的支持。

步骤

(1).pull,各worker根据数据流图的拓扑结构，从PS拉取最新的模型参数

(2).feed,各worker按照一定的规则填充不同批次的批数据

(3).compute,各worker使用相同的模型参数和不同的批数据计算梯度，得出不同的梯度值

(4).push，各worker将上一步计算得到的梯度值推送到PS

(5).update,PS汇总数据，求出梯度平均值后更新模型参数

分布式程序运行步骤 创建集群，创建分布式数据流图，创建分布式会话

集群创建， tf.train.Server(host,job_name,task_index)

将操作放置在目标设备上

with tf.device('/job:PS/task:0'):
    weights_1 = tf.Variable()
with tf.device('/job:PS/task:1'):
    weights_2 = tf.Variable()
with tf.device('/job:worker/task:1'):
    tf.nn.relu()

3.训练机制

同步训练机制

每个worker独立训练，直到所有worker计算出梯度值后进行模型参数的汇总计算，并更新当前训练步的模型参数，计算较快的worker需要阻塞等待计算较慢的worker

y = tf.nn.softmax(tf.nn.xw_plus_b(hid,sm_w,sm_b))
cross_entropy = -tf.reduce_sum(FLAGS.learning_rate)
if FLAGS.sync_replicas:
    opt = tf.train.SyncReplicasOptimizer(opt,replicas_to_aggregate=10,total_num_replicas=100,name='mnist_sync')
opt.minimize(cross_entropy,global_step=1)

异步训练机制

每个worker独立训练，计算出梯度值后立即进行模型参数计算，每个worker无阻塞等待其他所有worker的梯度计算完成。