TensorFlow分布式并行基于gRPC通信框架,一个master负责创建Session,多个worker负责执行计算图任务. 先创建TensorFlow Cluster对象,包含一组task(每个task一台独立机器),分布式执行TensorFlow计算图.一个Cluster切分多个job,一个job是一类特定任务(parameter server ps,worker),每个job可以包含多个task.每个task创建一个server,连接到Cluster,每个task执行在不同机器.也可以…