官网API是这么说的 This operation outputs a Tensor that holds the new value of 'ref' after the value has been assigned. This makes it easier to chain operations that need to use the reset value. 该操作输出一个tensor.当委派结束后,ref就会有新的值value.就是把value值赋值给ref 使用: A = tf.…

参见这篇博客 tensorflow里面用于改变图像大小的函数是tf.image.resize_images(image, (w, h), method):image表示需要改变此存的图像,第二个参数改变之后图像的大小,method用于表示改变图像过程用的差值方法.0:双线性差值.1:最近邻居法.2:双三次插值法.3:面积插值法.…

最近由于项目需要,要对tensorflow构造的模型中部分变量冻结,然后继续训练,因此研究了一下tf中冻结变量的方法,目前找到三种,各有优缺点,记录如下: 1.名词解释 冻结变量,指的是在训练模型时,对某些可训练变量不更新,即仅参与前向loss计算,不参与后向传播,一般用于模型的finetuning等场景.例如:我们在其他数据上训练了一个resnet152模型,然后希望在目前数据上做finetuning,一般来讲,网络的前几层卷积是用来提取底层图像特征的,因此可以对前3个卷积层进行冻结,不改变其…

480  pip install https://storage.googleapis.com/tensorflow/mac/tensorflow-0.5.0-py2-none-any.whl 481  virtualenv --system-site-packages ~/tensorflow 482  cd ~/tensorflow 483   source bin/activate 484  pip install --upgrade <$url_to_binary.whl> 485 …

神经网络的优化方法: 1.学习率的设置(指数衰减) 2.过拟合问题(Dropout) 3.滑动平均模型(参数更新,使模型在测试数据上更鲁棒) 4.批标准化(解决网络层数加深而产生的问题---如梯度弥散,爆炸等) 一.学习率的设置----指数衰减方法 通过指数衰减的方法设置GD的学习率.该方法可让模型在训练的前期快速接近较优解,又可保证模型在训练后期不会有太大的波动,从而更加接近局部最优. 学习率不能过大,可能让参数在极值两侧波动,不能过小,训练时间会过长. TensorFlow提供的方法:tf.…

在TensorFlow的优化器中, 都要设置学习率.学习率是在精度和速度之间找到一个平衡: 学习率太大,训练的速度会有提升,但是结果的精度不够,而且还可能导致不能收敛出现震荡的情况. 学习率太小,精度会有所提升,但是训练的速度慢,耗费较多的时间. 因而我们可以使用退化学习率,又称为衰减学习率.它的作用是在训练的过程中,对学习率的值进行衰减,训练到达一定程度后,使用小的学习率来提高精度. 在TensorFlow中的方法如下:tf.train.exponential_decay(),该方法的参数如下…

系统环境:Ubuntu14.04 64位.Windows7 64位 双系统 CUDA 版本: 7.5 总结一下,我的安装建议是: 一定要下一份CUDA官方的安装文档,按照它的步骤一步步慢慢来,不可偷懒.CUDA 7.5 官方安装文档下载 在安装之前一定要详细检查自己的系统环境.软件是否符合CUDA的安装要求.不要存有侥幸心理,跳过检查步骤. 每进行一项操作,都检查一下该项操作是否成功.如果没成功,适时重启电脑或者重启终端, 1.安装Ubuntu系统14.04 安装完毕后不要更新系统. 这条到底是…

感谢中国人民大学的胡鹤老师,人工智能课程讲的很有深度,与时俱进 由于深度神经网络(DNN)层数很多,每次训练都是逐层由后至前传递.传递项<1,梯度可能变得非常小趋于0,以此来训练网络几乎不会有什么变化,即vanishing gradients problem:或者>1梯度非常大,以此修正网络会不断震荡,无法形成一个收敛网络.因而DNN的训练中可以形成很多tricks.. 1.初始化权重 起初采用正态分布随机化初始权重,会使得原本单位的variance逐渐变得非常大.例如下图的sigmoid函数…

由于随着神经网络层数的增多,需要训练的参数也会增多,随之而来需要的数据集就会很大,这样会造成需要更大的运算资源,而且还要消耗很长的运算时间.TensorFlow提供了一个可以分布式部署的模式,将一个训练任务拆分成多个小任务,配置到不同的计算机上完成协同运算,这样使用计算机群运算来代替单机运算,可以使训练时间大幅度缩短. 一 分布式TensorFlow角色以及原理 要想配置TensorFlow为分布训练,首先需要了解TensorFlow中关于分布式的角色分配. ps:作为分布式训练的服务端,等到各…

一. constant(常量) constant是TensorFlow的常量节点,通过constant方法创建,其是计算图(Computational Graph)中的起始节点,是传入数据. 创建方式 cons = tf.constant(value=[1,2],dtype=tf.float32,shape=(1,2),name='testconst', verify_shape=False) 参数说明 value:初始值,必填,必须是一个张量(1或[1,2,3]或[[1,2,3],[2,2,3…