tensorflow的基本认识

　　版权申明：本文为博主窗户(Colin Cai)原创，欢迎转帖。如要转贴，必须注明原文网址
 
　　http://www.cnblogs.com/Colin-Cai/p/10741013.html 
 
　　作者：窗户
 
　　QQ/微信：6679072
 
　　E-mail：6679072@qq.com

　　tensorflow是一个很流行的计算框架，目前主要用来做深度学习。但实际上，tensorflow不仅仅可以做深度学习，理论上说任何算法都可以用tensorflow来描述，就在于它做了计算流图这样的抽象，而tensorflow这个名字实际上很自然流。其实提到计算流图，这样的抽象并不是tensorflow首作，计算模型中经常会有图计算，编译器中离开了这玩意玩不转，乃至我们平时的工程涉及到大的规模乃至需要需求模板化的时候，可能都离不开计算流图或者类似这样的模型。所以，其实它对于我们每个人并不是什么新鲜的玩意。

　　以下代码包括其注释说明了计算流图的建立以及使用，包含了对tensorflow的最基本概念认识。

#先要导入库
import tensorflow as tf
 
#建立session才可以进行图运算
#实际上session只需要在计算前建立即可
#但此处为了方便就先建立了
s = tf.Session()

　　建立计算图，包含了操作和张量。tensorflow内部带有各种操作，甚至自己也可以用C++来添加新的操作。

　　以下multipy和reduce_sum都是操作，其实constant也被看成是操作。

#以下是建立计算图，tensorflow建立计算图
#只是定义各个tensor之间的计算关系，并未开始计算
#每个操作都可以带一个名字，操作和张量之间是一对一的关系
#以下是两个常量
a = tf.constant(list(range(1,5)), name="a")
b = tf.constant(list(range(11,15)), name="b")
#将两个形状一样的张量依次按相同位置相乘
#得到一个形状一样的张量
c = tf.multiply(a, b, name="c")
#将张量里所有元素累和
d = tf.reduce_sum(c, name="d")

　　不要被名字所误导，以上并不产生计算，只是布置流图，或许tf.place(tf.multiply, a, b)这样的名字可能更好一点^_^

　　在session里使用run方法才会产生真实的计算，run带有两个参数,一个是fetches，表示要计算的张量，一个是feed_dict，表示要临时赋值的张量。

　　以下s.run(d)其实等同于s.run(fetches=d)

#使用Session的方法run可以根据计算图计算需要的tensor
 
#1*11+2*12+3*13+4*14=130
#输出130
print(s.run(d))
#可以选择一组tensor
#输出[array([1, 2, 3, 4], dtype=int32), array([11, 12, 13, 14], dtype=int32), array([11, 24, 39, 56], dtype=int32), 130]
print(s.run([a,b,c,d]))
#feed_dict可以修改任何想传入的tensor，此处希望修改a的传入
#31*11+32*12+33*13+34*14=1630
#输出1630
print(s.run(d, feed_dict={a:list(range(31,35))}))
#feed_dict可以一次修改多个tensor
#41*51+42*52+43*53+44*54=8930
#输出8930
print(s.run(d, feed_dict={a:list(range(41,45)), b:list(range(51,55))}))
#不是constant一样可以修改传入
#此时计算c不依赖于a和b
#1+2+3+4+5=10
#输出10
print(s.run(d, feed_dict={c:list(range(1,5))}))
#流图中d依赖于c更短，所以a的传入不影响计算
#输出10
print(s.run(d, feed_dict={a:list(range(11,15)), c:list(range(1,5))}))

　　实际上，大多情况下，总是会有一些张量要在计算开始指定的，那么这些张量为constant已经失去意义，从而引入placeholder。

#引入placeholder，这样此处不需要constant
#以下建立的张量为一阶张量，也就是向量，维度为4
e = tf.placeholder(tf.int32, shape=[4], name="e")
f = tf.constant(list(range(1,5)), name="f")
g = tf.multiply(e, f, name="g")
h = tf.reduce_sum(g, name="h")
#h的计算最终依赖于e这个placeholder
#而如果依赖的placeholder如果不传值，则不可运算
#以下会产生异常
try:
    print(s.run(h))
except:
    print("EROR HERE!")
#给placeholder传值
#输出10
print(s.run(h, feed_dict={e:list(range(1,5))}))
#a,b,c,d的计算和h的计算是两ge独立的计算连通图
#但依然可以一起计算
#输出[array([1, 2, 3, 4], dtype=int32), array([11, 12, 13, 14], dtype=int32), array([11, 24, 39, 56], dtype=int32), 130, 30]
print(s.run([a,b,c,d,h], feed_dict={e:list(range(1,5))}))

　　一个计算图中可以有多个placeholder

#placeholder可以建立多个
e2 = tf.placeholder(tf.int32, shape=[4], name="e2")
f2 = tf.placeholder(tf.int32, shape=[4], name="f2")
g2 = tf.multiply(e2, f2, name="g2")
h2 = tf.reduce_sum(g2, name="h2")
#要计算h2,依赖的两个placeholder必须都传值
#输出30
print(s.run(h2, feed_dict={e2:list(range(1,5)), f2:list(range(1,5))}))

　　上面placeholder在shape参数中定死了张量的形状，实际上可以不定死维数

#甚至可以只指定placeholder是几阶张量，而不指定维度数
e3 = tf.placeholder(tf.int32, shape=[None], name="e3")
f3 = tf.placeholder(tf.int32, shape=[None], name="f3")
g3 = tf.multiply(e3, f3, name="g3")
h3 = tf.reduce_sum(g3, name="h3")
#输出30
print(s.run(h3, feed_dict={e3:list(range(1,5)), f3:list(range(1,5))}))
#元组当然没有问题
#输出5
print(s.run(h3, feed_dict={e3:(1,2), f3:(1,2)}))

　　二阶张量当然也可以，同理三阶、四阶...都是可以得

#一阶张量可以，二阶张量当然没有问题
e4 = tf.placeholder(tf.int32, shape=[None, None], name="e4")
f4 = tf.placeholder(tf.int32, shape=[None, None], name="f4")
g4 = tf.multiply(e4, f4, name="g4")
h4 = tf.reduce_sum(g4, name="h4")
#输出30
print(s.run(h4, feed_dict={e4:[[1,2],[3,4]], f4:[[1,2],[3,4]]}))
#通过名字也可以找到张量
_e4 = tf.get_default_graph().get_tensor_by_name("e4:0")
_f4 = tf.get_default_graph().get_tensor_by_name("f4:0")
_g4 = tf.get_default_graph().get_tensor_by_name("g4:0")
_h4 = tf.get_default_graph().get_tensor_by_name("h4:0")
#输出[array([[ 100,  400],[ 900, 1600]], dtype=int32), 3000]
print(s.run([_g4, _h4], feed_dict={_e4:[[10,20],[30,40]], _f4:[[10,20],[30,40]]}))

　　甚至，placeholder不指定张量阶数也是没有问题的。

x = tf.placeholder(tf.int32)
y = tf.reduce_sum(x)
#输出10
s.run(y,feed_dict={x:[[1,2],[3,4]]})
#输出36
s.run(y,feed_dict={x:[[[1,2],[3,4]], [[5,6],[7,8]]]})

　　以上提到的计算图本身不带有记忆，从而可以引入带有记忆的计算图，那就是需要引入变量(variable)概念，也就是可以把一些张量定义为变量。

#引入变量，从而希望在内存中常驻，以便修改
m=tf.Variable(list(range(1,3)), name="m")
n=tf.reduce_sum(m, name="n")
p=tf.add(m, n, name="p")
#把p赋值给变量m
q=tf.assign(m, p, name="q")
#当使用变量的时候，需要利用这个将变量初始化一下
s.run(tf.global_variables_initializer())
#[1,2]求和为3,[1,2]加3得到[4,5],赋值给m
#输出[4 5]
print(s.run(q))
#[4,5]求和为9,[4,5]加9得到[13,14],赋值给m
#输出[13 14]
print(s.run(q))

　　变量一旦形状确定，是不能进行调整的。

try:
    #concat是把两个张量拼接，从而张量的维度发生了变化
    #而m2作为变量，一开始形状就被确定，assign是不能对形状金勋哥调整的
    #从而这里会发生异常
    m2=tf.Variable([1,2], expected_shape=[None],dtype=tf.int32)
    n2=tf.reduce_sum(m2)
    p2=tf.add(m2,n2)
    r2=tf.concat([m2,p2],0)
    q2=tf.assign(m2,r2)
    s.run(tf.global_variables_initializer())
    s.run(q2)
except:
    print("ERROR HERE!")

　　或许只能用以下方法？

#我能想到的只好用以下方法来实现改变形状
m3=tf.placeholder(tf.int32, shape=[None], name="m3")
n3=tf.reduce_sum(m3, name="n3")
p3=tf.add(m3, n3, name="p2")
r3=tf.concat([m3,p3], 0, name="r3")
#输出[1 2 4 5]
x=s.run(r3, feed_dict={m3:[1,2]})
print(x)
#输出[1 2 4 5 13 14 16 17]
x=s.run(r3, feed_dict={m3:x})
print(x)

　　关于以上变量的维度一旦确定，就无法改变，可能是因为tensorflow一开始就分配好了内存。我就想，如果未来出现那种结构不断调整的AI模型该怎么办，似乎前段时间听说了已经出现了不断在调整尺寸的基于神经网络的AI模型，但不知道是用什么实现的。