1.矩阵操作
1.1矩阵生成
这部分主要将如何生成矩阵，包括全０矩阵，全１矩阵，随机数矩阵，常数矩阵等
sess=tf.InteractiveSession() #x=tf.ones([2,3],tf.int32) x=tf.zeros([2,3],tf.int32) print (sess.run(x))
新建一个与给定的tensor类型大小一致的tensor，使其所有元素为0和1
sess=tf.InteractiveSession() tensor=[[1,2,3],[4,5,6]] #x=tf.ones_like(tensor) x=tf.zeros_like(tensor) print (sess.run(x))
创建一个形状大小为shape的tensor，初始值为value
sess=tf.InteractiveSession() x=tf.fill([2,3],2) print (sess.run(x))
创建一个常量tensor，按照给出value来赋值，可以用shape来指定其形状。value可以是一个数，也可以是一个list。
如果是一个数，那么这个常量中所有值的按该数来赋值。
如果是list,那么len(value)一定要小于等于shape展开后的长度。赋值时，先将value中的值逐个存入。不够的部分，则全部存入value的最后一个值。
sess=tf.InteractiveSession() #x=tf.constant(2,shape=[2,3]) x=tf.constant([2,3],shape=[2,3]) print (sess.run(x))
random_normal:正态分布随机数，均值是mean，标准差是stddev
truncated_normal:截断正态分布随机数，均值是mean，标准差是stddev，只保留[mean-2*stddev,mean+2*stddev]范围内的随机数
random_uniform:均匀分布随机数，范围为[minval,maxval]
sess=tf.InteractiveSession() x=tf.random_normal(shape=[1,5],mean=0.0,stddev=1.0,dtype=tf.float32) print (sess.run(x))
tf.get_variable(name, shape=None, dtype=dtypes.float32, initializer=None,
regularizer=None, trainable=True, collections=None,
caching_device=None, partitioner=None, validate_shape=True,
custom_getter=None):
如果在该命名域中之前已经有名字=name的变量，则调用那个变量；如果没有，则根据输入的参数重新创建一个名字为name的变量。
initializer为初始化工具，有tf.zero_initializer,tf.ones_initializer,tf.constant_initializer,tf.random_uniform_initializer,tf.random_normal_initializer,tf.truncated_normal_initializer
1.2 矩阵变换
tf.shape(Tensor)
返回张量的形状。但是注意，tf.shape函数本身也是返回一个张量。而在tf中，张量是需要用sess.run(Tensor)来得到具体的值的。
sess=tf.InteractiveSession()
x=[[1,2,3],[4,5,6]]
shape=tf.shape(x)
print (shape)
print (sess.run(shape))
Tensor("Shape:0", shape=(2,), dtype=int32)
[2 3]
tf.expand_dims(Tensor,dim)
为张量增加一个维度
sess=tf.InteractiveSession() x=[1,2,3] y=tf.expand_dims(x,1) print (sess.run(y)) [[1] [2] [3]] #y=tf.expand_dims(x,0) [[1,2,3]]
tf.pack()
将一个R维张量列表沿着axis轴组合成一个R+1维的张量。
x=[1,4] y=[2,5] z=[3,6] t=tf.stack([x,y,z],1) print (sess.run(t)) [[1 2 3] [4 5 6]]
tf.concat(concat_dim,values)将张量沿着指定的维数拼接起来。
tf.sparse_to_dense()将稀疏矩阵转化为密集矩阵
def sparse_to_dense(sparse_indices,
output_shape,
sparse_values,
default_value=0,
validate_indices=True,
name=None):
sparse_indices: 元素的坐标[[0,0],[1,2]] 表示(0,0)，和(1,2)处有值
output_shape: 得到的密集矩阵的shape
sparse_values: sparse_indices坐标表示的点的值，可以是0D或者1D张量。若0D，则所有稀疏值都一样。若是1D，则len(sparse_values)应该等于len(sparse_indices)
default_values: 缺省点的默认值
tf.random_shuffle(value)
沿着value的第一维进行随机重新排列。
tf.argmax|tf.argmin(input=tensor,dimension=axis)
找到给定的张量tensor在指定轴axis上的最大值/最小值的位置。
tf.equal(x,y)
判断两个tensor是否每个元素都相等。
tf.cast(x,dtype)
将x的数据格式转化为dtype。
tf.matmul(a,b,transpose_a=False,transpose_b=False,a_is_parse=False,b_is_sparse=False)
如果对应的transpose项为True，例如transpose_a=True,那么a在参与运算之前就会先转置一下。
而如果a_is_sparse=True,那么a会被当做稀疏矩阵来参与运算。
tf.reshape(tensor,shape)
如果shape=[-1]，表示将tensor展开成一个list。
2. 神经网络相关操作
tf.nn.embedding_lookup(params,ids)
简单来说，就是讲一个数字序列ids转化成embedding序列表示。
tf.trainable_variables()
返回所有可以训练的变量。
tf.gradients(ys,xs)
ys和xs都可以是一个tensor或者tensor列表。而计算完成以后，该函数会返回一个长为len(xs)的tensor列表，列表中的每个tensor是ys中每个值对xs[i]求导之和。
tf.clip_by_global_norm(t_list,clip_norm)
修正梯度值，用于控制梯度爆炸的问题。梯度爆炸和梯度弥散的原因一样，都是因为链式法则求导的关系，导致梯度的指数级衰减。为了避免梯度爆炸，需要对梯度进行修剪。
t_list为待修剪的张量，clip_norm表示修剪比例，函数返回两个参数：list_clipped,修剪后的张量，以及global_norm,一个中间计算量。
list_clipped[i]=t_list[i] * clip_norm / max(global_norm, clip_norm),其中
global_norm = sqrt(sum([l2norm(t)**2 for t in t_list]))
tf.nn.dropout(x,keep_prob）
按照概率将x中的一些元素置0，并将其他的值放大。x是一个张量，而keep_prob是一个（0,1]之间的值。x中的各个元素清零的概率互相独立，为1-keep_prob,而没有清零的元素，则会统一乘以1/keep_prob, 目的是为了保持x的整体期望值不变。
3.普通操作
tf.linspace|tf.range
tf.linspace(start,stop,num)
在[start,stop]的范围内产生num个数的等差数列，start和stop要用浮点数进行表示。
tf.range(start,limit=None,delta=1) 在[start,limit)范围内以步进值delta产生等差数列。
tf.assign(ref,value)
用来更新模型中变量的值，ref是待赋值的变量，value是更新的值。
4.规范化
tf.variable_scope
为变量添加命名域
with tf.variable_scope("foo"):
tf.get_variable_scope()返回当前变量的命名域。