一.理解graph和session
对tensorflow中的graph和session进行更深入的了解，能够帮助理解tensorflow的运行机制，使得可以在一个运行程序中调用不同的神经网络。总而言之，是深入学习必须掌握的东西。
- 在程序一开始，tensorflow会自动生成一个默认的graph。如果不显示的指定graph，所有的操作(添加张量、节点)都会自动加入默认图。
- 可以通过g=tf.Graph()显示获得一个图的变量。然后通过 with g.as_default():上下文管理器，在后文中进行网络的搭建工作。当然也有将g直接显示申明为默认图的函数，我忘记了，以后看见了来添加。但是不推荐显示申明为默认图，因为考虑到以后有多张图存在的情况下，显示申明会让逻辑处理起来很混乱，还是按照前一种方式规范操作来得好。
- 一个图可以有多个session，但是一个session只能执行一个指定图里的操作。
import tensorflow as tf
tf.reset_default_graph()#复位初始图
g=tf.Graph()#获得图的对象
with g.as_default():
a=tf.Variable(‘a‘)
sess=tf.Session()
sess.run(tf.global_variables_initializer())
print(sess.run(a))#这里正常输出‘a‘
b=tf.Variable(‘b‘)
with sess.as_default():
sess.run(tf.global_variables_initializer())
print(sess.run(b))#这里报错“ is not an element of this graph ”
上述代码中，第一个print正常执行，正常输出张量a。但是定义张量b时，是定义在了全局默认的图中，并非在g中。而session对应的图是g，不是默认图，所以出错。
import tensorflow as tf
tf.reset_default_graph()#复位初始图
g=tf.Graph()#获得图的对象
with g.as_default():
a=tf.Variable(‘a‘)
sess=tf.Session()
sess.run(tf.global_variables_initializer())
print(sess.run(a))
b=tf.Variable(‘b‘)
with tf.Session() as sess2:
sess2.run(tf.global_variables_initializer())
print(sess2.run(b))
代码修改过后，则能正常执行第二个print，输出张量b。因为以当前的默认graph重新申明了session来执行该操作。
二.通过class方式实现一个卷积网络
此种方式生卷积网络的类。目标是可以新建多个类的实例进行训练等操作，而不相互影响。此时就应该注重管理graph和session。
实现代码如下：
# -*- coding: utf-8 -*-
"""
Created on Fri Feb 16 12:31:04 2018
@author: FC
"""
import tensorflow as tf
import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
class ConvNet():
def __init__(self,layers=[‘c‘,‘p‘,‘c‘,‘p‘],datain=[784],ind=[28,28,1],outd=[10]):
self.layers=layers #每一层的属性
self.ind=ind #图片的属性
self.outd=outd #输入的标记样本数组维度
self.datain=datain #输入的数据样本数组维度
self.convkernelsize=3#卷积核大小
self.midchannels=24 #中间层每层的通道数
self.net={} #层的集合
self.__NetInit()
def __weight_variable(self,shape,name=‘w‘):
initial = tf.truncated_normal(shape, stddev=0.1)
return tf.Variable(initial,name=name)
def __bias_variable(self,shape,name=‘b‘):
initial = tf.constant(0.1, shape=shape)
return tf.Variable(initial,name=name)
def __AddInlayer(self,x,name=‘In-Layer‘):
#输入处理层
with tf.name_scope(name):
x_reshape=tf.reshape(x, [-1]+self.ind)
w=self.__weight_variable([self.convkernelsize,self.convkernelsize
,self.ind[2],self.midchannels])
b=self.__bias_variable([self.midchannels])
conv=tf.nn.conv2d(x_reshape, w, strides=[1, 1, 1, 1], padding=‘SAME‘)
net=tf.nn.relu(conv+b,name=name)
return net
def __AddConvLayer(self,x,layertype=‘c‘,name=‘Mid_ConvLayer‘):
if ((layertype!=‘c‘) and (layertype!=‘p‘)):
#只能是池化或者卷积层
return
if (layertype==‘p‘):
with tf.name_scope(name+layertype):
net = tf.nn.max_pool(x, ksize=[1, 2, 2, 1],
strides=[1, 2, 2, 1], padding=‘SAME‘)
return net
if (layertype==‘c‘):
with tf.name_scope(name+layertype):
w=self.__weight_variable([self.convkernelsize,self.convkernelsize
,self.midchannels,self.midchannels])
b=self.__bias_variable([self.midchannels])
conv=tf.nn.conv2d(x, w, strides=[1, 1, 1, 1], padding=‘SAME‘)
net=tf.nn.relu(conv+b,name=name+layertype)
return net
def __AddFcLayer(self,x,name=‘Out-FcLayer‘):
#全连接输出层
inshape=x.shape
width=inshape[1]*inshape[2]*inshape[3]
width=tf.cast(width,tf.int32)
# print(type(width))
with tf.name_scope(name):
w1=self.__weight_variable([width,1024],name=‘w1‘)
b1=self.__bias_variable([1024],name=‘b1‘)
x_flat=tf.reshape(x,[-1,width],name=‘x_flat‘)
fc1=tf.nn.relu(tf.matmul(x_flat,w1)+b1,name=‘fc1‘)
w2=self.__weight_variable([1024]+self.outd,name=‘w2‘)
b2=self.__bias_variable(self.outd,name=‘b2‘)
net=tf.nn.softmax(tf.matmul(fc1,w2)+b2,name=name)
return net
def __AddTrainstep(self,y,y_,name=‘Training‘):
with tf.name_scope(name):
cross_entropy = -tf.reduce_sum(y_*tf.log(y))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
return train_step,accuracy
def __NetInit(self):
#由实际输入决定
tf.reset_default_graph()#复位初始图
self.Graph=tf.Graph()
#如果在一个进程中创建了多个Graph，则需要创建不同的Session来加载每个Graph
#而每个Graph则可以加载在多个Session中进行计算。
#上下文管理器
with self.Graph.as_default():
#1. 初始化网络结构
self.x=tf.placeholder("float",[None]+self.datain,name=‘x-input‘)
self.y_=tf.placeholder("float", [None]+self.outd,name=‘y-input‘)
#添加网络
self.net[0]=self.__AddInlayer(self.x)
for i in range(len(self.layers)):
self.net[i+1]=self.__AddConvLayer(self.net[i],layertype=self.layers[i])
self.outnet=self.__AddFcLayer(self.net[len(self.layers)])
self.trainstep,self.accuracy=self.__AddTrainstep(self.outnet,self.y_)
self.sess=tf.Session()
#2. 初始化图中变量
self.sess.run(tf.global_variables_initializer())
def Train(self,datax,datay):
self.sess.run(self.trainstep,feed_dict={self.x:datax, self.y_:datay})
# for i in range(1000):
# batch = mnist.train.next_batch(64)
# if i%1000 == 0:
# train_accuracy = self.sess.run(self.accuracy,feed_dict={self.x:batch[0], self.y_: batch[1]})
# print ("step %d, training accuracy %g"%(i, train_accuracy))
# self.sess.run(self.trainstep,feed_dict={self.x: batch[0], self.y_: batch[1]})
#
# print ("test accuracy %g"%self.sess.run(self.accuracy,feed_dict={
# self.x: mnist.test.images, self.y_: mnist.test.labels}))
def GetAccuracy(self,datax,datay):
return self.sess.run(self.accuracy,feed_dict={self.x: datax, self.y_: datay})
def SaveGraph(self):
#调用此函数，可通过tensorboard查看网络形状
with self.Graph.as_default():
merge = tf.summary.merge_all()
writer = tf.summary.FileWriter(‘./log‘,self.sess.graph)
def Close(self):
self.sess.close()
if __name__==‘__main__‘:
net1=ConvNet(layers=[‘c‘,‘c‘,‘p‘,‘c‘,‘c‘,‘p‘])
# net1.SaveGraph()
for i in range(1000):
batch = mnist.train.next_batch(64)
net1.Train(batch[0],batch[1])
net2=ConvNet(layers=[‘c‘,‘c‘,‘p‘,‘c‘,‘c‘,‘p‘,‘c‘])
print("net2 accuracy: %g%%"%(100*net2.GetAccuracy(mnist.test.images,mnist.test.labels)))
print("net1 accuracy: %g%%"%(100*net1.GetAccuracy(mnist.test.images,mnist.test.labels)))
- 上述代码中，定义了一个ConvNet类。
- 训练的样本集合是mnist。
- 在使用时，创建了两个实例：net1和net2。
- 对net1输入了样本训练。
- 同时输入出net1和net2的预测准确率，如下所示：
net2 accuracy: 9.81% net1 accuracy: 97.08%
证明两个实例是相互独立的，对一个实例的训练并没有影响到另一个。
后续：
后续的实验应该是两个实例同时进行训练，保存准确率较高的实例的参数，作为下一次训练共同的初始化数据。
原文地址：https://www.cnblogs.com/fangzhuan/p/8469988.html
时间： 2024-09-29 12:11:31