一、卷积神经网络
1、关于卷积神经网络的知识,这里推荐一个博客,可以通过几篇博文来了解卷积神经网络:https://www.cnblogs.com/pinard/category/894694.html
2、关于张量经过卷积与池化后数据各维度大小的变化:
设原图片数据维度为$batch*width*height*channel$:$batch$为图片张数,$width$为图宽,$height$为图高,$channel$为图通道数。
卷积:
设卷积核为$padding*cwidth*cheight$:padding层数为$padding$,卷积核宽$cwidth$,卷积核高$cheight$;卷积步长$wstride*hstride$,宽为$wstride$,高为$hstride$;卷积核个数为$cchannel$。
经过卷积后的图片张数:
$$batch^{‘}=batch$$
经过卷积后的宽:
$$weight^{‘}=(\frac{width+2padding-cwith}{wstride}+1)$$
经过卷积后的高:
$$height^{‘}=(\frac{width+2padding-cheight}{hstride}+1)$$
经过卷积后的通道数:
$$channel^{‘}=cchannel$$
经过卷积后的图片数据为:
$$batch^{‘}*width^{‘}*height^{‘}*channel^{‘}=batch\ast (\frac{width+2padding-cwith}{wstride}+1)\ast (\frac{width+2padding-cheight}{hstride}+1)*cchannel$$
一般情况我们设置卷积核的高=宽=f,步长为s,卷积核数为cchannel,则公式可以简化为:
$$batch^{‘}*width^{‘}*height^{‘}*channel^{‘}=batch\ast (\frac{width+2padding-f}{stride}+1)\ast (\frac{width+2padding-f}{stride}+1)*channel$$
注意,公式计算可能出现小数,所以要向下取证。
池化:
设池化的宽与高为$pwidth$与$pheight$,步长为$wstrid$与$hstrid$
经过卷积后的图片张数:
$$batch^{‘}=batch$$
经过卷积后的宽:
$$weight^{‘}=(\frac{width+2padding-pwidth}{wstride}+1)$$
经过卷积后的高:
$$height^{‘}=(\frac{width+2padding-pheight}{hstride}+1)$$
经过卷积后的通道数:
$$channel^{‘}=channel$$
池化后的数据为:
$$batch^{‘}*width^{‘}*height^{‘}*channel^{‘}=batch\ast (\frac{width+2padding-pwidth}{wstride}+1)\ast (\frac{width+2padding-pheight}{hstride}+1)\ast channel$$
同样当我们设定池化宽=高=f,步长为stride,则公式为:
$$batch^{‘}*width^{‘}*height^{‘}*channel^{‘}=batch\ast (\frac{width+2padding-width}{wstride}+1)\ast (\frac{width+2padding-height}{stride}+1)\ast channel$$
二、tensorflow中卷积相关内容
函数介绍:
1、卷积的实现函数:tf.nn.conv2d (input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=None)
- input:输入的要做卷积的图片,要求为一个张量,shape为 [ batch, in_height, in_weight, in_channel ],其中batch为图片的数量,in_height 为图片高度,in_weight 为图片宽度,in_channel 为图片的通道数,灰度图该值为1,彩色图为3。
- filter: 卷积核,要求也是一个张量,shape为 [ filter_height, filter_weight, in_channel, out_channels ],其中 filter_height 为卷积核高度,filter_weight 为卷积核宽度,in_channel 是图像通道数 ,和 input 的 in_channel 要保持一致,out_channel 是卷积核数量。
- strides: 卷积时在图像每一维的步长,这是一个一维的向量,默认是[batch, height, width, channels]取决于input的data_format,一般设置[ 1, strides, strides, 1],第一位和最后一位是1。
- padding: string类型,值为“SAME” 和 “VALID”,表示的是卷积的形式,是否考虑边界。"SAME"是考虑边界,不足的时候用0去填充周围,"VALID"则不考虑
- use_cudnn_on_gpu: bool类型,是否使用cudnn加速,默认为true。
这里一开始可能对input和strides传入的列表的数值设定可能不太了解为什么这么设置,这个主要有data_format决定,详情可以看一下这个博文:https://blog.csdn.net/qq_30934313/article/details/86626050。
2、池化的实现函数:tf.nn.max_pool(value, ksize, strides, padding, name=None)
- 第一个参数value:需要池化的输入,一般池化层接在卷积层后面,所以输入通常是feature map,依然是[batch, height, width, channels]这样的shape。
- k_size:池化窗口的大小,取一个四维向量,shape为[batch, height, width, channels],一般是[1, height, width, 1],因为我们不想在batch和channels上做池化,所以这两个维度设为了1。
- strides:窗口在每一个维度上滑动的步长,shape为[batch, height, width, channels],一般也是[1, stride,stride, 1]。
- padding:string类型,值为“SAME” 和 “VALID”,表示的是卷积的形式,是否考虑边界。"SAME"是考虑边界,不足的时候用0去填充周围,"VALID"则不考虑。
3、tensor数据维度设定(通常用于卷积到全连接层张量与捐局的转化):tf.reshape(tensor,shape,name=None)
- tensor:传入的tensor类型数据。
- shape:修改的形状,一个1*784的one-hot数据变成一个1*28*28*1的灰度图数据可以设置为[1,28,28,1],若某一个维度设置为-1表示这个维度不确定,转化会自行计算。
- name:转化操作的名字。
三、代码示例
代码
import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data # 读取手写字数据 mnist_data = input_data.read_data_sets(r‘C:\Users\EDZ\.PyCharm2019.1\config\scratches\MNIST_data‘, one_hot=True) # 设定每个批次的数据量,如果是CPU版本的tensor数据大可能会计算不出来所以设置为50 batch_size = 50 #计算批次数 n_batch = mnist_data.train.num_examples // batch_size #定义卷积 def x_cov_W(x,W_shape,b_shape,act=None): ‘‘‘ :param x: 进行卷积的tensor :param W_shape: 卷积核的shape :param b_shape: 偏置的shape :param act: 激活函数 :return: 返回一个卷积计算结果 ‘‘‘ #定义卷积核 initial = tf.truncated_normal(W_shape,stddev=0.1) W=tf.Variable(initial) #定义偏置 b=tf.constant(0.1,tf.float32,shape=b_shape) #返回卷积的结果,这里设置步长为宽W=1,高H=1 if act: #没有激活函数的情况 return tf.nn.conv2d(x,W,strides=[1,1,1,1],padding=‘SAME‘)+ b else: #有激活函数的情况 return act(tf.nn.conv2d(x,W,strides=[1,1,1,1],padding=‘SAME‘)+ b) #定义池化,把原来的数据高与宽缩小一半 def pool(x): ‘‘‘ :param x: 需要池化的tensor :return: 返回一个池化结果 ‘‘‘ return tf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding=‘SAME‘) # 占位符号 x = tf.placeholder(tf.float32,[None,784]) y = tf.placeholder(tf.float32,[None,10]) #将x的one-hot数据转为图片28*28*1的张量,-1:不确定的batch即图片数;28:高;28:宽;1:channel数。 x_image=tf.reshape(x,[-1,28,28,1]) #第一层卷积,W_shape-5:图高;5:图宽;1:channel数;16:卷积核个数;b_shape-16:偏置个数,因为有16个卷积核,输出为28*28*16的图 layer1_cov=x_cov_W(x_image,[5,5,1,16],[16],tf.nn.relu) #第一层池化,输出为14*14*32的图 layer1_pool=pool(layer1_cov) #第二层卷积,输出为14*14*32,的图 layer2_cov=x_cov_W(layer1_pool,[5,5,16,32],[32],tf.nn.relu) #第二层池化输出为7*7*64,的图 layer2_pool=pool(layer2_cov) #将第二层的输出扁平化为一个one-hot的1维向量 layer2_pool_flat=tf.reshape(layer2_pool,[-1,7*7*32]) #第三层全连接层 full3_w=tf.Variable(tf.truncated_normal([7*7*32,720],stddev=0.1)) #权重矩阵:w输入为7*7*32,输出为720 full3_b=tf.constant(0.1,tf.float32,[720]) #偏置 full3_ouput=tf.nn.relu(tf.matmul(layer2_pool_flat,full3_w)+full3_b) #激活函数为Relu #第四层全连接层 full4_w=tf.Variable(tf.truncated_normal([720,10],stddev=0.1)) #权重矩阵:w输入为1024,输出为10 full4_b=tf.constant(0.1,tf.float32,[10]) #偏置 full4_ouput=tf.matmul(full3_ouput,full4_w)+full4_b #为了不与后面的交叉熵损失冲突无激活函数 #定义交叉熵损失函数 cross_entropy=tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=full4_ouput) #使用Adam梯度下降法训练模型 train=tf.train.AdamOptimizer(0.001,0.9,0.999).minimize(cross_entropy) # 初始化 init = tf.global_variables_initializer() # 结果存放在bool型列表汇总 correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(full4_ouput, 1)) # 计算准确度,并加入到总结指令 accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) with tf.Session() as sess: sess.run(init) # 训练20代 for epoch in range(20): # 每代对数据进行一轮minibatch for batch in range(n_batch): batch_x, batch_y = mnist_data.train.next_batch(batch_size) # 每个循环读取batch_size大小批次的数据 sess.run(train, feed_dict={x: batch_x, y: batch_y}) acc = sess.run(accuracy, feed_dict={x: mnist_data.test.images, y: mnist_data.test.labels}) # 用测试数据计算准确度 if batch % 99 == 0: print(‘第%d代%d批次,准确率为%.6f‘ % (epoch + 1, batch + 1, acc))
原文地址:https://www.cnblogs.com/dwithy/p/11445705.html