TensorFlow(九):卷积神经网络实现手写数字识别以及可视化

上代码:

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets(‘MNIST_data‘,one_hot=True)

#每个批次的大小
batch_size = 100
#计算一共有多少个批次
n_batch = mnist.train.num_examples // batch_size

#参数概要
def variable_summaries(var):
    with tf.name_scope(‘summaries‘):
        mean = tf.reduce_mean(var)
        tf.summary.scalar(‘mean‘, mean)#平均值
        with tf.name_scope(‘stddev‘):
            stddev = tf.sqrt(tf.reduce_mean(tf.square(var - mean)))
        tf.summary.scalar(‘stddev‘, stddev)#标准差
        tf.summary.scalar(‘max‘, tf.reduce_max(var))#最大值
        tf.summary.scalar(‘min‘, tf.reduce_min(var))#最小值
        tf.summary.histogram(‘histogram‘, var)#直方图

#初始化权值
def weight_variable(shape,name):
    initial = tf.truncated_normal(shape,stddev=0.1)#生成一个截断的正态分布
    return tf.Variable(initial,name=name)

#初始化偏置
def bias_variable(shape,name):
    initial = tf.constant(0.1,shape=shape)
    return tf.Variable(initial,name=name)

#卷积层
def conv2d(x,W):
    #x input tensor of shape `[batch, in_height, in_width, in_channels]`
    #W filter / kernel tensor of shape [filter_height, filter_width, in_channels, out_channels]
    #`strides[0] = strides[3] = 1`. strides[1]代表x方向的步长,strides[2]代表y方向的步长
    #padding: A `string` from: `"SAME", "VALID"`
    return tf.nn.conv2d(x,W,strides=[1,1,1,1],padding=‘SAME‘)

#池化层
def max_pool_2x2(x):
    #ksize [1,x,y,1]
    return tf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding=‘SAME‘)

#命名空间
with tf.name_scope(‘input‘):
    #定义两个placeholder
    x = tf.placeholder(tf.float32,[None,784],name=‘x-input‘)
    y = tf.placeholder(tf.float32,[None,10],name=‘y-input‘)
    with tf.name_scope(‘x_image‘):
        #改变x的格式转为4D的向量[batch, in_height, in_width, in_channels]`
        x_image = tf.reshape(x,[-1,28,28,1],name=‘x_image‘)

with tf.name_scope(‘Conv1‘):
    #初始化第一个卷积层的权值和偏置
    with tf.name_scope(‘W_conv1‘):
        W_conv1 = weight_variable([5,5,1,32],name=‘W_conv1‘)#5*5的采样窗口,32个卷积核从1个平面抽取特征
    with tf.name_scope(‘b_conv1‘):
        b_conv1 = bias_variable([32],name=‘b_conv1‘)#每一个卷积核一个偏置值

    #把x_image和权值向量进行卷积,再加上偏置值,然后应用于relu激活函数
    with tf.name_scope(‘conv2d_1‘):
        conv2d_1 = conv2d(x_image,W_conv1) + b_conv1
    with tf.name_scope(‘relu‘):
        h_conv1 = tf.nn.relu(conv2d_1)
    with tf.name_scope(‘h_pool1‘):
        h_pool1 = max_pool_2x2(h_conv1)#进行max-pooling

with tf.name_scope(‘Conv2‘):
    #初始化第二个卷积层的权值和偏置
    with tf.name_scope(‘W_conv2‘):
        W_conv2 = weight_variable([5,5,32,64],name=‘W_conv2‘)#5*5的采样窗口,64个卷积核从32个平面抽取特征
    with tf.name_scope(‘b_conv2‘):
        b_conv2 = bias_variable([64],name=‘b_conv2‘)#每一个卷积核一个偏置值

    #把h_pool1和权值向量进行卷积,再加上偏置值,然后应用于relu激活函数
    with tf.name_scope(‘conv2d_2‘):
        conv2d_2 = conv2d(h_pool1,W_conv2) + b_conv2
    with tf.name_scope(‘relu‘):
        h_conv2 = tf.nn.relu(conv2d_2)
    with tf.name_scope(‘h_pool2‘):
        h_pool2 = max_pool_2x2(h_conv2)#进行max-pooling

#28*28的图片第一次卷积后还是28*28,第一次池化后变为14*14
#第二次卷积后为14*14,第二次池化后变为了7*7
#进过上面操作后得到64张7*7的平面

with tf.name_scope(‘fc1‘):
    #初始化第一个全连接层的权值
    with tf.name_scope(‘W_fc1‘):
        W_fc1 = weight_variable([7*7*64,1024],name=‘W_fc1‘)#上一场有7*7*64个神经元,全连接层有1024个神经元
    with tf.name_scope(‘b_fc1‘):
        b_fc1 = bias_variable([1024],name=‘b_fc1‘)#1024个节点

    #把池化层2的输出扁平化为1维
    with tf.name_scope(‘h_pool2_flat‘):
        h_pool2_flat = tf.reshape(h_pool2,[-1,7*7*64],name=‘h_pool2_flat‘)
    #求第一个全连接层的输出
    with tf.name_scope(‘wx_plus_b1‘):
        wx_plus_b1 = tf.matmul(h_pool2_flat,W_fc1) + b_fc1
    with tf.name_scope(‘relu‘):
        h_fc1 = tf.nn.relu(wx_plus_b1)

    #keep_prob用来表示神经元的输出概率
    with tf.name_scope(‘keep_prob‘):
        keep_prob = tf.placeholder(tf.float32,name=‘keep_prob‘)
    with tf.name_scope(‘h_fc1_drop‘):
        h_fc1_drop = tf.nn.dropout(h_fc1,keep_prob,name=‘h_fc1_drop‘)

with tf.name_scope(‘fc2‘):
    #初始化第二个全连接层
    with tf.name_scope(‘W_fc2‘):
        W_fc2 = weight_variable([1024,10],name=‘W_fc2‘)
    with tf.name_scope(‘b_fc2‘):
        b_fc2 = bias_variable([10],name=‘b_fc2‘)
    with tf.name_scope(‘wx_plus_b2‘):
        wx_plus_b2 = tf.matmul(h_fc1_drop,W_fc2) + b_fc2
    with tf.name_scope(‘softmax‘):
        #计算输出
        prediction = tf.nn.softmax(wx_plus_b2)

#交叉熵代价函数
with tf.name_scope(‘cross_entropy‘):
    cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(labels=y,logits=prediction),name=‘cross_entropy‘)
    tf.summary.scalar(‘cross_entropy‘,cross_entropy)

#使用AdamOptimizer进行优化
with tf.name_scope(‘train‘):
    train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)

#求准确率
with tf.name_scope(‘accuracy‘):
    with tf.name_scope(‘correct_prediction‘):
        #结果存放在一个布尔列表中
        correct_prediction = tf.equal(tf.argmax(prediction,1),tf.argmax(y,1))#argmax返回一维张量中最大的值所在的位置
    with tf.name_scope(‘accuracy‘):
        #求准确率
        accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
        tf.summary.scalar(‘accuracy‘,accuracy)

#合并所有的summary
merged = tf.summary.merge_all()

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    train_writer = tf.summary.FileWriter(‘logs/train‘,sess.graph)
    test_writer = tf.summary.FileWriter(‘logs/test‘,sess.graph)
    for i in range(1001):
        #训练模型
        batch_xs,batch_ys =  mnist.train.next_batch(batch_size)
        sess.run(train_step,feed_dict={x:batch_xs,y:batch_ys,keep_prob:0.5})
        #记录训练集计算的参数
        summary = sess.run(merged,feed_dict={x:batch_xs,y:batch_ys,keep_prob:1.0})
        train_writer.add_summary(summary,i)
        #记录测试集计算的参数
        batch_xs,batch_ys =  mnist.test.next_batch(batch_size)
        summary = sess.run(merged,feed_dict={x:batch_xs,y:batch_ys,keep_prob:1.0})
        test_writer.add_summary(summary,i)

        if i%100==0:
            test_acc = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels,keep_prob:1.0})
            train_acc = sess.run(accuracy,feed_dict={x:mnist.train.images[:10000],y:mnist.train.labels[:10000],keep_prob:1.0})
            print ("Iter " + str(i) + ", Testing Accuracy= " + str(test_acc) + ", Training Accuracy= " + str(train_acc))

打开cmd,进入当前文件夹,执行tensorboard --logdir=‘C:\Users\FELIX\Desktop\tensor学习\logs‘

就可以进入tensorboard可视化界面了。

原文地址:https://www.cnblogs.com/felixwang2/p/9190602.html

时间: 2024-10-12 02:26:48

TensorFlow(九):卷积神经网络实现手写数字识别以及可视化的相关文章

第二节,TensorFlow 使用前馈神经网络实现手写数字识别

一 感知器      感知器学习笔记:https://blog.csdn.net/liyuanbhu/article/details/51622695      感知器(Perceptron)是二分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1.这种算法的局限性很大: 只能将数据分为 2 类 数据必须是线性可分的 虽然有这些局限,但是感知器是 ANN 和 SVM 的基础,理解了感知器的原理,对学习ANN 和 SVM 会有帮助,所以还是值得花些时间的. 感知器可以表示为

神经网络用于手写数字识别

一:人工神经网络 人类之所以能够思考,学习,判断,大部分都要归功于人脑中复杂的神经网络.虽然现在人脑的机理还没有完全破译,但是人脑中神经元之间的连接,信息的传递都已为人所知晓.于是人们就想能否模拟人脑的功能用于解决其他问题,这就发展出人工神经网络. 人工神经网络(artificial neural network,缩写ANN),是一种模仿生物神经网络的结构和功能的数学模型或计算模型.神经网络由大量的人工神经元联结进行计算.大多数情况下人工神经网络能在外界信息的基础上改变内部结构,是一种自适应系统

BP神经网络(手写数字识别)

1实验环境 实验环境:CPU [email protected],内存8G,windows10 64位操作系统 实现语言:python 实验数据:Mnist数据集 程序使用的数据库是mnist手写数字数据库,数据库有两个版本,一个是别人做好的.mat格式,训练数据有60000条,每条是一个784维的向量,是一张28*28图片按从上到下从左到右向量化后的结果,60000条数据是随机的.测试数据有10000条.另一个版本是图片版的,按0~9把训练集和测试集分为10个文件夹.这里选取.mat格式的数据

【机器学习】BP神经网络实现手写数字识别

最近用python写了一个实现手写数字识别的BP神经网络,BP的推导到处都是,但是一动手才知道,会理论推导跟实现它是两回事.关于BP神经网络的实现网上有一些代码,可惜或多或少都有各种问题,在下手写了一份,连带着一些关于性能的分析也写在下面,希望对大家有所帮助. 本博文不含理论推导,如对BP的理论推导感兴趣百度即可,或参考<模式识别>. 一.数据库 程序使用的数据库是mnist手写数字数据库,这个数据库我有两个版本,一个是别人做好的.mat格式,训练数据有60000条,每条是一个784维的向量,

简单的神经网络算法-手写数字识别

本文通过BP神经网络实现一个简单的手写识别系统. 一.基础知识 1环境 python2.7 需要numpy等库 可利用sudo apt-get install python-安装 2神经网络原理 http://www.hankcs.com/ml/back-propagation-neural-network.html 讲的特别清楚,本实验过程中涉及矩阵运算都用numpy库的函数 3.js的基础知识 http://www.w3school.com.cn/tags/html_ref_canvas.a

tensorflow 卷积神经网络预测手写 数字

# coding=utf8 import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datafrom PIL import Image def imageprepare(file_name): """ This function returns the pixel values. The imput is a png file location. ""&quo

基于BP神经网络的手写数字识别

一.BP神经网络原理及结构 本部分先介绍神经网络基本单元神经元的结构和作用,再主要介绍BP神经网络的结构和原理. 1.神经元 神经元作为神经网络的基本单元,对于外界输入具有简单的反应能力,在数学上表征为简单的函数映射.如下图是一个神经元的基本结构,  神经元结构 图中是神经元的输入,是神经元输入的权重,是神经元的激活函数,y是神经元的输出,其函数映射关系为 激活函数来描述层与层输出之间的关系,从而模拟各层神经元之间的交互反应.激活函数必须满足处处可导的条件.常用的神经元函数有四种,分别是线性函数

Andrew Ng 机器学习课程笔记 ———— 通过初步的神经网络实现手写数字的识别(尽力去向量化实现)

上一篇我总结了自己在学完逻辑回归后,实现了对手写数字的初步识别 , 在学完了Andrew教授的神经网络简易教程后,趁着知识刚学完没多久,记下了自己在运用简易神经网络实现手写数字识别过程中的总结和问题 ^_^  菜鸡QP的第二篇学习笔记 ~ 错误在所难免 ,希望自己可以通过一篇篇菜鸡的笔记心得 ,取得一点点的进步 ~\(≧▽≦)/~    ) 依旧是给定 5000个20 * 20像素点的手写数字图片 ,与前几天自己完成的逻辑回归完成任务不同 ,这次自己终于要用到极富魅力的神经网络啦(虽然只是最基础

C++使用matlab卷积神经网络库MatConvNet来进行手写数字识别

环境:WIN10(64 bit)+VS2010(64 bit)+Matlab2015b(64 bit) 关于MatConvNet的介绍参考:http://www.vlfeat.org/matconvnet/ Github下载地址为:https://github.com/vlfeat/matconvnet/ 我们的目的是将MatConvNet自带的手写数字识别DEMO移植到一个简单的WIN32 DEMO中使用,主要过程有以下几个步骤: (1)配置MatConvNet,然后将手写数字识别DEMO编译