深度学习入门教程UFLDL学习实验笔记二:使用向量化对MNIST数据集做稀疏自编码

今天来做UFLDL的第二个实验,向量化。我们都知道,在matlab里面基本上如果使用for循环,程序是会慢的一逼的(可以说基本就运行不下去)所以在这呢,我们需要对程序进行向量化的处理,所谓向量化就是将matlab里面所有的for循环用矩阵运算的方法实现,在这里呢,因为之前的实验我已经是按照向量化的形式编写的代码,所以这里我只把我对代码修改的部分发上来供大家参考吧。本文为本人原创,参考了UFLDL的教程,是我自己个人对于这一系列教程的理解以及自己的实验结果。非盈利性质网站转载请在文章开头处著名本文作者:77695,来源http://www.cnblogs.com/cj695/。盈利性质网站转载请与作者联系,联系方式在文章后面。如未联系,本人将通过一切可能且合法的途径追缴相应稿酬。请在转载时保留此声明。

这是我们使用的数据集,采用的是MNIST数据库里面的手写字符。读取数据集有一定的方法,这个现成的代码在UFLDL的教程里面是可以下载的。读取完数据集显示效果如下:

最后训练得到的结果如下

代码第一处要修改的是在train的地方,要把参数修改为这次实验的参数:

visibleSize = 28*28;   % number of input units
hiddenSize = 14*14;     % number of hidden units
sparsityParam = 0.1;   % desired average activation of the hidden units.
                     % (This was denoted by the Greek alphabet rho, which looks like a lower-case "p",
		     %  in the lecture notes).
lambda = 0.003;     % weight decay parameter
beta = 3;            % weight of sparsity penalty term       

其次在computeNumericalGradient的地方,把梯度检测数目减小:

for i=1 :min(size(theta,1),2)
    e = zeros(size(theta));
    e(i)=EPSILON;
    cha=(J(theta+e)-J(theta-e));
    numgrad(i)=cha/(2*EPSILON);
end

最后,取样图片,使用UFLDL提供的现成的读取MNIST数据库的函数即可:

function patches = sampleIMAGES()

img=loadMNISTImages(‘train-images.idx3-ubyte‘);
patches=img(:,10001:20000);
% patches = normalizeData(patches);
% 在实现手写字符识别时,是不需要对其做归一化处理的
end

注意:在做手写字符识别时,使用MNIST的数据库是不需要再对数据做归一化处理的,如果做了归一化处理,结果可能反而会出错。

上图是做了归一化之后的结果,可以很明显的看到,归一化之后,每一个数字的格子之间的背景亮度是有一定差距的。

使用归一化之后的数据经性训练,最后得到的结果如下图:

可以看到,这个结果与之前的结果比的话,并不能足矣用这些基来表达整个数据,因此是不好的。

为什么会出现这样一个结果呢,我们来看一下归一化之后的结果:

下面是没有归一化的结果

可以看到没有归一化数据是从0-0.99的,变化范围大,而归一化后,数据变化范围只有0.5,这显然是不对的。要清楚的是,MINIST数据集本身就已经对数据进行了归一化的处理因此我们就不用画蛇添足了。

时间: 2024-10-13 14:13:18

深度学习入门教程UFLDL学习实验笔记二:使用向量化对MNIST数据集做稀疏自编码的相关文章

深度学习入门教程UFLDL学习实验笔记一:稀疏自编码器

UFLDL即(unsupervised feature learning & deep learning).这是斯坦福网站上的一篇经典教程.顾名思义,你将在这篇这篇文章中学习到无监督特征学习和深度学习的主要观点. UFLDL全文出处在这:http://ufldl.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B,本文为本人原创,参考了UFLDL的教程,是我自己个人对于这一系列教程的理解以及自己的实验结果.非盈利性质网站转载请在文章开头处著名本

深度学习入门教程UFLDL学习实验笔记三:主成分分析PCA与白化whitening

主成分分析与白化是在做深度学习训练时最常见的两种预处理的方法,主成分分析是一种我们用的很多的降维的一种手段,通过PCA降维,我们能够有效的降低数据的维度,加快运算速度.而白化就是为了使得每个特征能有同样的方差,降低相邻像素的相关性. 主成分分析PCA PCA算法可以将输入向量转换为一个维数低很多的近似向量.我们在这里首先用2D的数据进行试验,其数据集可以在UFLDL网站的相应页面http://ufldl.stanford.edu/wiki/index.php/Exercise:PCA_in_2D

ROS与深度相机入门教程-在ROS使用kinect v1摄像头

ROS与深度相机入门教程-在ROS使用kinect v1摄像头 说明: 介绍在ros安装和使用kinect v1摄像头 介绍freenect包 安装驱动 deb安装 $ sudo apt-get install ros-indigo-freenect-* $ rospack profile 源码安装 $ cd ~/catkin_ws/src $ git clone https://github.com/ros-drivers/freenect_stack.git $ cd ~/catkin_ws

Elasticsearch入门教程(六):Elasticsearch查询(二)

原文:Elasticsearch入门教程(六):Elasticsearch查询(二) 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/vbirdbest/article/details/79237950 地理坐标点geo-point 地理坐标点:是指地球表面可以用经纬度描述的一个点. 地理坐标点可以用来计算两个坐标间的距离,还可以判断一个坐标是否在一个区域中,或在聚合中. 地理坐标点不能被

TensorFlow和深度学习入门教程(TensorFlow and deep learning without a PhD)

前言 上月导师在组会上交我们用tensorflow写深度学习和卷积神经网络,并把其PPT的参考学习资料给了我们, 这是codelabs上的教程:<TensorFlow and deep learning,without a PhD> 当然登入需要翻墙,我也顺带巩固下,做个翻译,不好之处请包含指正. 当然需要安装python,教程推荐使用python3.如果是Mac,可以参考博主的另外两片博文,Mac下升级python2.7到python3.6, Mac安装tensorflow1.0 好多专业词

Python学习入门教程,字符串函数扩充详解

因有用户反映,在基础文章对字符串函数的讲解太过少,故写一篇文章详细讲解一下常用字符串函数.本文章是对:程序员带你十天快速入门Python,玩转电脑软件开发(三)中字符串函数的详解与扩充. 如果您想学习并参与本教程的完善与写作.请在下方讨论区,回复相关问题.一起完善本文章教程的书写. Python字符串常用函数. 声明字符串变量: str = ‘关注做全栈攻城狮,写代码也要读书,爱全栈,更爱生活.’ 下面所有字符串函数函数,是对变量str进行操作: 求字符串长度: 函数使用: 运行结果: 值得注意

《Python爬虫学习系列教程》学习笔记

转自:http://cuiqingcai.com/1052.html 大家好哈,我呢最近在学习Python爬虫,感觉非常有意思,真的让生活可以方便很多.学习过程中我把一些学习的笔记总结下来,还记录了一些自己实际写的一些小爬虫,在这里跟大家一同分享,希望对Python爬虫感兴趣的童鞋有帮助,如果有机会期待与大家的交流. 一.Python入门 1. Python爬虫入门一之综述 2. Python爬虫入门二之爬虫基础了解 3. Python爬虫入门三之Urllib库的基本使用 4. Python爬虫

LINQ学习入门教程(一)

LINQ 查询简介       Linq 是一跨各种数据源和数据格式的数据模型:它在查询是,始终是把它作为一种对象来操作,可以使用基本相同的编码模型查询和数据的转换XML,SQL,ADO数据等: Linq查询的三个步骤             在我们使用Linq来查询数据的时候我们都会按照这三个步骤来做,这是初学者应该记住             1.创建数据源,这里的数据源可以是数组,集合,XML,SQL等数据库             2.新建一个查询,                 如:

zabbix2.2入门教程之配置文件配置(二)

zabbix配置 server端常用配置: ListenPort=10051                 #监听端口 LogFile=/tmp/zabbix_server.log   #定义日志文件路径 DBHost=192.168.1.3               #数据库服务器地址 DBName=zabbix                    #zabbix数据库名称 DBUser=zabbix                   #zabbix数据库用户名 DBPassword=