根据《Sparse deep belief net model for visual area V2》实现Sparse GRBM

前一部分的求解用Hinton的CD算法即可，后一部分的求解即在前一部分的前提下，加入：

%%加入Sparse penalty

R.delta=mean(mean(h0,1)-R.sparseP).*mean(h0.*(1-h0),1);

R.deltaW=(v0‘*repmat(R.delta,minibatch_sz,1))./minibatch_sz;

%dW=dW+R.sparseLumda.*;

R.vbias = R.vbias + actual_lrate * (vbias_grad_old‘ - weight_decay * R.vbias);

R.hbias = R.hbias + actual_lrate * (hbias_grad_old‘ - weight_decay * R.hbias-R.sparseLumda.*R.delta‘);

R.W = R.W + actual_lrate * (W_grad_old - weight_decay * R.W-R.sparseLumda.*R.deltaW);

其中R.sparseP是期望的稀疏度即公式中的p，R.sparseLumda对应公式中λ。把公式中E[hj|v]理解为p(hj|v)即可，对应代码中h0。代码中R.delta实际求解的是稀疏化目标式

对hbias的偏导数，R.deltaW是该目标式对R.W的偏导数。

来自为知笔记(Wiz)

根据《Sparse deep belief net model for visual area V2》实现Sparse GRBM,布布扣,bubuko.com

时间： 2024-11-20 07:25:43

根据《Sparse deep belief net model for visual area V2》实现Sparse GRBM的相关文章

Deep Belief Network

Deep Belief Network3实例3.1 测试数据按照上例数据,或者新建图片识别数据. 3.2 DBN实例//****************例2(读取固定样本:来源于经典优化算法测试函数Sphere Model)***********// //2 读取样本数据 Logger.getRootLogger.setLevel(Level.WARN) valdata_path ="/user/huangmeiling/deeplearn/data1" valexamples =ww

【转载】Project on Learning Deep Belief Nets

Project on Learning Deep Belief Nets Deep Belief Nets (DBN's) will be explained in the lecture on Oct 29. Instead of learning layers of features by backpropagating errors, they learn one layer at a time by trying to build a generative model of the da

Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.3

Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.3 http://blog.csdn.net/sunbow0 第二章Deep Belief Network (深度信念网络) 3实例 3.1 測试数据依照上例数据,或者新建图片识别数据. 3.2 DBN实例 //****************例2(读取固定样本:来源于经典优化算法測试函数Sphere Model)***********// //2 读取样本数据 Logge

Reducing the Dimensionality of data with neural networks / A fast learing algorithm for deep belief net

Deeplearning原文作者Hinton代码注解 1 Matlab示例代码为两部分,分别对应不同的论文: 2 3 1. Reducing the Dimensionality of data with neural networks 4 5 ministdeepauto.m backprop.m rbmhidlinear.m 6 7 2. A fast learing algorithm for deep belief net 8 9 mnistclassify.m backpropclas

Knowledge Generation Model for Visual Analytics

1 摘要可视分析使得人们能够分析大量的信息,为了支持复杂的决策和数据探索.人类作为一个中心的角色在知识产生的过程,从片段的证明到可视数据分析.虽然前者的研究提供了框架来产生这些过程,他们的范围通常聚焦很窄,所以他们不包含不同等级的不同视角.本文提供一个知识产生的可视分析模型,将这些分离的框架结合到一起,但是,仍然保留以前先进的模型(例如.KDD过程)来描述整个可视分析流程的个体片段.为了测试这个模型的有效性,用一个现实世界的可视分析系统来比较这个模型,证明当开发和评估这个系统,这个支持产生流程

【转载】Deep Belief Network

Deep Belief Network 为了更好的在下次讨论班讲述 DBN,特开此帖.主要是介绍 DBN 的相关知识,做一份逻辑上完整的东西.参考Hinton 的东西来讲吧: reading listRBM 相关[1] 关于 Boltzmann machine 的 scholarwiki[2] Haykin 书上第 11 章[3] Duda 书上第 7 章[4] RBM 的 exponential family 扩展[5] RBM 的建模能力:作为 universal approximator

Deep Learning 17：DBN的学习_读论文“A fast learning algorithm for deep belief nets”的总结

1.论文“A fast learning algorithm for deep belief nets”的“explaining away”现象的解释: 见:Explaining Away的简单理解 2.论文“A fast learning algorithm for deep belief nets”的整个过程及其“Complementary priors”的解释: 见:paper:A fast learning algorithm for deep belief nets和 [2014041

Convolutional Deep Belief Networks 卷积深信度网络论文笔记

参考论文:1.Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations 2.Stacks of Convolutional Restricted Boltzmann Machinesfor Shift-Invariant Feature Learning 预备知识:http://blog.csdn.net/zouxy

Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.2

Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.2 http://blog.csdn.net/sunbow0 第二章Deep Belief Network (深度信念网络) 2基础及源代码解析 2.1 Deep Belief Network深度信念网络基础知识 1)综合基础知识參照: http://tieba.baidu.com/p/2895759455 http://wenku.baidu.com/link?url=