如果万一大家不小心检索到了本篇文章,为了不浪费大家的时间,请大家直接看 http://blog.csdn.net/itplus/article/details/19168937, 写在很好,太好好好!!!(本篇内容仅仅用于我的自我复习)
长什么样?
它长这样子:
它的特点: 在给定可见层单元状态(输入数据)时,各隐层单元的激活条件独立,反过来看,在给定隐层单元状态时,可见层单元的激活条件也是独立的。
其中的参数:可见层用V表示,隐含层用H表示,可见层的偏置用a表示,隐含层的偏置用b表示,权值矩阵用W表示。
它是什么东西:它就是一个随机网络模型, 给定输入层,一定的条件概率下映射到隐含层;然后再根据一定的概率映射出来,结果尽可能与原始的输入相同。 一切都是建立在概率上!!!!
说实话,这是什么玩意啊,它能干什么啊。 我目前真的不是很清楚啊。
它的概率是如何定义的?
它的概率的定义借鉴了基于能量的统计学分布。 当系统处于状态 i 时,它的能量用Ei 来表示,那么请问处于状态 i 的概率为多少呢??用下式表示:
, 其中
所以呢,把我们把这个统计学的分布应用于我们的受限的波尔北曼机时,如何定义它的能量函数是很重要的了。
下面是能量函数的定义公式,为什么这么定义呢?不是很明白啊。我感觉吧:可能怎么定义都可以吧,能够自圆其说就可以吧。反正就是自己定义的了。定义不同的能量函数,最后训练出来的网络的参数不同嘛,最后的分布应该是不变的,因为我们就是朝着它的分布而去训练的网络啊。。
利用这个能量函数,定义出受限有波尔兹曼机的状态概率:给定状态(v,h), 它的联合概率为:
,其中,
一些相关的概率:(来自:http://blog.csdn.net/itplus/article/details/19168989,很清晰的推导过程,写的太棒了,
其中的一个推导过程:
如何训练的问题:
为什么我感觉对比散度算法与Gibbs采样没有区别啊就是把随机的初始值变为了样本值了吧(意思就是现在的样本是符合平稳的马尔可夫链的分布的)。
不先写了,有一些问题想不明白。。不先写了,有一些问题想不明白。。
参考资料:
http://blog.csdn.net/itplus/article/details/19168937 受限玻尔兹曼机(RBM)学习笔记(一)预备知识