受限的波尔兹曼机的简单了解知识

如果万一大家不小心检索到了本篇文章,为了不浪费大家的时间,请大家直接看  http://blog.csdn.net/itplus/article/details/19168937, 写在很好,太好好好!!!(本篇内容仅仅用于我的自我复习)

长什么样?

它长这样子:

它的特点: 在给定可见层单元状态(输入数据)时,各隐层单元的激活条件独立,反过来看,在给定隐层单元状态时,可见层单元的激活条件也是独立的。

其中的参数:可见层用V表示,隐含层用H表示,可见层的偏置用a表示,隐含层的偏置用b表示,权值矩阵用W表示。

它是什么东西:它就是一个随机网络模型, 给定输入层,一定的条件概率下映射到隐含层;然后再根据一定的概率映射出来,结果尽可能与原始的输入相同。  一切都是建立在概率上!!!!

说实话,这是什么玩意啊,它能干什么啊。 我目前真的不是很清楚啊。

它的概率是如何定义的?

它的概率的定义借鉴了基于能量的统计学分布。  当系统处于状态 i 时,它的能量用Ei 来表示,那么请问处于状态 i 的概率为多少呢??用下式表示:

,  其中

所以呢,把我们把这个统计学的分布应用于我们的受限的波尔北曼机时,如何定义它的能量函数是很重要的了。

下面是能量函数的定义公式,为什么这么定义呢?不是很明白啊。我感觉吧:可能怎么定义都可以吧,能够自圆其说就可以吧。反正就是自己定义的了。定义不同的能量函数,最后训练出来的网络的参数不同嘛,最后的分布应该是不变的,因为我们就是朝着它的分布而去训练的网络啊。。

利用这个能量函数,定义出受限有波尔兹曼机的状态概率:给定状态(v,h), 它的联合概率为:

,其中,

一些相关的概率:(来自:http://blog.csdn.net/itplus/article/details/19168989,很清晰的推导过程,写的太棒了,

其中的一个推导过程:

如何训练的问题:

为什么我感觉对比散度算法与Gibbs采样没有区别啊就是把随机的初始值变为了样本值了吧(意思就是现在的样本是符合平稳的马尔可夫链的分布的)。

不先写了,有一些问题想不明白。。不先写了,有一些问题想不明白。。

参考资料:

http://blog.csdn.net/itplus/article/details/19168937  受限玻尔兹曼机(RBM)学习笔记(一)预备知识

时间: 2024-11-02 19:37:16

受限的波尔兹曼机的简单了解知识的相关文章

受限波尔兹曼机

1.  概述 前面描述的神经网络模型是一种确定的结构.而波尔兹曼网络是一种随机网络.如何来描述一个随机网络呢?很多书上有大量的篇幅介绍其原理.这里把它总结为以下两点. 第一,概率分布函数.由于网络节点的取值状态是随机的,从贝叶斯网的观点来看,要描述整个网络,需要用三种概率分布来描述系统.即联合概率分布,边缘概率分布和条件概率分布.要搞清楚这三种不同的概率分布,是理解随机网络的关键,这里向大家推荐的书籍是张连文所著的<贝叶斯网引论>.很多文献上说受限波尔兹曼是一个无向图,这一点也有失偏颇.从贝叶

初中数学——(课堂上没讲过却很简单的知识)

回忆一下初中数学,才发现自己并学到的东西很有限,初中的很多东西只是简单的涉及.最近有回到了初中的知识上,总结了一些在数学上自己发现和简单推理的东西. 一.勾股定理 很多人都知道勾股定理,也能够顺利的证明出来,毕竟课本上提供了很多用四边形证明的方法,不过如果给出一个圆和一个直角三角形,能证明吗?答案是肯定的,这个相信很多人在初中的时候就已经发现了(我是在学圆的时候偶然发现的). 在这个三角形中,我们设圆的半径为r,即EO=DO=FO=r,AC=a,BC=b,AB=c. 我们都知道r可以用a.b.c

堡垒机的简单应用

堡垒机的定义: 即在一个特定的网络环境下,为了保障网络和数据不受来自外部和内部用户的入侵和破坏,而运用各种技术手段实时收集和监控网络环境中每一个组成部分的系统状态.安全事件.网络活动,以便集中报警.及时处理及审计定责. 堡垒机的功能: 账号管理 设备支持统一账户管理策略,能够实现对所有服务器.网络设备.安全设备等账号进行集中管理 完成对账号整个生命周期的监控 对设备进行特殊角色设置如:审计巡检员.运维操作员.设备管理员等自定义设置,以满足审计需求 账号登陆 支持对X11.linux.unix.数

Q7:关于xcode证书申请以及真机调试简单版本

iOS发开蛋疼集锦 Write by iceAna Team 1.奔跑吧,App(Running on the device) 前言 App已经受够了一次又一次在Simulator上的调试,它渴望在你的iPhone或者iPad上奔跑! 注:本文建立在以下几个条件,倘若不满足,请跳出本书. 1.你已经付费99$拥有了iOS Developer Program accout. 2.你已经拥有一台或多台调试设备,iPhone,iPad等等. 3.假如你要将你的apps放到iTunes App Stor

【转】学会小米9008高通模式_原来刷机如此简单

大家的手机都是越用越卡,很多朋友都选择刷机来解决,但是刷机也是有风险的,一不小心就刷黑屏了.可能你会说还有fastboot模式,但是连fastboot都解决不了的时候该怎么办呢,跟着小编继续往下看吧 首先我们来说下刷机模式 通常都是说安卓手机的Fastboot模式.在安卓手机中fastboot是一种比recovery更底层的刷机模式.简单来说,就是使用USB数据线,连接电脑的一种刷机模式.这种刷机方式,我们又通常称为“线刷”刷机. 线刷对应的就是卡刷 就是利用recovery的从SD卡中更新系统

loadrunner简单小知识

1 参数篇 在使用loadrunner时,参数化是必须的,我们设置完之后,对于这些数据是怎么取的是否清楚,下面我们将简单介绍一下 说明:1.有10个用户,从wxg1,wxg2,wxg3,wxg4,wxg5,wxg6,wxg7,wxg8,wxg9,wxg10,运行10次 2.wxg1,wxg2--wxg10,之间省略 wxg3--wxg9;wxg1,wxg1--wxg1,之间省略wxg1 2 线程与进程的区别 设置一个用户迭代1次时,会有一个mmdrv.exe进程,当一个用户迭代10次时,用线程.

华为机考--简单四则运算

问题描述: 输入一个只包含个位数字的简单四则运算表达式字符串,计算该表达式的值 注: 1.表达式只含 +, -, *, / 四则运算符,不含括号 2.表达式数值只包含个位整数(0-9),且不会出现0作为除数的情况 3.要考虑加减乘除按通常四则运算规定的计算优先级 4.除法用整数除法,即仅保留除法运算结果的整数部分.比如8/3=2.输入表达式保证无0作为除数情况发生 5.输入字符串一定是符合题意合法的表达式,其中只包括数字字符和四则运算符字符,除此之外不含其它任何字符,不会出现计算溢出情况 要求实

结构体简单理论知识

为什幺使用结构体 有的时候我们需要把不同类型的数据封装成一个整体,以便于引用. 结构就类似于类 一个类就是将方法属性封装起来 而结构简单说是将 一些变量组合在一起. 定义一个结构的一般形式 struct 结构名 { 成员列表   //必须进行类型声明 }变量名表列; 例如: struct People { char *name; char sex int age; }people1,people2; 结构的嵌套定义: struct Date { int year; int month; int

云计算学习体系-1.1-计算机硬件基础扩展知识BIOS/UEFI/MBR/GPT

我们每天都在用电脑,很多人可能每天都要面对多次Windows的启动过程,可是您知道在Windows的启动过程背后,你真真了解过吗?上文中我们认识了计算机的基本硬件,其中讲到BIOS和UEFI,下次内容我们就要使用这些概念了,今天我们就在这里深入学习一下这几个知识. 计算机启动的第一个阶段就是初始化硬件,2000 年以前的计算机主板上均使用 BIOS,如今绝大多数计算机采用的是 EFI(Mac 用的就是 EFI)或 UEFI,BIOS 正在逐步被淘汰.基于 EFI.UEFI 的开机过程与传统的BI