2012-4-17 DBN网上资料2(转载)

2012-4-17 DBN网上资料2(转载)

(2012-04-17
09:37:24)

转载





分类: DBN(deeplearning)

【原文链接:http://demonstrate.ycool.com/post.3006074.html

为了更好的在下次讨论班讲述 DBN,特开此帖。主要是

介绍 DBN 的相关知识,做一份逻辑上完整的东西。参考

Hinton 的东西来讲吧:

reading list

RBM 相关

[1] 关于 Boltzmann machine 的 scholarwiki

[2] Haykin 书上第 11 章

[3] Duda 书上第 7 章

[4] RBM 的 exponential family 扩展

[5] RBM 的建模能力:作为 universal approximator

Contrastive Divergence 相关

[6] 提出 PoE 的文章,也是 CD 提出的文章

[7] 关于实践中 CD 的效果

[8] 收敛性分析

Helmholtz machine 相关

一个别人的 list

[9] 提出的概念

[10] 训练算法 wake-sleep

PoE 相关

[11] scholarwiki 上 Max Welling 的文章

[12] t-distr 的 PoE

DBN 相关

[13] NIPS2007 Tutorial on DBN

[14] Hinton 课堂 slides

[15] 哲学层面思考:深度是为了提高编码效率

[16] 快速学习算法:DBN + softmax

[17] 做维数约简

[18] 使用 DBN + GP 分类

其他相关文章

[19] Sigmoid belief network

[20] FoE

[21] FoE 原始的文章

简介

理解 DBN 分几个步骤,如何训练一个 DBN 每层的 RBM,

如何把这些 RBM 粘合起来,最后如何使用这些作为一个

belief network 解决实际问题。

RBM 是一个 PoE [6],因此也是一个特殊的 MRF,其学习由

于那个 normalization factor 造成困难,虽然可以用 MCMC

来解决,但是并不好(速度慢、方差大)。在 2002 年左右

Hinton 提出了基于 CD 的训练算法 [6] 取代原来的 MLE获得了

良好的效果,为什么会去做 RBM 可以参看关于 RBM 这个

universal approximator 的文章 [5]。

使用 deep architecture 的主要原因是 encoding efficiency [15],

使用多层需要用一个 greedy 算法 pretraining [16],这个算法

保证第一层上训练出来的隐层的分布作为第二层的显层输入

时可以提高边际似然 [16]。接着需要根据应用的类型对这个模型

进一步的 fine tune。

比如分类问题,可以引入一层 softmax 的 neuron [16],用其在

标注数据上的 loss 使用 BP 进行 fine tune(可能需要

Helmholtz machine 相关的方法 [10]);比如 dimensionaly

reduction [17],其实把原来的网络反过来就可以 reconstruction,

然后根据 reconstruction error 使用 BP;又比如

相关连接

ML project of super big cow soup

Hinton‘s page for the DBN project

Hinton‘s page for the Science paper

Hinton‘s reading list for DBN

研究问题

1. 是否可以用 nonparametric Bayesian method 改变 Boltzmann

machine?

来源: <2012-4-17 DBN网上资料2(转载)_dudong_新浪博客>

来自为知笔记(Wiz)

2012-4-17 DBN网上资料2(转载)

时间: 2024-10-14 13:14:07

2012-4-17 DBN网上资料2(转载)的相关文章

看网上资料学习了解注入

随着B/S模式应用开发的发展,使用该模式编写程序的程序员越来越来越多,但是由于程序员的水平参差 不齐,相当大一部分应用程序存在安全隐患.用户可以提交一段数据库查询代码,根据程序返回的结果 ,获得某些他想要知的数据,这个就是所谓的SQLinjection,即sql注入式攻击. 脚本注入攻击者把SQL命令插入到WEB表单的输入域或页面请求的查询字符串,欺骗服务器执行恶意的SQL 命令,在某些表单中,用户输入的内容直接用来构造动态的SQL命令,或作为存储过程的输入参数,从而 获取想得到的密码或其它服务

自己根据网上资料做的一个记事本,有些功能还不太完善。

这个记事本主要是在学习javaGUI及其基本知识后,参考网上资料做出.在制作过程中,同时也发现了java中lastIndex()方法存在不能准确删选数据的情况,然后自己进行了修改. 以下是代码部分: package com.Program;import java.awt.*;import java.awt.datatransfer.*; import javax.swing.*;import javax.swing.event.ListSelectionEvent;import javax.sw

Android + Eclipse + PhoneGap 3.4 安卓最新环境配置,部分资料整合网上资料,已成功安装.

前言:广州花都论坛,打算推出本地服务o2o应用.快速开发手机应用,phonegap 我的小站,http://www.w30.cn/ 如果有什么问题也可以到小组留言,可以的话,贡献一个ip:) phonegap小组 http://www.w30.cn/go/w30 如果有什么问题也可以加入我们的QQ群:64674997 下面是我的安装过程 环境搭建首先要去下载一些安装包: (下载前注意一下,电脑是32位还是64位的请注意选择安装包) java环境的JDK:http://www.oracle.com

PLSQL_Oracle 面试整理(汇总)(整理网上资料DBA and PLSQL面试大全)

2014-08-16 BaoXinjian 一.SQL Tunning类 1. 列举集中表的连接方式 Answer:等连接(内连接).非等连接.自连接.外连接(左.右.全) Or hash join/merge join/nest loop(cluster join)/index join ?? 连接类型 定义 例子 内连接 只连接匹配的行 select A.c1,B.c2 from A join B on A.c3 = B.c3; 左外连接 包含左边表的全部行(不管右边的表中是否存在与它们匹配

韩立刚17年学习资料399元一网打尽

有时候查找资料消耗了我们大量的学习时间. 如果你打算从事企业网络运维的工作,能够在企业IT部门独当一面.系统的IT技术和各种学习测试工具软件必不可少. 韩立刚老师17年从事IT培训和企业技术支持,从网上搜集下载整理各种软件共计240G,录制视频教程40余门,出版计算机图书10多本. 为方便IT从业者,减少在网上查找资料的麻烦,现将韩老师出版的图书电子版.下载的全部软件和基础课程视频打包,费用只需399元.你寄一个1T移动硬盘过来,我拷贝资料寄给你. 内容包括:电子书,软件.视频教程,视频教程笔记

ios面试题2016(网上资料)

下面是网上找的一些面试题 1. OC中,与alloc语义相反的方法是dealloc还是release?与retain语义相反的方法是dealloc还是release?为什么?需要与alloc配对使用的方法是dealloc还是release,为什么? 以下是针对MRC(手动内存释放)模式: 与alloc语义相反的方法是dealloc,与retain语义相反的方法是release. alloc是为对象在内存中开辟空间,而dealloc则是对象销毁时释放空间. retain方法是对象开辟空间以后使对象

关于x86和x64(网上资料整理)

整理了下网上的资料,归类了下,大似表述是这样的:IBM/PC兼容机,也就是Intel的i80x86指令架构,就简称了x86.x86并不是指32位环境,而是指80x86架构,这个架构目前有32位,64位两种.曾经听说还包括了过8位和16位,不过我没机会看过. 习惯上来说,x86架构就是32位的,但AMD扩展出了64位环境,而且64位硬件支持32位,称为amd64intel叫EM64T,EM64T本质上和amd64一样都是IA-32的增强版本,Xeon借助于EM64T可实现高达1TB(40bit)的

MySql优化方法---网上资料整理记录

1. 为查询缓存优化你的查询 大多数的MySQL服务器都开启了查询缓存.这是提高性最有效的方法之一,而且这是被MySQL的数据库引擎处理的.当有很多相同的查询被执行了多次的时候,这些查询结果会被放到一个缓存中,这样,后续的相同的查询就不用操作表而直接访问缓存结果了. 2. EXPLAIN 你的 SELECT 查询 使用 EXPLAIN 关键字可以让你知道MySQL是如何处理你的SQL语句的.这可以帮你分析你的查询语句或是表结构的性能瓶颈. EXPLAIN 的查询结果还会告诉你你的索引主键被如何利

STM32F4-Discovery资料汇总 (转载自http://blog.163.com/thinki_cao/blog/static/83944875201362493134992/)

STM32F4的资料大部分都在这里: http://www.stmcu.org/download/index.php?act=ziliao&id=150 根据个人的理解对这些资料作了一些规律,后期可能会增加一些个人的思维导图以增强理解. STM32F4-Discovery开发套件相关资料: 索引:UM1472 User Manual 标题:STM32F4DISCOVERY STM32F4 high-performance discovery board 文档说明:STM32F4-DISCOVER