基于RBM的判别模型/算法

参考论文：

1、A Practical Guide to Training Restricted Boltzmann Machines

2、Classification using Discriminative Restricted Boltzmann Machines

目前研究火热的深度学习中，RBM(限制玻尔兹曼机)是最为重要的一块奠基石。深度学习最为关键的预训练过程中，RBM是被当做生成模型来训练的。RBM能够很好的拟合数据的优点是其广泛应用于深度模型的关键，如果能够把RBM的这个优点应用到判别模型中应该会有不错的效果。本文主要是介绍RBM用做判别模型，简单说就是用作一个非线性分类器。

参考论文1中的16节中，介绍了RBM用作判别的三种方法：

①把RBM隐层输出作为其他标准分类器的特征输入（例如DBN）；

②每一类训练一个RBM，再训练一个softmax分类器做决策；

③把特征向量和标签作为RBM的可视层输入，训练RBM作为特征向量和标签的生成模型；

其中②③就是本文的主要内容，表述的不太清楚，下文详细说明：

是是是是是是是是是是是是是是是是是是是是是是是是是是是是是是是是是是是是是是是是是是是是是是

来自为知笔记(Wiz)

基于RBM的判别模型/算法

时间： 2024-11-06 22:12:35

基于RBM的判别模型/算法的相关文章

生成模型 VS 判别模型 （含义、区别、对应经典算法）

从概率分布的角度考虑,对于一堆样本数据,每个均有特征Xi对应分类标记yi. 生成模型:学习得到联合概率分布P(x,y),即特征x和标记y共同出现的概率,然后求条件概率分布.能够学习到数据生成的机制. 判别模型:学习得到条件概率分布P(y|x),即在特征x出现的情况下标记y出现的概率. 数据要求:生成模型需要的数据量比较大,能够较好地估计概率密度:而判别模型对数据样本量的要求没有那么多. 两者的优缺点如下图,摘自知乎 生成模型:以统计学和Bayes作为理论基础 1.朴素贝叶斯: 通过学习先验概率分

基于位置信息的聚类算法介绍及模型选择

百度百科 聚类:将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类.由聚类所生成的簇是一组数据对象的集合,这些对象与同一个簇中的对象彼此相似,与其他簇中的对象相异."物以类聚,人以群分",在自然科学和社会科学中,存在着大量的分类问题.聚类分析又称群分析,它是研究(样品或指标)分类问题的一种统计分析方法.聚类分析起源于分类学,但是聚类不等于分类.聚类与分类的不同在于,聚类所要求划分的类是未知的. 分类和聚类算法一直以来都是数据挖掘,机器学习领域的热门课题,因此产生了众多的

tflearn kears GAN官方demo代码——本质上GAN是先训练判别模型让你能够识别噪声，然后生成模型基于噪声生成数据，目标是让判别模型出错。GAN的过程就是训练这个生成模型参数！！！

GAN:通过 将 样本 特征 化 以后, 告诉 模型 哪些 样本 是 黑 哪些 是 白, 模型 通过 训练 后, 理解 了 黑白 样本 的 区别, 再输入 测试 样本 时, 模型 就可以 根据 以往 的 经验 判断 是 黑 还是 白. 与 这些 分类 的 算法 不同, GAN 的 基本 原理 是, 有两 个 相生相克 的 模型 Generator 和 Discriminator,Generator 随机 生成 样本, Discriminator 将 真实 样本 标记 为 Real, 将 Gene

判别模型和生成模型

我们有时称判别模型求的是条件概率,生成模型求的是联合概率. 常见的判别模型有线性回归.对数回归.线性判别分析.支持向量机.boosting.条件随机场.神经网络等. 常见的生产模型有隐马尔科夫模型.朴素贝叶斯模型.高斯混合模型.LDA.Restricted Boltzmann Machine等. 判别方法:由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型,即判别模型.基本思想是有限样本条件下建立判别函数,不考虑样本的产生模型,直接研究预测模型. 生成方法:由数据学习联

生成模型和判别模型（转）

引入 监督学习的任务就是学习一个模型(或者得到一个目标函数),应用这一模型,对给定的输入预测相应的输出.这一模型的一般形式为一个决策函数Y=f(X),或者条件概率分布P(Y|X).监督学习方法又可以分为生成方法(generative approach)和判别方法(discriminative approach).所学到的模型分别为生成模型(generative model)和判别模型(discriminative model). 决策函数和条件概率分布 决策函数Y=f(X) 决策函数Y=f(X)

生成模型与判别模型

摘要: 1.定义 2.常见算法 3.区别 4.优缺点 内容: 1.定义 1.1 生成模型: 在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下.它给观测值和标注数据序列指定一个联合概率分布(joint probability distribution).在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布.条件概率分布可以由生成模型根据贝叶斯准则形成  (参考自:中文wiki) 1

判别模型的玻尔兹曼机论文源码解读

前言 三号要去参加CAD/CG会议,投了一篇关于使用生成模型和判别模型的RBM做运动捕捉数据风格识别的论文.这段时间一直搞卷积RBM了,差点把原来的实验内容都忘记了,这里复习一下判别式玻尔兹曼机的训练流程. 国际惯例,贴几个链接: 论文1--Energy Based Learning Classification task using Restricted Boltzmann Machines 链接:http://pan.baidu.com/s/1i5foeEx 密码:flq7 论文2--Cla

生成模型与判别模型（转）

生成模型与判别模型 [email protected] http://blog.csdn.net/zouxy09 一直在看论文的过程中遇到这个问题,折腾了不少时间,然后是下面的一点理解,不知道正确否.若有错误,还望各位前辈不吝指正,以免小弟一错再错.在此谢过. 一.决策函数Y=f(X)或者条件概率分布P(Y|X) 监督学习的任务就是从数据中学习一个模型(也叫分类器),应用这一模型,对给定的输入X预测相应的输出Y.这个模型的一般形式为决策函数Y=f(X)或者条件概率分布P(Y|X).      

【机器学习基础】生成模型和判别模型

引入 监督学习的任务就是学习一个模型(或者得到一个目标函数),应用这一模型,对给定的输入预测相应的输出.这一模型的一般形式为一个决策函数Y=f(X),或者条件概率分布P(Y|X). 监督学习方法又可以分为生成方法(generative approach)和判别方法(discriminative approach).所学到的模型分别为生成模型(generative model)和判别模型(discriminative model). 决策函数和条件概率分布 决策函数Y=f(X) 决策函数Y=f(X