常见生成式模型与判别式模型

生成式模型 P(X,Y)
对联合概率进行建模,从统计的角度表示数据的分布情况,刻画数据是如何生成的,收敛速度快。
• 1. 判别式分析
• 2. 朴素贝叶斯Native Bayes
• 3. 混合高斯型Gaussians
• 4. K近邻KNN
• 5. 隐马尔科夫模型HMM
• 6. 贝叶斯网络
• 7. sigmoid 信念网
• 8. 马尔科夫随机场Markov random fields
• 9. 深度信念网络DBN
• 10. 隐含狄利克雷分布简称LDA(Latent Dirichlet allocation)
• 11. 多专家模型(the mixture of experts model)
• 12.受限玻尔兹曼机( RBM)
• 13.深度玻尔兹曼机(DBM)
• 14.广义除噪自编码器(GDA)
• 15.生成对抗网络(GAN)
• 16.变分自编码器(VAE)
• 17.自回归模型(AR)

判别式模型 P(Y|X)
对条件概率P(Y|X)进行建模,不关心数据如何生成,主要是寻找不同类别之间的最优分类面。

• 1. 线性回归linear regression
• 2. 逻辑回归logic regression
• 3. 神经网络NN
• 4. 支持向量机SVM
• 5. 高斯过程Gaussian process
• 6. 条件随机场CRF
• 7. 决策树(CART)
• 8. Boosting
• 9.感知机 (线性分类模型)
• 10.k近邻法
• 11.传统神经网络(CNN,RNN)
• 12.最大熵模型(ME)
• 13.区分度训练

原文地址:https://www.cnblogs.com/zoe1101/p/10659255.html

时间: 2024-10-11 03:36:17

常见生成式模型与判别式模型的相关文章

产生式模型和判别式模型

判别式模型与生成式模型的区别 产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,类别标签y:产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概率分布P(y|x) 产生式模型可以根据贝叶斯公式得到判别式模型,但反过来不行. Andrew Ng在NIPS2001年有一篇专门比较判别模型和产生式模型的文章:On Discrimitive vs. Generative classifiers

分类器设计方法:生成式模型和判别式模型

参考文献:http://blog.csdn.net/zouxy09/article/details/8195017 生成方法 由数据学习联合概率密度分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:P(Y|X)= P(X,Y)/ P(X).基本思想是首先建立样本的联合概率概率密度模型P(X,Y),然后再得到后验概率P(Y|X),再利用它进行分类. 生成方法的特点:上面说到,生成方法学习联合概率密度分布P(X,Y),所以就可以从统计的角度表示数据的分布情况,能够反映同类

机器学习之判别式模型和生成式模型

判别式模型(Discriminative Model)是直接对条件概率p(y|x;θ)建模.常见的判别式模型有 线性回归模型.线性判别分析.支持向量机SVM.神经网络等. 生成式模型(Generative Model)则会对x和y的联合分布p(x,y)建模,然后通过贝叶斯公式来求得p(yi|x),然后选取使得p(yi|x)最大的yi,即: 常见的生成式模型有 隐马尔可夫模型HMM.朴素贝叶斯模型.高斯混合模型GMM.LDA.高斯.混合多项式.专家的混合物.马尔可夫的随机场 更多更详细的内容参见 

机器学习--判别式模型与生成式模型

一.引言 本材料参考Andrew Ng大神的机器学习课程 http://cs229.stanford.edu 在上一篇有监督学习回归模型中,我们利用训练集直接对条件概率p(y|x;θ)建模,例如logistic回归就利用hθ(x) = g(θTx)对p(y|x;θ)建模(其中g(z)是sigmoid函数).假设现在有一个分类问题,要根据一些动物的特征来区分大象(y = 1)和狗(y = 0).给定这样的一种数据集,回归模型比如logistic回归会试图找到一条直线也就是决策边界,来区分大象与狗这

判别式模型和生成式模型的区别(discriminative model and generative model)

原文出处:http://blog.csdn.net/amblue/article/details/17023485 在NLP和机器学习中经常会遇到这两种显著不同的模型,在学习阶段(训练阶段)和评估阶段(测试阶段)都有不同的表现 总结一下它们之间的区别,欢迎补充: 1. 二者最本质的区别是建模对象不同 假设有样本输入值(或者观察值)x,类别标签(或者输出值)y 判别式模型评估对象是最大化条件概率p(y|x)并直接对其建模,生成式模型评估对象是最大化联合概率p(x,y)并对其建模. 其实两者的评估目

判别式模型与生成式模型

判别式模型(Discriminative Model)是直接对条件概率p(y|x;θ)建模.常见的判别式模型有 线性回归模型.线性判别分析.支持向量机SVM.神经网络等. 生成式模型(Generative Model)则会对x和y的联合分布p(x,y)建模,然后通过贝叶斯公式来求得p(yi|x),然后选取使得p(yi|x)最大的yi 原文地址:https://www.cnblogs.com/kukudi/p/11423088.html

判别式模型与生成式模型的区别

产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,类别标签y:产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概率分布P(y|x) 产生式模型可以根据贝叶斯公式得到判别式模型,但反过来不行. 判别式模型常见的主要有: Logistic Regression SVM Traditional Neural Networks Nearest Neighbor CRF Linear Disc

生成式、判别式模型对比

参考文献:On Discriminative  vs. Generative classifiers: A comparison of logistic regression and naive Bayes 生成式模型:model p(x,y)=p(x|y)*p(y) -> Bayes rule预测: p(y|x)=p(x,y)p(x),代表模型:Naive Bayes 判别式模型:model p(y|x),代表模型:Logistic Regression 参考文献中的结论: 判别式模型有更低的

判别式模型和生成式模型

判别式模型和生成式模型主要区别是他们的构造方法不一样 判别式模型概念:直接基于条件概率来构造P(y|x),不需要求联合概率,属于此类型的算法有逻辑回归.决策树.KMM.K_meas.SVM 生成式模型概念:基于贝叶斯公式来构造的,需要求联合概率,典型的生成式模型有贝叶斯 原文地址:https://www.cnblogs.com/baoxuhong/p/10222755.html