产生式模型和判别式模型

判别式模型与生成式模型的区别

产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于:

对于输入x,类别标签y:
产生式模型估计它们的联合概率分布P(x,y)
判别式模型估计条件概率分布P(y|x)

产生式模型可以根据贝叶斯公式得到判别式模型,但反过来不行。

Andrew Ng在NIPS2001年有一篇专门比较判别模型和产生式模型的文章:
On Discrimitive vs. Generative classifiers: A comparision of logistic regression and naive Bayes

(http://robotics.stanford.edu/~ang/papers/nips01-discriminativegenerative.pdf)

判别式模型常见的主要有:

    Logistic Regression

    SVM

    Traditional Neural Networks

    Nearest Neighbor

    CRF

    Linear Discriminant Analysis

    Boosting

    Linear Regression

产生式模型常见的主要有:

Gaussians

Naive Bayes

Mixtures of Multinomials

Mixtures of Gaussians

Mixtures of Experts

HMMs

   Sigmoidal Belief Networks, Bayesian Networks

   Markov Random Fields

   Latent Dirichlet Allocation

一个通俗易懂的解释

  Let‘s say you have input data x and you want to classify the data into labels y. A generative model learns the joint probability distribution p(x,y) and a discriminative model learns the conditional probability distribution p(y|x) – which you should read as ‘the probability of y given x‘.

  Here‘s a really simple example. Suppose you have the following data in the form (x,y):

(1,0), (1,0), (2,0), (2, 1)

  p(x,y) is

  y=0 y=1
x=1 1/2 0
x=2 1/4  1/4

  p(y|x) is

  y=0 y=1
x=1 1 0
x=2 1/2  1/2

  If you take a few minutes to stare at those two matrices, you will understand the difference between the two probability distributions.

  The distribution p(y|x) is the natural distribution for classifying a given example x into a class y, which is why algorithms that model this directly are called discriminative algorithms. Generative algorithms model p(x,y), which can be tranformed into p(y|x) by applying Bayes rule and then used for classification. However, the distribution p(x,y) can also be used for other purposes. For example you could use p(x,y) to generate likely (x,y) pairs.

  From the description above you might be thinking that generative models are more generally useful and therefore better, but it‘s not as simple as that. This paper is a very popular reference on the subject of discriminative vs. generative classifiers, but it‘s pretty heavy going. The overall gist is that discriminative models generally outperform generative models in classification tasks.

两个模型的对比

转自http://blog.csdn.net/wolenski/article/details/7985426

时间: 2024-12-21 06:40:31

产生式模型和判别式模型的相关文章

常见生成式模型与判别式模型

生成式模型 P(X,Y)对联合概率进行建模,从统计的角度表示数据的分布情况,刻画数据是如何生成的,收敛速度快. • 1. 判别式分析 • 2. 朴素贝叶斯Native Bayes • 3. 混合高斯型Gaussians • 4. K近邻KNN • 5. 隐马尔科夫模型HMM • 6. 贝叶斯网络 • 7. sigmoid 信念网 • 8. 马尔科夫随机场Markov random fields • 9. 深度信念网络DBN • 10. 隐含狄利克雷分布简称LDA(Latent Dirichlet

分类器设计方法:生成式模型和判别式模型

参考文献:http://blog.csdn.net/zouxy09/article/details/8195017 生成方法 由数据学习联合概率密度分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:P(Y|X)= P(X,Y)/ P(X).基本思想是首先建立样本的联合概率概率密度模型P(X,Y),然后再得到后验概率P(Y|X),再利用它进行分类. 生成方法的特点:上面说到,生成方法学习联合概率密度分布P(X,Y),所以就可以从统计的角度表示数据的分布情况,能够反映同类

判别式模型和产生式模型 (discriminative model and generative m

最经典的莫过于 Andrew Ng在NIPS2001年有一篇专门比较判别模型和产生式模型的文章: On Discrimitive vs. Generative classifiers: A comparision of logistic regression and naive Bayes (http://robotics.stanford.edu/~ang/papers/nips01-discriminativegenerative.pdf) 转: 判别式模型和产生式模型 (discrimin

判别式模型与生成式模型的区别

产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,类别标签y:产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概率分布P(y|x) 产生式模型可以根据贝叶斯公式得到判别式模型,但反过来不行. 判别式模型常见的主要有: Logistic Regression SVM Traditional Neural Networks Nearest Neighbor CRF Linear Disc

机器学习之判别式模型和生成式模型

判别式模型(Discriminative Model)是直接对条件概率p(y|x;θ)建模.常见的判别式模型有 线性回归模型.线性判别分析.支持向量机SVM.神经网络等. 生成式模型(Generative Model)则会对x和y的联合分布p(x,y)建模,然后通过贝叶斯公式来求得p(yi|x),然后选取使得p(yi|x)最大的yi,即: 常见的生成式模型有 隐马尔可夫模型HMM.朴素贝叶斯模型.高斯混合模型GMM.LDA.高斯.混合多项式.专家的混合物.马尔可夫的随机场 更多更详细的内容参见 

机器学习--判别式模型与生成式模型

一.引言 本材料参考Andrew Ng大神的机器学习课程 http://cs229.stanford.edu 在上一篇有监督学习回归模型中,我们利用训练集直接对条件概率p(y|x;θ)建模,例如logistic回归就利用hθ(x) = g(θTx)对p(y|x;θ)建模(其中g(z)是sigmoid函数).假设现在有一个分类问题,要根据一些动物的特征来区分大象(y = 1)和狗(y = 0).给定这样的一种数据集,回归模型比如logistic回归会试图找到一条直线也就是决策边界,来区分大象与狗这

判别式模型和生成式模型的区别(discriminative model and generative model)

原文出处:http://blog.csdn.net/amblue/article/details/17023485 在NLP和机器学习中经常会遇到这两种显著不同的模型,在学习阶段(训练阶段)和评估阶段(测试阶段)都有不同的表现 总结一下它们之间的区别,欢迎补充: 1. 二者最本质的区别是建模对象不同 假设有样本输入值(或者观察值)x,类别标签(或者输出值)y 判别式模型评估对象是最大化条件概率p(y|x)并直接对其建模,生成式模型评估对象是最大化联合概率p(x,y)并对其建模. 其实两者的评估目

生成式、判别式模型对比

参考文献:On Discriminative  vs. Generative classifiers: A comparison of logistic regression and naive Bayes 生成式模型:model p(x,y)=p(x|y)*p(y) -> Bayes rule预测: p(y|x)=p(x,y)p(x),代表模型:Naive Bayes 判别式模型:model p(y|x),代表模型:Logistic Regression 参考文献中的结论: 判别式模型有更低的

判别式模型和生成式模型

判别式模型和生成式模型主要区别是他们的构造方法不一样 判别式模型概念:直接基于条件概率来构造P(y|x),不需要求联合概率,属于此类型的算法有逻辑回归.决策树.KMM.K_meas.SVM 生成式模型概念:基于贝叶斯公式来构造的,需要求联合概率,典型的生成式模型有贝叶斯 原文地址:https://www.cnblogs.com/baoxuhong/p/10222755.html