生成式、判别式模型对比

参考文献:On Discriminative  vs. Generative classifiers: A comparison of logistic regression and naive Bayes

生成式模型:model p(x,y)=p(x|y)*p(y) -> Bayes rule预测: p(y|x)=p(x,y)p(x),代表模型:Naive Bayes

判别式模型:model p(y|x),代表模型:Logistic Regression

参考文献中的结论:

判别式模型有更低的理论渐近误差[the generative model does indeed have a higher asymptotic error - as the number of training examples becomes large - than the discriminative model],

生成式模型理论上更快逼近渐近误差(前提是样本能够满足条件独立性和特定的分布,比如Gaussian分布)[but the generative model may also approach its asymptotic error much faster than the discriminative model - possibly with a number of training examples that is only logarithmic, rather than linear, in the number of parameters]

实际情况由于样本很难严格服从特定条件,使得判别式模型往往更优。

其他来源的观点:

- Easy to fit?

G: easy, simple counting and averaging (NB, LDA)

D: much slower, solving a convex optimization problem (LogR)

- Fit classes separately?

G: not have to retrain when add more classes

D: must be retrained (all parameters interact)

- Handle missing features easily?

G: simple, marginalizing them out (NB)

D: no principled solution, model assumes that x is given

- Can handle feature preprocessing?

G: hard to define model on preprocessed data

D: allow to preprocess the input, replace x with kernel(x)

- Can handle unlabeled training data (like semi-supervised learning)?

G: easy

D: much harder

原文地址:https://www.cnblogs.com/yaoyaohust/p/10007481.html

时间: 2024-11-08 18:36:06

生成式、判别式模型对比的相关文章

机器学习之判别式模型和生成式模型

判别式模型(Discriminative Model)是直接对条件概率p(y|x;θ)建模.常见的判别式模型有 线性回归模型.线性判别分析.支持向量机SVM.神经网络等. 生成式模型(Generative Model)则会对x和y的联合分布p(x,y)建模,然后通过贝叶斯公式来求得p(yi|x),然后选取使得p(yi|x)最大的yi,即: 常见的生成式模型有 隐马尔可夫模型HMM.朴素贝叶斯模型.高斯混合模型GMM.LDA.高斯.混合多项式.专家的混合物.马尔可夫的随机场 更多更详细的内容参见 

机器学习--判别式模型与生成式模型

一.引言 本材料参考Andrew Ng大神的机器学习课程 http://cs229.stanford.edu 在上一篇有监督学习回归模型中,我们利用训练集直接对条件概率p(y|x;θ)建模,例如logistic回归就利用hθ(x) = g(θTx)对p(y|x;θ)建模(其中g(z)是sigmoid函数).假设现在有一个分类问题,要根据一些动物的特征来区分大象(y = 1)和狗(y = 0).给定这样的一种数据集,回归模型比如logistic回归会试图找到一条直线也就是决策边界,来区分大象与狗这

判别式模型与生成式模型的区别

产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,类别标签y:产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概率分布P(y|x) 产生式模型可以根据贝叶斯公式得到判别式模型,但反过来不行. 判别式模型常见的主要有: Logistic Regression SVM Traditional Neural Networks Nearest Neighbor CRF Linear Disc

判别式模型和生成式模型的区别(discriminative model and generative model)

原文出处:http://blog.csdn.net/amblue/article/details/17023485 在NLP和机器学习中经常会遇到这两种显著不同的模型,在学习阶段(训练阶段)和评估阶段(测试阶段)都有不同的表现 总结一下它们之间的区别,欢迎补充: 1. 二者最本质的区别是建模对象不同 假设有样本输入值(或者观察值)x,类别标签(或者输出值)y 判别式模型评估对象是最大化条件概率p(y|x)并直接对其建模,生成式模型评估对象是最大化联合概率p(x,y)并对其建模. 其实两者的评估目

判别式模型和生成式模型

判别式模型和生成式模型主要区别是他们的构造方法不一样 判别式模型概念:直接基于条件概率来构造P(y|x),不需要求联合概率,属于此类型的算法有逻辑回归.决策树.KMM.K_meas.SVM 生成式模型概念:基于贝叶斯公式来构造的,需要求联合概率,典型的生成式模型有贝叶斯 原文地址:https://www.cnblogs.com/baoxuhong/p/10222755.html

常见生成式模型与判别式模型

生成式模型 P(X,Y)对联合概率进行建模,从统计的角度表示数据的分布情况,刻画数据是如何生成的,收敛速度快. • 1. 判别式分析 • 2. 朴素贝叶斯Native Bayes • 3. 混合高斯型Gaussians • 4. K近邻KNN • 5. 隐马尔科夫模型HMM • 6. 贝叶斯网络 • 7. sigmoid 信念网 • 8. 马尔科夫随机场Markov random fields • 9. 深度信念网络DBN • 10. 隐含狄利克雷分布简称LDA(Latent Dirichlet

判别式模型与生成式模型

判别式模型(Discriminative Model)是直接对条件概率p(y|x;θ)建模.常见的判别式模型有 线性回归模型.线性判别分析.支持向量机SVM.神经网络等. 生成式模型(Generative Model)则会对x和y的联合分布p(x,y)建模,然后通过贝叶斯公式来求得p(yi|x),然后选取使得p(yi|x)最大的yi 原文地址:https://www.cnblogs.com/kukudi/p/11423088.html

产生式模型和判别式模型

判别式模型与生成式模型的区别 产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,类别标签y:产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概率分布P(y|x) 产生式模型可以根据贝叶斯公式得到判别式模型,但反过来不行. Andrew Ng在NIPS2001年有一篇专门比较判别模型和产生式模型的文章:On Discrimitive vs. Generative classifiers

TT和chrome执行模型对比分析

老大让写一篇高大上的博文,那么如何才能高大上呢?从某种角度讲只要迎合老大的口味给他一篇重口味的岛国动作片剖析就能轻松过关: 从程序员角度讲,能写出高大上的范围有很多,如程序架构,算法分析.编程语言理解.操作系统理解.知名开源程序的原创分析.优秀博文的翻译等都能吸引许多同学的兴趣.今天我再教一招让博文高大上有营养的捷径就是攀高枝,用你现有的程序框架和知名的开源架构做比较剖析.今天我选择走捷径,为同学们来分析下我最近在负责的一款im客户端产品--TeamTalk(简称TT)和chorme执行模型的区