分类器设计方法:生成式模型和判别式模型

参考文献:http://blog.csdn.net/zouxy09/article/details/8195017

生成方法

  • 由数据学习联合概率密度分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:P(Y|X)= P(X,Y)/ P(X)。基本思想是首先建立样本的联合概率概率密度模型P(X,Y),然后再得到后验概率P(Y|X),再利用它进行分类。
  • 生成方法的特点:上面说到,生成方法学习联合概率密度分布P(X,Y),所以就可以从统计的角度表示数据的分布情况,能够反映同类数据本身的相似度。但它不关心到底划分各类的那个分类边界在哪。生成方法可以还原出联合概率分布P(Y|X),而判别方法不能。生成方法的学习收敛速度更快,即当样本容量增加的时候,学到的模型可以更快的收敛于真实模型,当存在隐变量时,仍可以用生成方法学习。此时判别方法就不能用。
  • 典型的生成模型有:朴素贝叶斯和隐马尔科夫模型等。

    Naive Bayes
    Mixtures of Gaussians
    Hidden Markov Models
    Bayesian Networks
    Deep Belief Network

判别方法

  • 由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型,即判别模型。基本思想是有限样本条件下建立判别函数,不考虑样本的产生模型,直接研究预测模型。
  • 判别方法的特点:判别方法直接学习的是决策函数Y=f(X)或者条件概率分布P(Y|X)。不能反映训练数据本身的特性。但它寻找不同类别之间的最优分类面,反映的是异类数据之间的差异。直接面对预测,往往学习的准确率更高。由于直接学习P(Y|X)或f(X),可以对数据进行各种程度上的抽象、定义特征并使用特征,因此可以简化学习问题。
  • 典型的判别模型有:k近邻,感知级,决策树,支持向量机等。

    Linear & Logistic Regression
    Support Vector Machine
    Nearest Neighbor
    Conditional Random Fields
    Boosting

    

区别

  • 生成模型学习联合概率分布p(x,y),而判别模型学习条件概率分布p(y|x)。
  • 生成算法尝试去找到底这个数据是怎么生成的(产生的),然后再对一个信号进行分类。基于你的生成假设,那么那个类别最有可能产生这个信号,这个信号就属于那个类别。判别模型不关心数据是怎么生成的,它只关心信号之间的差别,然后用差别来简单对给定的一个信号进行分类。
  • 由生成模型可以得到判别模型,但由判别模型得不到生成模型。
时间: 2024-11-10 07:54:31

分类器设计方法:生成式模型和判别式模型的相关文章

常见生成式模型与判别式模型

生成式模型 P(X,Y)对联合概率进行建模,从统计的角度表示数据的分布情况,刻画数据是如何生成的,收敛速度快. • 1. 判别式分析 • 2. 朴素贝叶斯Native Bayes • 3. 混合高斯型Gaussians • 4. K近邻KNN • 5. 隐马尔科夫模型HMM • 6. 贝叶斯网络 • 7. sigmoid 信念网 • 8. 马尔科夫随机场Markov random fields • 9. 深度信念网络DBN • 10. 隐含狄利克雷分布简称LDA(Latent Dirichlet

产生式模型和判别式模型

判别式模型与生成式模型的区别 产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,类别标签y:产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概率分布P(y|x) 产生式模型可以根据贝叶斯公式得到判别式模型,但反过来不行. Andrew Ng在NIPS2001年有一篇专门比较判别模型和产生式模型的文章:On Discrimitive vs. Generative classifiers

机器学习--判别式模型与生成式模型

一.引言 本材料参考Andrew Ng大神的机器学习课程 http://cs229.stanford.edu 在上一篇有监督学习回归模型中,我们利用训练集直接对条件概率p(y|x;θ)建模,例如logistic回归就利用hθ(x) = g(θTx)对p(y|x;θ)建模(其中g(z)是sigmoid函数).假设现在有一个分类问题,要根据一些动物的特征来区分大象(y = 1)和狗(y = 0).给定这样的一种数据集,回归模型比如logistic回归会试图找到一条直线也就是决策边界,来区分大象与狗这

判别式模型和生成式模型的区别(discriminative model and generative model)

原文出处:http://blog.csdn.net/amblue/article/details/17023485 在NLP和机器学习中经常会遇到这两种显著不同的模型,在学习阶段(训练阶段)和评估阶段(测试阶段)都有不同的表现 总结一下它们之间的区别,欢迎补充: 1. 二者最本质的区别是建模对象不同 假设有样本输入值(或者观察值)x,类别标签(或者输出值)y 判别式模型评估对象是最大化条件概率p(y|x)并直接对其建模,生成式模型评估对象是最大化联合概率p(x,y)并对其建模. 其实两者的评估目

机器学习之判别式模型和生成式模型

判别式模型(Discriminative Model)是直接对条件概率p(y|x;θ)建模.常见的判别式模型有 线性回归模型.线性判别分析.支持向量机SVM.神经网络等. 生成式模型(Generative Model)则会对x和y的联合分布p(x,y)建模,然后通过贝叶斯公式来求得p(yi|x),然后选取使得p(yi|x)最大的yi,即: 常见的生成式模型有 隐马尔可夫模型HMM.朴素贝叶斯模型.高斯混合模型GMM.LDA.高斯.混合多项式.专家的混合物.马尔可夫的随机场 更多更详细的内容参见 

数据仓库数据库设计方法---关系模型和多维模型比较分析

数据仓库中广泛采用的数据库设计模型有两种:关系型和多维型.普遍认为在数据仓库的设计方法中关系模型是“Inmon”方法而多维模型是“Kimball”方法. 先来看下关系模型,关系型数据以一种称为“标准化”的形式存在.数据标准化是指数据库设计会使数据分解成非常低的粒度级,标准化数据以一种孤立模式 存在,这种情况下对数据表里的数据关系要求很严格.一般遵循3NF范式.采用关系型设计的数据库一般具有较强的灵活性和多功能性(可以支持数据的多种视 图). 再来看下多维模型,多维模型一般有星型模式.雪花模式.混

判别式模型与生成式模型的区别

产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,类别标签y:产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概率分布P(y|x) 产生式模型可以根据贝叶斯公式得到判别式模型,但反过来不行. 判别式模型常见的主要有: Logistic Regression SVM Traditional Neural Networks Nearest Neighbor CRF Linear Disc

生成式、判别式模型对比

参考文献:On Discriminative  vs. Generative classifiers: A comparison of logistic regression and naive Bayes 生成式模型:model p(x,y)=p(x|y)*p(y) -> Bayes rule预测: p(y|x)=p(x,y)p(x),代表模型:Naive Bayes 判别式模型:model p(y|x),代表模型:Logistic Regression 参考文献中的结论: 判别式模型有更低的

判别式模型和生成式模型

判别式模型和生成式模型主要区别是他们的构造方法不一样 判别式模型概念:直接基于条件概率来构造P(y|x),不需要求联合概率,属于此类型的算法有逻辑回归.决策树.KMM.K_meas.SVM 生成式模型概念:基于贝叶斯公式来构造的,需要求联合概率,典型的生成式模型有贝叶斯 原文地址:https://www.cnblogs.com/baoxuhong/p/10222755.html