最经典的莫过于
Andrew Ng在NIPS2001年有一篇专门比较判别模型和产生式模型的文章：
On Discrimitive vs. Generative classifiers: A comparision of logistic regression and naive Bayes
(http://robotics.stanford.edu/~ang/papers/nips01-discriminativegenerative.pdf)
转：
判别式模型和产生式模型 (discriminative model and generative model)
|
判别式模型（discriminative model） |
产生式模型（generative model） |
|
|
特点 |
寻找不同类别之间的最优分类面，反映的是异类数据之间的差异 |
对后验概率建模，从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度 |
|
区别(假定输入x,类别标签y) |
估计的是条件概率分布(conditional distribution) : P(y|x) |
估计的是联合概率分布（joint probability distribution: P(x, y), |
|
联系 |
由产生式模型可以得到判别式模型，但由判别式模型得不到产生式模型。 |
|
|
常见模型 |
– logistic regression – SVMs – traditional neural networks – Nearest neighbor |
–Gaussians, Naive Bayes –Mixtures of Gaussians, Mixtures of experts, HMMs –Sigmoidal belief networks, Bayesian networks – Markov random fields |
|
优点 |
1）分类边界更灵活，比使用纯概率方法或产生式模型更高级； 2）能清晰的分辨出多类或某一类与其他类之间的差异特征； 3）在聚类、viewpoint changes, partial occlusion and scale variations中的效果较好； 4）适用于较多类别的识别； 5）判别模型的性能比产生式模型要简单，比较容易学习。 |
1）实际上带的信息要比判别模型丰富； 2）研究单类问题比判别模型灵活性强； 3）模型可以通过增量学习得到； 4）能用于数据不完整（missing data）情况。 |
|
缺点 |
1）不能反映训练数据本身的特性。能力有限，可以告诉你的是1还是2，但没有办法把整个场景描述出来； 2）Lack elegance of generative: Priors,结构, 不确定性； 3）Alternative notions of penalty functions, regularization, 核函数； 4）黑盒操作: 变量间的关系不清楚，不可视。 |
1) Tend to produce a significant number of false positives. This is particularly true for object classes which share a high visual similarity such as horses and cows； 2) 学习和计算过程比较复杂。 |
|
性能 |
较好（性能比生成模型稍好些，因为利用了训练数据的类别标识信息，缺点是不能反映训练数据本身的特性） |
较差 |
|
主要应用 |
Image and document classification Biosequence analysis Time series prediction |
NLP(natural language processing) Medical Diagnosis |
转：http://www.cnblogs.com/liliu/archive/2010/11/21/1882984.html
时间： 2024-10-05 16:37:10