判别模型和生成模型：统计学派和贝叶斯学派之争
- 判别模型：
直接对输入空间到输出空间的映射h(x)做预测，或者直接对条件概率分布P(y|x)做预测
PM，SVM，NN，KNN，LR，DT
模型一般更准确
不需要预设条件
鲁棒性更高
- 生成模型：
先对概率分布P(x,y)做预测，根据贝叶斯公式得到P(y|x)
GDA，NB，HMM
收敛速度一般更快
可以训练包含隐变量的模型
需要假设的先验分布
可以还原出联合概率分布P(x,y)
可以还原出判别模型，但反过来不行
概率模型和非概率模型：预测概率还是预测映射
- 非概率模型：
直接对输入空间到输出空间的映射h(x)做预测
PM，SVM，NN，KNN
优化方法为经验风险最小化、结构风险小化等
- 概率模型：
对条件概率分布P(y|x)做预测
LR，DT，GDA，NB，HMM
优化方法为最大似然估计、最大后验概率估计等
参数模型和非参数模型：模型由训练数据本身构成还是模型参数构成
- 参数模型：
模型中包含若干参数，训练完成则训练数据无用，根据模型参数预测结果
LR，PM，GDA，NB，简单NN，HMM
需要训练数据较少，训练较快，需要假设空间与实际映射空间吻合，模型容易理解，不适合实际映射隐藏的情况
- 非参数模型：
模型由训练数据本身构成
SVM，KNN，DT
需要训练数据较多，训练较慢，但不需要假定假设空间，如果训练集无限大可以无限逼近实际映射，训练集小时容易过拟合，预测性能高
参考文献：
https://blog.csdn.net/qq_39521554/article/details/79134274
https://blog.csdn.net/pandamax/article/details/78636834
原文地址：https://www.cnblogs.com/jhc888007/p/9536972.html