第六章 logistic回归与最大熵模型

1、logistic回归是统计学习中的经典分类方法。

最大熵模型：最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。

两者都是对数线性模型。

2、二项logstic分类模型：用于二类分布。

多项logstic分类模型：用于多类分布。

3、最大熵模型（maximum entropy model）:是由最大熵原理推导实现。

4、熵最大原理：学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。

5、当X服从均匀分布时，熵最大。

6、改进的迭代尺度法（improved iterative scaling,IIS）:

想法：假设最大熵模型当前的参数向量是w，我们希望找到一个新的参数向量w+delta，使得模型的对数似然函数值增大。如果能有这样一种参数向量更新的方法tao:w-->w+delta,那么就可以重复使用这一方法，直至找到对数似然函数的最大值。