逻辑斯谛回归，softmax回归与最大熵模型

最大熵是概率模型学习的一个准则，被推广到分类问题后可得到最大熵模型(Maximum Entropy Model)

逻辑斯谛回归模型与最大熵模型都属于对数线性模型，而对数线性模型又是广义线性模型的一种。

科普一下：狭义的线性模型是指 自变量的线性预测 就是 因变量的估计值， 而广义的线性模型是指 自变量的线性预测的函数 是 因变量的估计值。

逻辑斯谛回归

逻辑斯蒂分布

logistic distribution，设X是连续随机变量，X服从逻辑斯蒂分布是指X具有下列分布函数和密度函数\[F(x)=P(X \le x)=\frac{1}{1+e^{-\frac{x-\mu}{\gamma}}}\]，式中\(\mu\)是位置参数，\(\gamma\)是形状参数

二项逻辑斯谛回归模型

二项逻辑斯谛回归模型(binomial logistic regression model)是一种二分类模型，由条件概率分布P(Y|X)表示，形式为参数化的逻辑斯蒂分布。

变量X取值为实数，变量Y取值为0或1。我们通过监督学习的方法来估计得到模型的参数。

随机变量X输入到二项逻辑斯谛回归模型中得到属于某一类别的概率\(= w\cdot x + b\)为：

\(P(Y=1|X)=\frac{e^{w\cdot x + b}}{1 + e^{f(x)}}\)

\(P(Y=0|X)=\frac{1}{1 + e^{f(x)}}\)

在逻辑回归模型中，输出Y=1的对数几率是输入x的线性函数，换句话说，输出Y=1的对数几率是由输入x的线性函数表示的模型，即逻辑斯谛回归模型。

在二项逻辑回归模型中，它的目标函数是

\(J(w)=-\frac{1}{N}\sum_{n=1}^N y^n \log g(f(x^n)) + (1-y^n) \log (1-g(f(x^n)))\)

参考链接：

对数线性模型之一(逻辑回归), 广义线性模型学习总结（转）

原文地址：https://www.cnblogs.com/siberiawind/p/9551546.html