逻辑回归是广义线性模型的一种特殊情况，但是在前面这篇http://blog.csdn.net/zhangzhengyi03539/article/details/46574803 讲逻辑回归的时候没有说明为什么要采用单极型函数，这篇文章将会从浅入深的讲解一下广义线性模型。
一、指数分布族(ExponentialFamily)。
如果一个分布函数可以写成如下的形式
p(y,η)=b(y)eηTT(y)?a(η)(1)
η：自然参数，标准参数，规范参数
T(y)：充分统计量
a(η)：对数分函数
其中，T,a,b 确定了参数为η的一种分布函数。
例如，对于伯努利分布~Bernouli(?),p(y=1;?)=?,p(y=0,?)=1?? ,对于不同的? 我们得到不同的伯努利分布函数，这就是伯努利分布族。下面我们可以推导一下，证明伯努利分布~Bernouli(?) 满足上式。
p(y;?)=?y(1??)1?y
=eylog?+(1?y)log(1??)
=eylog?1??+log(1??)
对比式(1)可得
η=log?1??
T(y)=y
a(η)=log(1??)
b(y)=1
如果我们求解? 便可得到?=11+e?η，这就是我们前面为什么选择单极性函数的原因，当然到这里你可能还不是特别明白，为什么要这样做，不要着急，继续往下看就会明白了。
二、GLM的三个假设
广义线性模型，顾名思义，线性模型，肯定是基于特征的线性组合的模型。对于y关于x的条件概率和模型设定三个假设：
1、y|x;θ~ExponentialFamily(η) 对于给定的x 和θ ,y 的分布服从参数为η 的指数分布族
2、对于给定的x ,目标是预测给定x 下T(y) 的期望。
3、自然参数η 和输入x 是线性关系：η=θTx (如果η 是向量，那么ηi=θTix )。
对于假设1，没啥难理解的，这个主要是用来限制y|x,θ 的分布的，这个分布要能够写成指数分布族的形式。注意这里的θ 与η
对于假设2，由于，在大多数例子中T(y)=y ,hθ(x)=E(y|x) 。因此，预测T(y) 就是预测y ，简单说就是预测因变量(分类就对应类别标签，回归就是因变量值)。可以看出来这个说的是决策函数。
对于假设3，意味着在任何出现η 的地方，我们都需要用η=θTx 或者ηi=θTix 替换。η 根据假设1应该是指数分布族里面的参数，这里需要全部换成θ
注意到GLM的三个假设只是给了我们一个框架，告诉我们怎么做决策，模型里面的参数θ GLM并没有告诉我们怎么求，但是只要知道每个样本的概率求法(带入GLM框架)，我们可以根据极大似然法求解。
三、最小二乘法
讲最小二乘法之前先来看看高斯分布的指数分布族变换
令y|x~N(μ,σ2) ，我们考虑简单情况σ2=1 所以有下式
p(y,μ)=12π√exp(?12(y?μ)2)
=12π√exp(?12y2)exp(μy?12μ2)
η=μ
T(y)=y
a(η)=12μ2=12η2
b(y)=12π√exp(?12y2)
接下来，根据GLM的三个假设可以得到
hθ(x)=E[y|x;θ]
=μ
=η
=θTx
第一行根据是GLM假设2，第二行根据是高斯分布性质，第三行根据是高斯分布的指数分布族形式，最后一行根据是GLM假设3。
这个就得到了和线性回归里面最小二乘的概率解释相同的公式。
版权声明：本文为博主原创文章，未经博主允许不得转载。