指数分布族

形式：

应用：

1. logistic 回归：

• logistics 回归其实是伯努利分布。p(y;θ)=θy?(1?θ)1?y . 其中θ可以看做hθ(x)
• 伯努利分布是指数分布的一个特列：

  

  其中：

  

  η=log(θ1?θ) 因此：θ=11+e?η

2.梯度下降：

• 最小二乘法其实是高斯分布。

  

• 高斯分布是指数分布的一个特列：

  y|x;θ ~ N(μ,σ2) , 其中σ2是无关项，不妨另σ2=1

  

  其中：

  

GLM模型建立

步骤：

1. 先建立指数分布模型，想用哪种分布去模拟

2.

• 写出T(y) 与 y的关系式
• 预测函数hθ(x)=E{T(y)|x;θ}
• η=θTx

logistic 回归：

• 准备用伯努利分布模拟，所以p(y;θ)=θy?(1?θ)1?y，整理后：

  所以我们有：

  • η=log(θ1?θ) 因此：θ=11+e?η , T(y)=y
  • 根据上述步骤：预测函数hθ(x)=E{T(y)|x;θ} = θ = 11+e?η
  • 由第三步知道：η=θTx
  • 因此：预测函数hθ(x)=E{T(y)|x;θ} = θ = 11+e?η = 11+e?θTx
• 由此我们得到了我们需要的预测函数：hθ(x)=11+e?θTx，然后由最大似然法确定迭代式。

梯度下降（Linear Regression）

• 准备用高斯分布模拟，所以：

  

• 整理后我们有：
  • T(y)=y , η=μ
  • 所以预测函数：hθ(x)=E{T(y)|x;μ} = μ = η
  • 因为：η=θTx，所以：hθ(x)=θTx
• 由此我们得到了我们需要的预测函数：hθ(x)=θTx，然后由最大似然法确定迭代式。

线性分类（Softmax Regression）

问题：

线性分类问题是logistic 回归的一个扩展，都是针对离散型结果，即分类问题。Softmax分类的Y值可以取{1, 2, 3, …… ,k} ,即有k中分类方式

模型建立：

• p(y=i;θ)=θi
• 上式整合：

  

• 因此：

  求解该式子：

  因此：

• 因为：η=θTx ， 因此： ηi=θix， 其中我们可以知道θ是一个K*N维矩阵。

  所以：

• 预测函数hθ(x)：

  

迭代式子：

• 利用最大似然法：

  

• 然后利用梯度下降或Newton迭代法