logistic 回归

1.问题：

在上面讨论回归问题时，讨论的结果都是连续类型，但如果要求做分类呢？即讨论结果为离散型的值。

2.解答：

• 假设：

  其中：

  g(z)的图形如下：

  

  由此可知：当hθ(x)<0.5时我们可以认为为0，反之为1，这样就变成离散型的数据了。

• 推导迭代式：
  • 利用概率论进行推导，找出样本服从的分布类型，利用最大似然法求出相应的θ
  • 
  • 因此：

    

• 结果：
• 注意：这里的迭代式增量迭代法

Newton迭代法：

1.问题：

上述迭代法，收敛速度很慢，在利用最大似然法求解的时候可以运用Newton迭代法，即θ := θ?f(θ)f′(θ)

2.解答：

• 推导：
  • Newton迭代法是求θ，且f(θ)=0，刚好：l′(θ)=0
  • 所以可以将Newton迭代法改写成：
• 定义：
  • 其中：l′(θ) =
  • 

    因此：H矩阵就是l′′(θ)，即H?1 = 1/l′′(θ)

  • 所以：
• 应用：
  • 特征值比较少的情况，否则H?1的计算量是很大的