logistic回归算法的损失函数：binary_crossentropy（二元交叉熵）

假设函数：

更为一般的表达式：

       （1）

似然函数：

             （2）

对数似然函数：

如果以上式作为目标函数，就需要最大化对数似然函数，我们这里选择最小化负的对数似然函数

          （3）

对J(w)求极小值，对求导

              （4）

上述中 表示第i个样本的第j个属性的取值。

于是的更新方式为：

                        （5）

将（5）式带入（4）式，得：

梯度下降GD的更新方式,使用全部样本：

 （6）

当样本不多的时候，可以选择这个方法

随机梯度下降：

每次只取一个样本，则的更新方式：

                  （7）

 为这个样本的特征值，是其真实值，是这个样本的第j个属性

随机平均梯度下降法（sag，Stochasitc Average Gradient ）：

该算法是选取一小部分样本梯度的平均值来更新权重（其中n<m,m为样本数）

           （8）

SGD和GD算法的折中

小结：

在尝试写一些机器学习相关的笔记，先写下一篇，欢迎讨论~

原文地址：https://www.cnblogs.com/sunrise-keephungary/p/10056027.html