机器学习算法 --- 逻辑回归及梯度下降

一、逻辑回归简介

　　logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。

　　logistic回归是一种广义线性回归（generalized linear model），因此与多重线性回归分析有很多相同之处。

　　其公式如下：

　　其图像如下：

　　我们通过观察上面的图像可以发现，逻辑回归的值域为(0, 1)，当输入为0时，其输出为0.5；当输入小于0，并且越来越小时，其输出越来越接近于0；相反的，当其输入大于0，并且越来越大时，其输出越来越接近于1。

　　通常我们使用线性回归来预测值，但逻辑回归随有“回归”二字，却通常是用来解决二分类问题的。

　　当其输出大于0.5时，我们可以认为该样本属于甲类；小于0.5时，认为该样本属于已类。

　　但是由于一个样本数据通常会有多个特征，我们不能将其直接带入logistic回归公式中，所以，就需要借助之前所介绍的线性回归，使该样本的多个特征值生成一个特定的值，在带入公式中，对其分类，所以z的表达式如下：

　　即可得到对于一个数据关于逻辑回归的详细表达式：

　　通过上式，我们就可以对一个任意数据进行逻辑回归分析了，但是这当中存在一个问题，即关于θ的取值，只有公式中的θ已知，我们才能对一个未分类的数据运用此公式，那么该如何求得θ呢？

请看下面的公式推导。

二、Logistic Regression公式推导

　　在上面，我们得到　　后，需要求得θ，关于如何求得θ，将在此进行详细分析。

　　通常在机器学习中，我们常常有一个过程叫训练，所谓训练，即通过已知分类（或标签）的数据，求得一个模型（或分离器），然后使用这个模型对未知标签的数据打上标签（或者对其进行分类）。

　　所以，我们使用样本（即已知分类的数据），进行一系列的估算，得到θ。这个过程在概率论中叫做参数估计。

　　在此，我们将使用极大似然估计的推导过程，求得关于计算θ的公式：

　　　　(1) 首先我们令：

　　　　(2) 将上述两式整合：

　　　　(3) 求其似然函数：

　　　　(4) 对其似然函数求对数：

　　　　(5) 当似然函数为最大值时，得到的θ即可认为是模型的参数。求似然函数的最大值，我们可以使用一种方法，梯度上升，但我们可以对似然函数稍作处理，使之变为梯度下降，然后使用梯度下降的思想来求解此问题，变换

　　的表达式如下：

　　　　　　（由于乘了一个负的系数，所以梯度上升变梯度下降。）

　　　　(6) 因为我们要使用当前的θ值通过更新得到新的θ值，所以我们需要知道θ更新的方向(即当前θ是加上一个数还是减去一个数离最终结果近)，所以得到J(θ)后对其求导便可得到更新方向（为什么更新方向这么求？以及得到更新方向后为什么按照下面的式子处理？请看下方的梯度下降公式的演绎推导），求导过程如下：