1.线性回归不适用于分类问题。
原因：1.单个样本对于线性回归可能会造成很大的影响。
2.函数的输出值可能非常大，非常离谱。
2.逻辑回归(logistic regression)：一种分类算法。是广义线性回归，$h(x)=g(\theta^{T}x)$，其中
$g(x)=\frac{1}{1+e^{-x}}$
被称为logistic函数，或sigmoid函数。
3.记号：$h_{\theta}(x)=P(y=1|x;\theta)$，即在theta参数和x的条件下，y等于1的概率。
4.决策边界(decision boundary)：$h(x)=0$的解集，这是h函数、参数的属性，而不是数据集的属性。
5.逻辑回归可以像以前特征缩放一样使用多项式，这样就造成其可拟合很多类型的数据集。
6.逻辑回归问题：
h函数,$h_{\theta}{(x)}=\frac{1}{1+e^{-\theta^{T}x}}$
(x(i),y(i))第i样样本，输入为x，输出为y
最小化$\frac{1}{m}\sum{cost(h_{\theta}(x^{(i)}),y^{(i)})}$
可以发现，如果直接使用梯度下降法，非常容易会停留在局部最优值上，因此代价函数不能使用平方误差函数。
而我们的麻烦之处，正在于e次方上，我们便尝试使用对数函数来去掉它的影响。于是代价函数为：
$$cost(h_{\theta}(x),y)=\begin{cases}-log(h_{\theta}(x))if\quad y=1\\-log(1-h_{\theta}(x))if\quad y=0\end{cases}$$
条件不要搞反了。
为什么？
于是，$$J(\theta)=\frac{1}{m}\sum_{i=1}^{m}{-y-log(h_{\theta}(x))-(1-y)log(1-h_{\theta}(x))}$$
$$=J(\theta)=-\frac{1}{m}\sum_{i=1}^{m}{y+log(h_{\theta}(x))+(1-y)log(1-h_{\theta}(x))}$$
原文地址：https://www.cnblogs.com/GreenDuck/p/12318313.html