1、线性回归
回归的目的是预测数值型数据的目标值。目标值的计算是通过一个线性方程得到的，这个方程称为回归方程，各未知量（特征）前的系数为回归系数，求这些系数的过程就是回归。
对于普通线性回归使用的损失函数一般为平方误差。把其用最小二乘法进行优化得到的关于系数w求导所得到的矩阵形式的表达式求得的w便为最优解了。
线性回归可以参考：https://www.cnblogs.com/pinard/p/6004041.html
2.Logistic回归
逻辑回归假设数据服从伯努利分布,以最大化条件概率为学习策略，以对数似然函数为损失函数，运用梯度下降法来优化参数，进而达到将数据二分类的目的。
Logistic回归是一种分类算法，既可以处理二分类也可以处理多分类，一般把其用于二分类的分类器。Logistic本质上是一个基于条件概率的判别模型(DiscriminativeModel)。利用了Sigmoid函数值域在[0,1]这个特性,以0.5作为分界线。利用了线性回归的原理，只不过线性回归最后求得的是数值型的结果，而Logistic回归最后会利用sigmoid函数把求得的结果转化为0-1之间的值，把大于0.5的判定为1，小于0.5的判定为0。Logistic回归的损失函数是最大似然估计的直接产物。
3.Logistic回归中为什么选用sigmoid函数
先看一下浅层较好理解的解释：
逻辑回归(LR)模型的主要任务是给定一些历史的{X,Y}，其中X是样本n个特征值，Y的取值是{0,1}代表正例与负例，通过对这些历史样本的学习，从而得到一个数学模型，给定一个新的X，能够预测出Y。LR模型是一个二分类模型，即对于一个X，预测其发生或不发生。但事实上，对于一个事件发生的情况，往往不能得到100%的预测，因此LR可以得到一个事件发生的可能性，超过50%则认为事件发生，低于50%则认为事件不发生.
从LR的目的上来看，在选择函数时，有两个条件是必须要满足的：
1）取值范围在0~1之间。
2.）对于一个事件发生情况，50%是其结果的分水岭，选择函数应该在0.5中心对称。
从这两个条件来看，Sigmoid很好的符合了LR的需求。
但是符合以上两个条件的函数有很多，但是为什么选用Sigmoid函数？
其中一个较好的解释是从最大熵方面进行解释的：
最大熵原理是概率模型（LR也是一个概率模型）学习的一个准则，最大熵原理认为，学习概率模型时，在所有可能的概率模型中，熵最大的模型是最好的模型。
在我们给定了某些假设之后，我们希望在给定假设前提下，分布尽可能的均匀。对于Logistic Regression，我们假设了对于{X,Y}，我们预测的目标是P(Y|X)，并假设认为{X,Y}服从伯努利分布，所以我们只需要知道P(Y|X)；其次我们需要一个线性模型，所以P(Y|X)=f(wx)。接下来我们就只需要知道f是什么就行了。而我们可以通过最大熵原则推出的这个f，就是sigmoid。具体推导可以参考论文（http://www.win-vector.com/dfiles/LogisticRegressionMaxEnt.pdf）
最后的总结：
为什么要选用sigmoid函数呢？为什么不选用其他函数，如probit函数？
其实，无论是sigmoid函数还是probit函数都是广义线性模型的连接函数（link function）中的一种。选用联接函数是因为，从统计学角度而言，普通线性回归模型是基于响应变量和误差项均服从正态分布的假设，且误差项具有零均值，同方差的特性。但是，例如分类任务（判断肿瘤是否为良性、判断邮件是否为垃圾邮件），其响应变量一般不服从于正态分布，其服从于二项分布，所以选用普通线性回归模型来拟合是不准确的，因为不符合假设，所以，我们需要选用广义线性模型来拟合数据，通过标准联接函数(canonical link or standard link function)来映射响应变量，如：正态分布对应于恒等式，泊松分布对应于自然对数函数，二项分布对应于logit函数（二项分布是特殊的泊松分布）。因此，说了这么多是想表达联接函数的选取除了必须适应于具体的研究案例，不用纠结于为什么现有的logistic回归会选用sigmoid函数，而不选用probit函数，虽然网上也有不少说法说明为什么选择sigmoid函数，例如“该函数有个漂亮的S型”，“在远离x＝0的地方函数的值会很快接近0/1”，“函数在定义域内可微可导”，这些说法未免有些“马后炮”的感觉，哪个说法仔细分析都不能站住脚，我觉得选用sigmoid函数也就是因为该函数满足分类任务，用的人多了也就成了默认说法，这跟给物体取名字有点类似的感觉，都有些主观因素在其中。
原文地址：https://www.cnblogs.com/dyl222/p/11072940.html