机器学习 损失函数

参考：http://blog.csdn.net/google19890102/article/details/50522945

0-1损失函数

平方损失函数（最小二乘法）

最小二乘法是线性回归的一种，OLS将问题转化成了一个凸优化问题。在线性回归中，它假设样本和噪声都服从高斯分布（为什么假设成高斯分布呢？其实这里隐藏了一个小知识点，就是中心极限定理，可以参考

• 简单，计算方便；
• 欧氏距离是一种很好的相似性度量标准；
• 在不同的表示域变换后特征性质不变。

平方损失（Square loss）的标准形式如下：

当样本个数为n时，此时的损失函数变为：

Y-f(X)表示的是残差，整个式子表示的是残差的平方和，而我们的目的就是最小化这个目标函数值（注：该式子未加入正则项），也就是最小化残差的平方和（residual sum of squares，RSS）。

而在实际应用中，通常会使用均方差（MSE）作为一项衡量指标，公式如下：

Log损失函数

Log损失是0-1损失函数的一种代理函数，Log损失的具体形式如下：

运用Log损失的典型分类器是Logistic回归算法。

Hinge损失函数

Hinge损失是0-1损失函数的一种代理函数，Hinge损失的具体形式如下：

运用Hinge损失的典型分类器是SVM算法。

指数损失

指数损失是0-1损失函数的一种代理函数，指数损失的具体形式如下：

运用指数损失的典型分类器是AdaBoost算法。

感知损失

感知损失是Hinge损失的一个变种，感知损失的具体形式如下：

运用感知损失的典型分类器是感知机算法。