loss function

并不搞机器学习，只是凭兴趣随便谈谈。

loss function翻译为损失函数总觉得不妥，但也没有更好的翻译（或许就叫失函数更好），其实很多英文术语最好就是不翻译。

又称为cost function，用来度量预测错误的程度。对任意模型的输入输出X和Y，在其联合分布P(X,Y)下，总的loss为各分布点按概率密度进行积分（代表平均loss），称为risk function(expected loss)。

机器学习的目标就是让risk function值最小。但实际上在学习前后，X与Y的联合分布并不是已知（否则就不需要学习），所以监督学习是一个ill-formed problem。

只能用训练集（采样）来代替P(X,Y)，在训练集上求得得loss称为empirical loss(risk)。根据大数定理，当样本数趋于无穷，就会接近expected loss。

当样本数较小时，empirical risk最小化未必能得到好的结果（比如over-fitting），所以增加penalty term(regularizer)提出SRM(structural risk minimization)，所以监督学习的问题就变成提出模型，然后minimize empirical risk或structural risk。

对普通从事机器学习的同学而言，统计学习方法的三要素最重要的是选择合适的模型和策略，算法相对来说一般用现成的就好。