损失函数(loss function) 转

原文：http://luowei828.blog.163.com/blog/static/310312042013101401524824

通常而言，损失函数由损失项(loss term)和正则项(regularization term)组成。发现一份不错的介绍资料：

http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf （题名“Loss functions; a unifying view”）。

一、损失项

  • 对回归问题，常用的有：平方损失(for linear regression)，绝对值损失；
  • 对分类问题，常用的有：hinge loss(for soft margin SVM)，log loss(for logistic regression)。

说明：

  • 对hinge loss，又可以细分出hinge loss（或简称L1 loss）和squared hinge loss（或简称L2 loss）。国立台湾大学的Chih-Jen Lin老师发布的Liblinear就实现了这2种hinge loss。L1 loss和L2 loss与下面的regularization是不同的，注意区分开。

二、正则项

  • 常用的有L1-regularization和L2-regularization。上面列的那个资料对此还有详细的总结。

补充

时间： 2024-07-30 05:34:55

损失函数(loss function) 转的相关文章

损失函数(Loss Function) -1

http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf Loss Function 损失函数可以看做 误差部分(loss term) + 正则化部分(regularization term) 1.1 Loss Term Gold Standard (ideal case) Hinge (SVM, soft margin) Log (logistic regression, cross en

loss function与cost function

实际上,代价函数(cost function)和损失函数(loss function 亦称为 error function)是同义的.它们都是事先定义一个假设函数(hypothesis),通过训练集由算法找出一个最优拟合,即通过使的cost function值最小,从而估计出假设函数的未知变量. 例如: 可以看做一个假设函数,而与之对应的loss function如下: 通过使E(w)值最小,来估计出相应的w值,从而确定出假设函数(目标函数),实现最优拟合. 硬要说区别的话,loss funct

[machine learning] Loss Function view

[machine learning] Loss Function view 有关Loss Function(LF),只想说,终于写了 一.Loss Function 什么是Loss Function?wiki上有一句解释我觉得很到位,引用一下:The loss function quantifies the amount by which the prediction deviates from the actual values.Loss Function中文损失函数,适用于用于统计,经济,机

机器学习 损失函数(Loss/Error Function)、代价函数(Cost Function)和目标函数(Objective function)

损失函数(Loss/Error Function): 计算单个训练集的误差 代价函数(Cost Function): 计算整个训练集所有损失之和的平均值 至于目标函数(Objective function),字面一些,就是有某个(最优化)目标的函数,比如最优化这个目的.没有找到定义,个人理解,目标函数是一个大类,包含损失函数.代价函数:损失函数.代价函数,属于目标函数. 原文地址:https://www.cnblogs.com/callyblog/p/8321795.html

loss function

并不搞机器学习,只是凭兴趣随便谈谈. loss function翻译为损失函数总觉得不妥,但也没有更好的翻译(或许就叫失函数更好),其实很多英文术语最好就是不翻译. 又称为cost function,用来度量预测错误的程度.对任意模型的输入输出X和Y,在其联合分布P(X,Y)下,总的loss为各分布点按概率密度进行积分(代表平均loss),称为risk function(expected loss). 机器学习的目标就是让risk function值最小.但实际上在学习前后,X与Y的联合分布并不

逻辑回归损失函数(cost function)

逻辑回归模型预估的是样本属于某个分类的概率,其损失函数(Cost Function)可以像线型回归那样,以均方差来表示:也可以用对数.概率等方法.损失函数本质上是衡量”模型预估值“到“实际值”的距离,选取好的“距离”单位,可以让模型更加准确. 1. 均方差距离 \[{J_{sqrt}}\left( w \right) = {\sum\limits_{i = 1}^m {{y_i}\left( {1 - p\left( {{x_i};w} \right)} \right)} ^2} + \left

PP: Soft-DTW: a differentiable loss function for time-series

Problem: new loss Label: new loss; Abstract: A differentiable learning loss; Introduction: supervised learning: learn a mapping that links an input to an output object. output object is a time series. Prediction: two multi-layer perceptrons, the firs

[pytorch]pytorch loss function 总结

原文: http://www.voidcn.com/article/p-rtzqgqkz-bpg.html 最近看了下 PyTorch 的损失函数文档,整理了下自己的理解,重新格式化了公式如下,以便以后查阅. 注意下面的损失函数都是在单个样本上计算的,粗体表示向量,否则是标量.向量的维度用 表示. nn.L1Loss nn.SmoothL1Loss 也叫作 Huber Loss,误差在 (-1,1) 上是平方损失,其他情况是 L1 损失. nn.MSELoss 平方损失函数 nn.BCELoss

归一化指数函数：softmax loss function

1. softmax 损失函数:归一化指数函数,可以将一个K维向量z“压缩”到另一个K维实向量σ(z)中,使每一个元素的范围在(0,1)之间,并且所有元素的和为1. softmax loss包含三个部分:指数化.归一化.取-log(x) ①指数化:是指将一个样本中各个分类的得分指数化,使得各分类的得分都大于等于0,也就是将每个分数x变为e^x,而e^x函数大于0,即保证了非负性 ②归一化:计算指数化后的各个分类的得分在所有分类的得分总和中所占的比例,所以最后得到的是一个分类的分数在总的得分中的比