为什么逻辑回归损失函数不用均方损失/二元逻辑回归的损失函数适合采用对数损失函数

逻辑回归可以用于处理二元分类问题,将输出值控制在[0,1]区间内,为确保输出值时钟若在0到1之间,采用sigmoid函数,其具有该特性,将线性回归训练得到的模型输出数据作z = x1*w1+x2*w2+...+xn*wn+b代入得到y,保证了y在0~1之间

逻辑回归中用到sigmoid函数,若用均方误差则为非凸函数,有多个极小值,采用梯度下降法容易现如局部最优解中

因此在二元逻辑回归的损失函数一般采用对数损失函数

y‘是x代入得到的预测值,介于0~1之间的;

若标签值为1,我们希望预测的结果也是越接近1越好,越接近说明损失越小 =》》后项1 - y为 0 直接消掉,则-y log(y‘)中y‘越接近1,则式子越接近0 ,损失和越小

同理,若标签值为0,则前项消掉,后项-log(1 - y‘)预测值越接近0,式子越小

softmax可以解决多元分类问题

原文地址:https://www.cnblogs.com/Theo-sblogs/p/12291527.html

时间: 2024-08-28 23:14:57

为什么逻辑回归损失函数不用均方损失/二元逻辑回归的损失函数适合采用对数损失函数的相关文章

SPSS—回归—二元Logistic回归案例分析

数据分析真不是一门省油的灯,搞的人晕头转向,而且涉及到很多复杂的计算,还是书读少了,小学毕业的我,真是死了不少脑细胞, 学习二元Logistic回归有一段时间了,今天跟大家分享一下学习心得,希望多指教! 二元Logistic,从字面上其实就可以理解大概是什么意思,Logistic中文意思为"逻辑"但是这里,并不是逻辑的意思,而是通过logit变换来命名的,二元一般指"两种可能性"就好比逻辑中的"是"或者"否"一样, Logis

用SPSS做二元logistics回归做预测

在做logistics回归之前,我们要先对你要做预测的变量做个相关分析,找出和你因变量相关的自变量.我这里就不做了,直接用我处理之后的数据. 打开我们要分析的数据,单击“分析”,选择“回归”,然后选择“二元Logistics回归”,弹出下面的界面,如图: 把是否购买移到因变量框里面去,把消费金额和消费数量移动到协变量框里面去,然后单击“保存”按钮,弹出“Logistics回归:保存”界面,选择“预测值”下面的“概率”,之后咋爱单击浏览按钮,把模型保存到你想保存的位子,完成之后单击“继续”,回到刚

17.文件系统——逻辑卷、快照以及如何创建逻辑卷(pv、vg、lv)

一.逻辑卷管理器LVM概述 前面我们在Linux系统上模拟软RAID,使用的是md模块,事实上,还有一个模块dm--device mapper,也可以实现软RAID的模拟.md模块的管理工具是mdadm,它专门用来管理RAID设备:dm模块则更为强大,它的管理工具不再是一个单一的工具,而是一组工具,根据不同的规则进行管理(如物理卷的创建.删除.修改:卷组的大小调整.扫描.显示等:逻辑卷的创建.删除和修改等),为dm提供设备映射法则:它支持将多个物理设备以多种不同的方式组合起来,其中包含但不仅限于

logistic回归算法的损失函数:binary_crossentropy(二元交叉熵)

假设函数: 更为一般的表达式:        (1) 似然函数:              (2) 对数似然函数: 如果以上式作为目标函数,就需要最大化对数似然函数,我们这里选择最小化负的对数似然函数           (3) 对J(w)求极小值,对求导                 (4) 上述中 表示第i个样本的第j个属性的取值. 于是的更新方式为:                         (5) 将(5)式带入(4)式,得: 梯度下降GD的更新方式,使用全部样本:  (6) 当

Stanford大学机器学习公开课(三):局部加权回归、最小二乘的概率解释、逻辑回归、感知器算法

(一)局部加权回归 通常情况下的线性拟合不能很好地预测所有的值,因为它容易导致欠拟合(under fitting).如下图的左图.而多项式拟合能拟合所有数据,但是在预测新样本的时候又会变得很糟糕,因为它导致数据的 过拟合(overfitting),不符合数据真实的模型.如下图的右图. 下面来讲一种非参数学习方法——局部加权回归(LWR).为什么局部加权回归叫做非参数学习方法呢?首先,参数学习方法是这样一种方法:在训练完成所有数据后得到一系列训练参数,然后根据训练参数来预测新样本的值,这时不再依赖

逻辑回归 logistic regression(1)逻辑回归的求解和概率解释

本系列内容大部分来自Standford公开课machine learning中Andrew老师的讲解,附加自己的一些理解,编程实现和学习笔记. 第一章 Logistic regression 1.逻辑回归 逻辑回归是一种监督学习的分类算法,相比较之前的线性回归算法,差别在于它是一个分类算法,这也意味着y不再是一个连续的值,而是{0,1}的离散值(两类问题的情况下). 当然这依然是一个判别学习算法,所谓判别学习算法,就是我们直接去预测后验 ,或者说直接预测判别函数的算法.当然相对应的生成学习算法,

直观理解为什么分类问题用交叉熵损失而不用均方误差损失?

目录 交叉熵损失与均方误差损失 损失函数角度 softmax反向传播角度 参考 博客:blog.shinelee.me | 博客园 | CSDN 交叉熵损失与均方误差损失 常规分类网络最后的softmax层如下图所示,传统机器学习方法以此类比, 一共有\(K\)类,令网络的输出为\([\hat{y}_1,\dots, \hat{y}_K]\),对应每个类别的概率,令label为 \([y_1, \dots, y_K]\).对某个属于\(p\)类的样本,其label中\(y_p=1\),\(y_1

Win10移动版数据开关回归:不用进设置了

随着Windows 10功能开发已因7月29号正式发布而告一段落,一部分Windows开发团队成员终于可以分出时间用于Windows 10 Mobile系统的开发了. 据悉,Windows 10 Mobile的最新Build 10134中,带来了新的应用商店(Beta).Edge 浏览器以及全新Cortana欢迎界面.今天又有网友贴出了新版Windows 10 Mobile控制中心的截图.如图所示,Windows 10 Mobile预览版系统以后将在控制中心增加数据流量开关(Cellular D

斯坦福吴恩达教授机器学习公开课第三讲笔记——局部加权回归/线性回归的概率解释/分类和逻辑回归