关于逻辑回归是否线性？sigmoid

from :https://www.zhihu.com/question/29385169/answer/44177582

逻辑回归的模型引入了sigmoid函数映射，是非线性模型，但本质上又是一个线性回归模型，因为除去sigmoid映射函数关系，其他的步骤，算法都是线性回归的。可以说，逻辑回归，都是以线性回归为理论支持的。
这里讲到的线性，是说模型关于系数一定是线性形式的

加入sigmoid映射后，变成：

如果分类平面本身就是线性的，那么逻辑回归关于特征变量x，以及关于系数都是线性的
如果分类平面是非线性的，例如题主提到的，那么逻辑斯蒂回归关于变量x是非线性的，但是关于参数仍然是线性的

这里，我们做了一个关于变量x的变换：

其他非线性超平面一样的道理，我们可以通过变量的变化，最终一定可以化成形如
的东西，我们把z看做的变量，就是个线性模型。剩下的工作，无非是去构造映射关系

题主提到了SVM，区别是，SVM如果不用核函数，也得像逻辑回归一样，在映射后的高维空间显示的定义非线性映射函数,而引入了核函数之后，可以在低维空间做完点积计算后，映射到高维

综上，逻辑回归本质上是线性回归模型，关于系数是线性函数，分离平面无论是线性还是非线性的，逻辑回归其实都可以进行分类。对于非线性的，需要自己去定义一个非线性映射。

作者：辛俊波
链接：https://www.zhihu.com/question/29385169/answer/44177582
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

原文地址：https://www.cnblogs.com/strangewx/p/10221858.html

时间： 2024-10-10 04:54:45

关于逻辑回归是否线性？sigmoid的相关文章

深度学习：逻辑回归

深度学习(Deep Learning)是机器学习(Machine Learning)的一大分支,它试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法. 逻辑回归(Logistic Regression,也译作"对数几率回归")是离散选择法模型之一,属于多重变量分析范畴,是社会学.生物统计学.临床.数量心理学.计量经济学.市场营销等统计实证分析的常用方法. 符号约定 逻辑回归一般用于二分类(Binary Classification)问题中,给定一些输入,输出

深度学习之逻辑回归的实现

1 什么是逻辑回归 1.1逻辑回归与线性回归的区别: 线性回归预测的是一个连续的值,不论是单变量还是多变量(比如多层感知器),他都返回的是一个连续的值,放在图中就是条连续的曲线,他常用来表示的数学方法是Y=aX+b: 与之相对的,逻辑回归给出的值并不是连续的,而是 类似于“是” 和 “否” 的回答,这就类似于二元分类的问题. 1.2逻辑回归实现(sigmoid): 在逻辑回归算法中,我们常使用的激活函数是Sigmoid函数,他能够将数据映射到 0 到 1 之间,并且通过映射判断,如果映射到的值在

机器学习之逻辑回归(Logistic Regression)

"""逻辑回归中的Sigmoid函数"""   import numpy as np   import matplotlib.pyplot as plt     def sigmoid(t):   return 1/(1+np.exp(-t))     x=np.linspace(-10,10,500)   y=sigmoid(x)     plt.plot(x,y)   plt.show() 结果: 逻辑回归损失函数的梯度:   逻辑回归算法:

为什么逻辑回归损失函数不用均方损失/二元逻辑回归的损失函数适合采用对数损失函数

逻辑回归可以用于处理二元分类问题,将输出值控制在[0,1]区间内,为确保输出值时钟若在0到1之间,采用sigmoid函数,其具有该特性,将线性回归训练得到的模型输出数据作z = x1*w1+x2*w2+...+xn*wn+b代入得到y,保证了y在0~1之间 逻辑回归中用到sigmoid函数,若用均方误差则为非凸函数,有多个极小值,采用梯度下降法容易现如局部最优解中 因此在二元逻辑回归的损失函数一般采用对数损失函数 y'是x代入得到的预测值,介于0~1之间的: 若标签值为1,我们希望预测的结果也是

2—线性、逻辑回归

线性回归 线性回归通常用于根据连续变量估计实际数值(房价.呼叫次数.总销售额等).我们通过拟合最佳直线来建立自变量和因变量的关系.这条最佳直线叫做回归线,并且用 Y= a *X + b 这条线性等式来表示. 在这个等式中: Y:因变量 a:斜率 x:自变量 b :截距 系数 a 和 b 可以通过最小二乘法获得. 参见下例.我们找出最佳拟合直线 y=0.2811x+13.9.已知人的身高,我们可以通过这条等式求出体重. 线性回归的两种主要类型是一元线性回归和多元线性回归.一元线性回归的特点是只有一

机器学习—逻辑回归理论简介

下面是转载的内容,主要是介绍逻辑回归的理论知识,先总结一下自己看完的心得 简单来说线性回归就是直接将特征值和其对应的概率进行相乘得到一个结果,逻辑回归则是这样的结果上加上一个逻辑函数 这里选用的就是Sigmoid函数,在坐标尺度很大的情况下类似于阶跃函数 在确认特征对应的权重值也就是回归系数的时候 最常用的方法是最大似然法,EM参数估计,这个是在一阶导数能够有解的前提下 如果一阶导数无法求得解析值,那么一般选取梯度上升法,通过有限次的迭代过程,结合代价函数更新回归系数至收敛 //////////

逻辑回归算法

使用线性模型进行回归学习,但若要做分类任务该怎么办呢?答案蕴含在广义线性模型中:只需要找一个单调可微的函数将分类任务的真实标记y与线性回归模型的预测值联系起来. 对数几率函数是一个常用的替代函数: 该函数的图像如下图(来源:维基百科): 对数几率函数又称作"sigmoid函数",将z值转化为一个接近0或1的y值. 二.逻辑会回参数求解过程 三.Logistic Regression的适用性 1) 可用于概率预测,也可用于分类. 并不是所有的机器学习方法都可以做可能性概率预测(比如SVM

机器学习-逻辑回归

(整理的简单,公式也没使用公式编辑器.) 对于数据集D={(x1,y1),(x2,y2),...,{xn,yn}} ,而xi= {xi1,xi2,...,xim} 代表m维 . 在线性回归中,我们想学习一个线性的函数 f(x) = w1*x1+w2*x2+w3*x3+...+wm*xm+b . 向量形式 f(X) = Wt*X +b  其中Wt 是W 向量的转置.其可能值范围是(-oo,+oo). 对于二分类任务,其类别标记为y={0,1},  需要将范围取到(0,1),就使用sigmoid函数

机器学习之逻辑回归

2. 逻辑回归 简述 Logistic回归算法基于Sigmoid函数,或者说Sigmoid就是逻辑回归函数.Sigmoid函数定义如下: 11+e?z.函数值域范围(0,1). 因此逻辑回归函数的表达式如下: hθ(x)=g(θTX)=11+e?θTX其中,g(z)=11+e?z 其导数形式为: g′(z)=ddz11+e?z=1(1+e?z)2(e?z)=11+e?z(1?11+e?z)=g(z)(1?g(z)) 代价函数 逻辑回归方法主要是用最大似然估计来学习的,所以单个样本的后验概率为: