logistic回归问题自我答疑

之前在学习logistic回归的时候遇到几个问题,一直困扰着我,随着学习的深入,我终于想通了这些问题,而且我发现这些看似很难的算法,其实不难,是可以战胜的,所以不要浅尝辄止,要百折不挠,现在把几个问题和答案小结如下:

Q1:woe本来是ln((Bi/BT)/(Gi/GT)),如果定义成ln((Gi/GT)/(Bi/BT))对于最后训练出来的模型(参数)会有什么影响?

A1:由于ln(A/B) = - ln(B/A),所以就是等价于训练数据X取负号,结果是参数除了常数项全部取反,这个很明显,因为拟合的目标是固定的,极大似然函数最大,所以参数自然会如此变化,也可以把负号拿出去-θ看成α然后就是拟合α,当然就是-θ = α

Q2:通常来说h(θ) = 1/(1+e^-z),如果令h(θ) = 1/(1+e^z),对最后训练出来的模型会有什么影响?

A2:全部θ取反,原理也同Q1,就是负号可以拿进去,所以说其实我们实现logistic的时候h(θ)可以用两者中的任意一种,但是我发现一般的现成算法,包,模块都是令成的h(θ) = 1/(1+e^z),和教科书上的形式有一定的出入,同事告诉我,之所以要写成h(θ) = 1/(1+e^-z)这种形式是因为涉及到什么信息熵的原因,难道不是因为这样函数单增?有朋友会问,如果直接用包、用现成算法,一般跑出来就一堆系数还有一些评价指标,怎么确定他令的哪个h(θ)?一般来说都是前者,如果不放心,假设是h(θ) =
1/(1+e^z),然后带入,算出来的评价指标是否相符?比如混淆矩阵啊,准确率啊之类的,如果退一万步,你说这个包只给了你系数,那带进去试吧,应该是准确率超过50%那个,但估计没有这种情况!自己写就更没问题,自然知道自己用的哪个h(θ)

Q3:如果我在标记训练数据集的时候把0和1反着标记,对训练出来的结果有啥影响?

A3:模型参数θ取反,自然最后结果probability也互补了,比如之前标记为1 概率0.9 标记为0 概率为0.1

A4:h(θ)的意义?

A4:h(θ)的意义是很明确的,他就是取1的概率,这个1和0是函数本身的1和0,而并非标记样本的1和0,因为样本也可以标记成A、B,之所以样本要标记为0和1,是为了极大似然函数,所以最后结果probability都是1的概率,这个1是和之前标记样本相符

Q5:极大似然函数的对数和损失函数及其相似,可不可以说损失函数的灵感就是来自于极大似然函数?还是另外一种思想,无意间形成了巧合联系?

A5:好像是从极大似然函数想到的?具体地还要继续学习才能很好理解!留个坑

时间: 2024-11-09 17:10:28

logistic回归问题自我答疑的相关文章

1.线性回归、Logistic回归、Softmax回归

本次回归章节的思维导图版总结已经总结完毕,但自我感觉不甚理想.不知道是模型太简单还是由于自己本身的原因,总结出来的东西感觉很少,好像知识点都覆盖上了,但乍一看,好像又什么都没有.不管怎样,算是一次尝试吧,慢慢地再来改进.在这里再梳理一下吧! 线性回归(Linear Regression) 什么是回归? 给定一些数据,{(x1,y1),(x2,y2)-(xn,yn) },x的值来预测y的值,通常地,y的值是连续的就是回归问题,y的值是离散的就叫分类问题. 高尔顿的发现,身高的例子就是回归的典型模型

2.2 logistic回归损失函数(非常重要,深入理解)

上一节当中,为了能够训练logistic回归模型的参数w和b,需要定义一个成本函数 使用logistic回归训练的成本函数 为了让模型通过学习来调整参数,要给出一个含有m和训练样本的训练集 很自然的,希望通过训练集找到参数w和b,来得到自己得输出 对训练集当中的值进行预测,将他写成y^(I)我们希望他会接近于训练集当中的y^(i)的数值 现在来看一下损失函数或者叫做误差函数 他们可以用来衡量算法的运行情况 可以定义损失函数为y^和y的差,或者他们差的平方的一半,结果表明你可能这样做,但是实际当中

Logistic回归

Logistic回归 主要思想: 根据训练集找到一个适合的预测函数(线性函数),一般用h表示,该函数就是我们需要找的分类函数,用它来预测输入数据的分类. 构造一个Cost(损失函数),该函数为每个输入数据的预测类别(h)与真实数据的类别(y)之间的偏差,可以以二者间的差值,即(h-y)或其他形式来计算偏差.由于需要综合考虑所有训练数据的损失,需要将数据的损失求和或求平均,表示所有训练数据预测出的类别与实际类别的偏差,将Cost求和或者求平均,记为J(θ),表示所有训练数据预测值与实际值得偏差.

2.9 logistic回归中的梯度下降法(非常重要,一定要重点理解)

怎么样计算偏导数来实现logistic回归的梯度下降法 它的核心关键点是其中的几个重要公式用来实现logistic回归的梯度下降法 接下来开始学习logistic回归的梯度下降法 logistic回归的公式 现在只考虑单个样本的情况,关于该样本的损失函数定义如上面第三个公式,其中a是logistic回归的输出,y是样本的基本真值标签值, 下面写出该样本的偏导数流程图 假设样本只有两个特征x1和x2 为了计算Z,我们需要输入参数w1和w2和b 因此在logistic回归中,我们要做的就是变换参数w

logistic回归与手写识别例子的实现

本文主要介绍logistic回归相关知识点和一个手写识别的例子实现 一.logistic回归介绍: logistic回归算法很简单,这里简单介绍一下: 1.和线性回归做一个简单的对比 下图就是一个简单的线性回归实例,简单一点就是一个线性方程表示 (就是用来描述自变量和因变量已经偏差的方程) 2.logistic回归 可以看到下图,很难找到一条线性方程能将他们很好的分开.这里也需要用到logistic回归来处理了. logistic回归本质上是线性回归,只是在特征到结果的映射中加入了一层函数映射,

Logistic回归模型和Python实现

回归分析是研究变量之间定量关系的一种统计学方法,具有广泛的应用. Logistic回归模型 线性回归 先从线性回归模型开始,线性回归是最基本的回归模型,它使用线性函数描述两个变量之间的关系,将连续或离散的自变量映射到连续的实数域. 模型数学形式: 引入损失函数(loss function,也称为错误函数)描述模型拟合程度: 使J(w)最小,求解优化问题得到最佳参数. Logistic回归 logistic回归(Logistic regression 或 logit regression)有时也被

对线性回归,logistic回归和一般回归的认识

假设有一个房屋销售的数据如下:这个表类似于北京5环左右的房屋价钱,我们可以做出一个图,x轴是房屋的面积.y轴是房屋的售价,如下: 如果来了一个新的面积,假设在销售价钱的记录中没有的,我们怎么办呢? 我们可以用一条曲线去尽量准的拟合这些数据,然后如果有新的输入过来,我们可以在将曲线上这个点对应的值返回.如果用一条直线去拟合,可能是下面 的样子:绿色的点就是我们想要预测的点. 首先给出一些概念和常用的符号. 房屋销售记录表:训练集(training set)或者训练数据(training data)

SPSS数据分析—配对Logistic回归模型

Lofistic回归模型也可以用于配对资料,但是其分析方法和操作方法均与之前介绍的不同,具体表现 在以下几个方面1.每个配对组共有同一个回归参数,也就是说协变量在不同配对组中的作用相同2.常数项随着配对组变化而变化,反映了非实验因素在配对组中的作用,但是我们并不关心其大小, 因此在拟合时采用条件似然函数代替了一般似然函数,从而在拟合中消去了反映层因素的参数. SPSS中没有直接拟合配对Logistic回归模型的过程,需要对数据进行一些处理,采用其他方法进行拟合,拟合方法有变量差值拟合和COX模型

机器学习实战3:逻辑logistic回归:病马实例

本文介绍logistic回归,和改进算法随机logistic回归,及一个病马是否可以治愈的案例.例子中涉及了数据清洗工作,缺失值的处理. 一 引言 1 sigmoid函数,这个非线性函数十分重要,f(z) = 1 / (1 + e^(-z) ), 画图如下: 这个函数可以很好的把数轴上的值映射到0,1区间,所以很好的解决了分类问题.下面是代码: def sigmoid(inX): return 1.0/(1+exp(-inX)) 2 梯度上升法是我们常用的最优化方法,公式.就是说沿这梯度方向迭代