从广义线性模型到逻辑回归，逻辑回归的深入理解

总结：由于逻辑回归假定y的条件分布(y|x)是伯努利分布，所以根据广义线性模型和指数分布簇的定义可以得到逻辑回归的假设函数是sigmoid函数。


广义线性模型的三个假设——逻辑回归

1、 假定服从指数分布簇的某个分布

　　逻辑回归中，，所以假定【即已知参数θ的情况下，给定x，y的条件概率服从参数的伯努利分布】,此时有。在将伯努利分布转换成指数簇的表达形式中，得知【见文章后面参考】

2、假定在假设h下预测值hθ(x)满足【即预测结果要和均值相同】

　　在逻辑回归中，

3、 假定自然参数η与输入x之间是线性相关的，即η=θTx

根据以上信息可以得到：

　　　　　　　　　　　　


参考：

指数分布簇具有以下形式：

其中η是分布的自然参数(natural parameter)，T(y)是充分统计量(sufficient statistic)，一般T(y)=y，a(η)是log partition function。e-a(η)是起标准化作用的。

将伯努利分布转换成指数分布簇的形式

对应到指数分布簇中有：

此时：

另外：

　　

时间： 2024-10-12 21:42:14

从广义线性模型到逻辑回归，逻辑回归的深入理解的相关文章

第三章 广义线性模型（GLM）

广义线性模型 前面我们举了回归和分类得到例子.在回归的例子中,$y \mid x;\theta \sim  N(u,\sigma ^{2})$,在分类例子中,$y\mid x;\theta \sim  Bbernoulli(\phi)$ 广义线性模型是基于指数函数族的,指数函数族原型为: $p(y;\eta) = b(y)exp(\eta^{T}T(y)-a(\eta))$ $\eta$为自然参数,$T(y)$为充分统计量,一般情况下$T(y)=y$.选择固定的T,a,b定义一个分布,参数为$\

广义线性模型（GLM）

一.广义线性模型概念 在讨论广义线性模型之前,先回顾一下基本线性模型,也就是线性回归. 在线性回归模型中的假设中,有两点需要提出: (1)假设因变量服从高斯分布:$Y={{\theta }^{T}}x+\xi $,其中误差项$\xi \sim N(0,{{\sigma }^{2}})$,那么因变量$Y\sim N({{\theta }^{T}}x,{{\sigma }^{2}})$. (2)模型预测的输出为$E[Y]$,根据$Y={{\theta }^{T}}x+\xi $,$E[Y]=E[{{

R语言实战（八）广义线性模型

本文对应<R语言实战>第13章:广义线性模型 广义线性模型扩展了线性模型的框架,包含了非正态因变量的分析. 两种流行模型:Logistic回归(因变量为类别型)和泊松回归(因变量为计数型) glm()函数的参数 分布族 默认的连接函数 binomial (link = "logit") gaussian (link = "identity") gamma (link = "inverse") inverse.gaussian (lin

机器学习-广义线性模型

广义线性模型是把自变量的线性预测函数当作因变量的估计值.在机器学习中,有很多模型都是基于广义线性模型的,比如传统的线性回归模型,最大熵模型,Logistic回归,softmax回归,等等.今天主要来学习如何来针对某类型的分布建立相应的广义线性模型. Contents 1. 广义线性模型的认识 2. 常见概率分布的认识 1. 广义线性模型的认识 首先,广义线性模型是基于指数分布族的,而指数分布族的原型如下 为自然参数,它可能是一个向量,而叫做充分统计量,也可能是一个向量,通常来说. 服从高斯分布,

分类和逻辑回归(Classification and logistic regression)，广义线性模型(Generalized Linear Models) ，生成学习算法(Generative Learning algorithms)

分类和逻辑回归(Classification and logistic regression) http://www.cnblogs.com/czdbest/p/5768467.html 广义线性模型(Generalized Linear Models) http://www.cnblogs.com/czdbest/p/5769326.html 生成学习算法(Generative Learning algorithms) http://www.cnblogs.com/czdbest/p/5771

逻辑斯蒂回归

1,逻辑斯蒂回归问题有一组病人的数据,我们需要预测他们在一段时间后患上心脏病的“可能性”,就是我们要考虑的问题.通过二值分类,我们仅仅能够预测病人是否会患上心脏病,不同于此的是,现在我们还关心患病的可能性,即 f(x) = P(+1|x),取值范围是区间 [0,1]. 然而,我们能够获取的训练数据却与二值分类完全一样,x 是病人的基本属性,y 是+1(患心脏病)或 -1(没有患心脏病).输入数据并没有告诉我们有关“概率” 的信息. 在二值分类中,我们通过w*x 得到一个"score"

机器学习 —— 基础整理（五）：线性回归；二项Logistic回归；Softmax回归；广义线性模型

本文简单整理了以下内容: (一)线性回归 (二)二分类:二项Logistic回归 (三)多分类:Softmax回归 (四)广义线性模型 二项Logistic回归是我去年入门机器学习时学的第一个模型,我觉得这个模型很适合用来入门(但是必须注意这个模型有很多很多很多很多可以展开的地方).比较有意思的是那时候还不会矩阵微积分,推导梯度时还是把矩阵全都展开求的(牛顿法要用的二阶梯度也是)... 下面的文字中,"Logistic回归"都表示用于二分类的二项Logistic回归. 首先约定一下记号

Machine Learning 学习笔记 (4) —— 回归问题总结：广义线性模型

本系列文章允许转载,转载请保留全文! [请先阅读][说明&总目录]http://www.cnblogs.com/tbcaaa8/p/4415055.html 1. 指数分布族简介 之前的文章分别介绍了因变量服从高斯分布.伯努利分布.泊松分布.多项分布时,与之对应的回归模型,本文章将阐释这些模型的共同点,并加以推广. 首先非正式地给出指数分布族的定义: 定义 如果变量y的分布可以被表示为p(y;η)=b(y)exp(ηTT(y)-a(η))的形式(η为分布的参数),则称y服从指数分布族 萌萌哒博主

斯坦福CS229机器学习课程笔记二：GLM广义线性模型与Logistic回归

一直听闻Logistic Regression逻辑回归的大名,比如吴军博士在<数学之美>中提到,Google是利用逻辑回归预测搜索广告的点击率.因为自己一直对个性化广告感兴趣,于是疯狂google过逻辑回归的资料,但没有一个网页资料能很好地讲清到底逻辑回归是什么.幸好,在CS229第三节课介绍了逻辑回归,第四节课介绍了广义线性模型,综合起来总算让我对逻辑回归有了一定的理解.与课程的顺序相反,我认为应该先了解广义线性模型再来看逻辑回归,也许这也是为什么讲逻辑回归的网页资料总让人感觉云里雾里的原因