线性模型总结

数学模型可以看做是人们对复杂的现实问题进行简化描述的数学表达式,由于统计学来源于数学,因此在统计分析中,也普遍使用模型来分析问题。数学中模型的分类非常多,但统计学中最常用的模型是线性模型和非线性模型。

在此,首先明确几个概念

1.线性关系
线性关系是指自变量和因变量之间成比例的关系,即增量之间有固定的比例,比如X增加了m,那么Y就增加km,这里隐含着两个要点:
(1)自变量与因变量是一次函数关系
(2)函数图像呈一条过原点的直线,注意是要过原点

2.非线性关系
与线性关系相对应,非线性关系是指自变量和因变量之间没有固定的比例关系,二者之间不是一次函数关系,函数图像为曲线

3.直线关系
我们在做散点图考察变量关系时,发现呈直线趋势的话,就称其为具有线性关系,实际上这是不严谨的,因为线性关系特指函数图像为过原点的直线,当图像不过原点时,虽然也为直线,则不能称为线性关系,而应该称为直线关系。只不过在统计分析中,大部分模型都有常数项,也就是截距,使得函数图不过原点,因此我们才会将二者等同起来。

4.线性模型
线性模型中的“线性”有两重含义,一个是自变量的线性,即自变量与因变量是一次函数关系,另一个是参数的线性,即因变量与各模型参数是一次函数关系。其中第二点最为重要,当自变量不满足条件时,我们可以通过变量变换使其满足条件,而参数不满足线性条件时,往往不能通过变量变换解决(也有例外),因此我们将参数为线性的模型称为线性模型

5.非线性模型
由上可知,因变量与各模型参数是非线性关系的模型为非线性模型。

根据以上概念,我们可以做出如下划分

在统计分析中,一般线性模型是应用最广泛同时也是最重要的是一类模型,它通常包括线性回归模型、方差分析模型、协方差分析模型、方差分量模型等,而广义线性模型本质上还是属于非线性模型,但是同时有一些其他非线性模型所不具备的性质,最大的区别是一般非线性模型没有明确的随机误差分布,而广义线性模型的随机误差分布是明确的,如二项分布、Poisson分布、负二项分布等,而当其为正态分布时,广义线性模型和一般线性模型是等价的。

我们下面来介绍这些常用的线性模型

=========================================

一、方差分析模型(ANOVA)

方差分析也称为变异分析,从观测变量的方差入手,研究某些因素(自变量)的不同水平对某些指标(因变量)影响,同时也可以研究因素间的交互效应。用统计语言来讲,就是检验多个方差相同的正态总体均值是否相等,这也和t检验相对应。

当只有一个因素和一个指标时,为单因素方差分析;多个因素和一个指标为多因素方差分析,多个因素和多个指标称为多元方差分析。

方差分析的基本思想是变异(也就是方差)的分解,将总变异分为条件变异和随机变异,条件变异是由实验因素引起的变异,而随机变异是随机因素引起的变异(准确来讲应该是除实验因素之外的未知因素引起的变异),将二者加以比较,如果条件变异在某种显著性水平下大于随机因素,则认为该因素对实验指标产生显著影响。

(1)单因素方差分析模型

如果只有一个实验因素,在i个水平条件下,模型可以表示成如下形式

由模型可知,当αi全部为0时,观测值就等于总体均值加随机误差,说明该因素的各水平对观测值没有附加影响,而当有一个αi不为0时,此时的αi值就是某水平附加在观测值上的影响,因此我们通过检验αi是否全部为0,就可以分析因素对指标的影响。同时,还可以检验不同水平的αi值是否相等,来分析各水平间是否存在显著差异。

【前提条件】

·ε服从正态分布(正态性)
·ε均值为0,方差为常数(方差齐性)
·ε相互独立(独立性)

这三个条件都是关于随机误差ε的,也有说法是关于样本观测值的,实际是一回事,从模型的角度讲,观测值就是模型中的X,相当于因变量,而因变量的这些特征都可以通过随机误差(模型中为残差)来表现,因此会有专门的残差分析,还有一个原因是:由于正态性和方差齐性的考察是以单元格为单位,而有些实验设计如配伍设计每个单元格中只有一个元素,无从考察,即使每个单元格不止一个元素,如果很少的话也会影响正态性和方差齐性的检验效能,因此建模后的残差分析相对来说更加可靠。

【主要分析点】
·方差分析模型的整体检验:即检验因素效应是否全部为0
·每个因素的效应检验:即检验是否存在对因变量无影响的因素,在单因素方差分析中,该检验等同于模型整体性检验
·因素各水平间的多重比较:即因素的各水平间的两两差异性比较检验。

+++++++++++++++++++++++++++++++++++++++++++++++++

(2)多因素方差分析模型

以两因素为例,α因素有i个水平,β因素有j个水平,模型可以表示成如下形式

多因素和单因素的模型解释类似,只是多了一个不同因素间的交互作用,这也增加了模型的复杂性,多因素方差分析和单因素方差分析的前提条件是一样的

【前提条件】

·ε服从正态分布(正态性)
·ε均值为0,方差为常数(方差齐性)
·ε相互独立(独立性)

【主要分析点】
·方差分析模型的整体检验:即检验因素效应是否全部为0
·每个因素的效应检验:即检验是否存在对因变量无影响的因素,如果存在,可以将其去掉以简化模型
·因素间交互作用检验:即检验所有因素之间的交互作用是否对因变量有显著影响,如果没有影响,也可以考虑去除
·因素各水平间的多重比较:即各因素的各水平间的两两差异性比较检验。
·残差图:可以分析数据是否满足前提条件

+++++++++++++++++++++++++++++++++++++++++++++

(3)协方差分析模型

协变量是一种独立的自变量,它们不受实验者控制,却可影响实验结果。当我们要分析的指标既受到实验因素的影响也受到协变量的影响时,就必须先消除协变量的影响,这样得出的结果才是纯粹由实验因素引起的。

当我们了解到分析指标可能受到某些协变量影响时,可以在收集数据时,将这些协变量一并收集,然后使用协方差分析进行处理。但有时我们并不知道哪些变量是作为协变量而收集的,因此我们可以这样理解:对于仅涉及单变量的实验资料,总变异仅为该因素引起的变异和随机误差变异,因此可以用方差分析。对于多变量的资料,总变异既包含各个因素引起的变异也包含因素间的协同变异也就是交互作用,因此需要使用协方差分析。那多因素方差分析不也是多变量资料吗,为什么不用协方差分析呢?实际上协方差分析可以看做是多因素方差分析的特例,因为多因素方差分析已经包含了对交互作用的分析,而且多因素方差分析中的实验因素为分类变量,协方差分析中的协变量为连续变量,采取的计算方式不一样。协方差分析一般是通过计算因变量与协变量的线性回归,求假定协变量相等时的因变量值,用该值再做方差分析。

以一个处理组(i个水平)和一个协变量x为例,协方差分析模型可以表示成如下形式

可以看出,和方差分析模型相比,协方差分析模型中添加了线性回归的成分。

【前提条件】

·ε服从正态分布(正态性)
·ε均值为0,方差为常数(方差齐性)
·ε相互独立(独立性)
·协变量与分析指标存在线性关系,可以通过回归分析方法进行判断
·各处理组的总体回归系数相等且不为0(斜率同质性)

【主要分析点】
·协方差分析模型的整体检验:即检验因素效应是否全部为0
·每个因素的效应检验:即检验是否存在对因变量无影响的因素,如果存在,可以将其去掉以简化模型
·因素间交互作用检验:即检验所有因素之间的交互作用是否对因变量有显著影响,如果没有影响,也可以考虑去除,交互作用检验在协方差分析中,也就相当于斜率同质性检验,当处理因素和协变量不存在交互作用时,可认为数据符合斜率同质性。
·因素各水平间的多重比较:即各因素的各水平间的两两差异性比较检验。
·残差图:可以分析数据是否满足前提条件

++++++++++++++++++++++++++++++++++++++++

(4)随机效应方差分析模型

前面介绍的单因素、多因素、协方差分析模型都有一个隐含的假设,那就是处理因素的水平是固定的,也就是说这些水平穷极了所有的可能,不会再有其他的情况出现,所以以上三种模型也称为固定效应方差分析模型,但是实际中,我们有时无法或没有必要确定所有的因素水平,所确定的因素或水平只是众多因素或水平中随机抽取的,相当于在总体中抽取样本,这样所产生的效应称为随机效应,具有随机效应的模型称为随机效应方差分析模型。

随机效应方差分析模型和多因素方差分析模型类似,可以表示成如下形式

对于随机效应方差分析模型,我们只要检验随机效应的方差是否为0即可,而不用检验各处理效应,因为这些处理是随机抽取的,检验对因变量有无影响并没有实际意义。

如果不存在交互作用的模型,固定效应方差分析模型和随机效应方差分析模型的结果是一样的。

【前提条件】

·ε服从正态分布(正态性)
·ε相互独立(独立性)

+++++++++++++++++++++++++++++++++++++

(5)混合效应方差分析模型

既包含固定效应也包含随机效应的方差分析模型称为混合效应方差分析模型,进行的检验也是固定效应和随机效应相结合。

【前提条件】

·ε服从正态分布(正态性)
混合线性模型保留了一般线性模型的正态性前提条件,放弃了独立性和方差齐性的条件

========================================

二、线性回归模型

当方差分析模型右侧全部由定量的影响因素构成时,就为线性回归模型

【前提条件】

·ε服从正态分布(正态性)
·ε均值为0,方差为常数(方差齐性)
·ε相互独立(独立性)
·自变量与因变量具有线性关系

====================================

三、广义线性模型

广义线性模型是一类特殊的非线性模型,它们有明确的随机误差分布,把自变量的线性预测函数当做因变量的估计值。广义线性模型在前提条件上的限制进一步放松,要求自变量可以用线性函数进行表达和因变量相互独立。

时间: 2024-10-16 20:34:59

线性模型总结的相关文章

西瓜书第三章 线性模型

读书笔记 周志华老师的<机器学习> 因为边看边记,所以写在随笔里,如果涉及版权问题,请您联系我立马删除,[email protected] 3.1 基本形式 给定d个属性描述的示例 x = (x_1;x_2;...;x_3), 其中x_i是X在第i个属性上的取值,线性模型视图学得一个通过属性的线性组合来进行预测的函数,即 f(x) = w_1*x_1 + w_2*x_2 + ... + w_d*x_d + b, 向量形式 其中 w = (w_1;w_2;...;w_d). w直观表达了各属性在

从指数分布族去推导出广义线性模型

指数分布族的定义: 若一类概率分布可以写成如下形式,那么它就属于指数分布族: η - 自然参数,通常是一个实数 T(y) – 充分统计量,通常,T(y)=y,实际上是一个概率分布的充分统计量(统计学知识) 对于给定的a,b,T三个函数,上式定义了一个以η为参数的概率分布集合,即改变η可以得到不同的概率分布.极限定理得) 记录一下几个指数分布族以及它们的特征: 正态分布(高斯分布)--总体噪音(由中心极限定理得) 伯努利分布--逻辑回归(对01问题建模) 多项式分布--K种结果的事情进行建模 泊松

1.1.广义线性模型

下面介绍的是一组用于回归的方法,这些方法的目标值是输入变量的线性组合.用作为预测值. 贯穿模块,我们指定向量为coef_(系数),为intercept_(截距). 要使用广义线性模型实现分类,详见Logistic回归. 1.1.1.常规最小二乘法 线性回归拟合以系数最小化可观测到的数据的响应与线性模型预测的响应的残差和的平方,用数学公式表示即: LinearRegression 对数组X,y使用fit方法,并将结果的系数存放在coef_中: >>> from sklearn import

线性模型(3)——多重线性回归模型

前面介绍了简单线性回归模型,接下来讲多重线性回归模型. 简单线性回归是针对一个因变量和一个自变量之间的线性回归关系,而多重线性回归是指一个因变量和多个自变量之间的线性回归关系.相对于简单线性回归,多重线性回归更具有实际意义,因为在实际生活中,多因素相互作用非常普遍,同时对因变量造成影响的往往不止一个自变量. 多重线性回归主要解决的问题是1.估计自变量与因变量之间的线性关系(估计回归方程)2.确定哪些自变量对因变量有影响(影响因素分析)3.确定哪个自变量对因变量最影响最大,哪个最小(自变量重要性分

斯坦福《机器学习》Lesson4感想-------2、广义线性模型

在前面几篇中分类问题和回归问题里涉及到的伯努利分布和高斯分布都是广义线性模型(Generative Linear Models.GLMs)的特例.下面将详细介绍广义线性模型. 1.指数族 我们可以将一些分布总结到一个指数族中.指数族可表示为: η是指naturalparameter/canonical parameter,T (y)是指sufficientstatistic, a(η)是指logpartition function.T.a和b的选择决定了分布族,η的改变会得到这个分布族里的不同分

加州理工学院公开课:机器学习与数据挖掘_线性模型

这一课时主要是讲述了线性模型的一些处理. 包括: 1.输入数据的表示(Input Representation) 2.线性分类(Linear Classification) 3.线性回归(Linear Regression) 4.非线性模型转换(Nonlinear Transformation) 作者认为,如果要测试某个模型的可用性,做好就是用真实数据. 为了讲解线性模型如何应用,作者利用线性模型来解决邮局数据辨别问题: 由于不同的人有不同的书写习惯,对于同一个数字其书写形式可能各异,但是其基本

R语言实战(八)广义线性模型

本文对应<R语言实战>第13章:广义线性模型 广义线性模型扩展了线性模型的框架,包含了非正态因变量的分析. 两种流行模型:Logistic回归(因变量为类别型)和泊松回归(因变量为计数型) glm()函数的参数 分布族 默认的连接函数 binomial (link = "logit") gaussian (link = "identity") gamma (link = "inverse") inverse.gaussian (lin

指数分布族与广义线性模型

整理一下之前所学过的关于回归问题的思路: 问题引入:房屋估价,给定新的房屋信息,预测出相应的房屋价格: 学习过程:构建模型h(θ): 线性回归:最小二乘法.梯度下降法.线性模型的概率解释: 局部加权回归:带权重的线性回归.权值的钟形函数: 逻辑回归:分类方法.梯度上升法.牛顿法.引出感知机学习算法: 广义线性模型:指数分布族.给定概率分布推导出线性模型. 这一节所讨论的重点就是最后的这一条内容,回顾讨论过的线性回归与逻辑回归的假设可知: 在线性回归模型的概率解释中假设: 在逻辑回归模型的推导中假

Stanford大学机器学习公开课(四):牛顿法、指数分布族、广义线性模型

(一)牛顿法解最大似然估计 牛顿方法(Newton's Method)与梯度下降(Gradient Descent)方法的功能一样,都是对解空间进行搜索的方法.其基本思想如下: 对于一个函数f(x),如果我们要求函数值为0时的x,如图所示: 我们先随机选一个点,然后求出该点的切线,即导数,延长它使之与x轴相交,以相交时的x的值作为下一次迭代的值. 更新规则为: 那么如何将牛顿方法应用到机器学习问题求解中呢? 对于机器学习问题,我们优化的目标函数为极大似然估计L,当极大似然估计函数取得最大时,其导

线性模型

线性回归.线性分类.逻辑回归——线性模型线性回归和逻辑回归:https://www.evernote.com/shard/s146/sh/bf0d0a08-d5c5-4dc9-b70f-fa6374b9ceae/14e34bc9e8e518b1a5cc17fc585d75fc线性分类模型:http://www.douban.com/note/325298034/线性回归-理论篇:http://blog.csdn.net/pakko/article/details/36641561机器学习 ---