线性回归中的前提如果

在谈线性回归模型的时候被问到,在线性回归中,有三个如果,是哪三个?

当时回答出来自变量x和因变量y之间是线性变化关系。也就是说,假设x进行线性变化的话,y也会有对应的线性变化。

提到数据样本的时候也答道了样本点之间要求是独立同分布的(依据MLE准则,假定对样本加上高斯白噪声e的情况下)。

可是第三个终于还是没有答上来,面试官也没有再给提示,所以回来自己再查一下。

LR的wiki页面(http://en.wikipedia.org/wiki/Linear_regression)中,有提到了LR的如果。各自是:

Weak exogeneity:弱外生性。

看意思是说如果用来预測的自变量x是没有測量误差的。

这一如果当然是不现实的,只是如果没有这个如果的话,模型的复杂度会大大添加。

Linearity:线性。就是因变量y是多个自变量x之间的线性组合。

Constant variance (aka homoscedasticity):同方差性。意思是说不同的因变量x的方差都是同样的。

Independence of errors:误差独立性。

即是变量之间是独立的(有些方法能够处理变量之间不独立的情况,如generalized least squares等)。

Lack of multicollinearity in the predictors:预測变量之中没有多重共线性。

多重共线性意思是说。This can be triggered by having two or more perfectly correlated predictor variables (e.g. if the same predictor variable is mistakenly given twice, either without transforming one of the copies
or by transforming one of the copies linearly). It can also happen if there is too little data available compared to the number of parameters to be estimated (e.g. fewer data points than regression coefficients). 其后果是:In the case of multicollinearity, the
parameter vector β will be non-identifiable—it has no unique solution. 我的理解是说。没有特征之间的交叉或者多次反复某些互相相关的特征。事实上感觉,假设有特征交叉或多次反复相关特征的话,应该就是非线性模型了。当时上课的时候李老师在怎样用线性回归模型来描写叙述非线性特征中提到了,就是使用特征交叉、对同一个feature分区间改变权重(区间之间也能够交叉)一类的方法。

假设这样导致特征过多、计算量大,而想要减少维度的话。能够使用聚类来把相似特征聚到一起。或者使用L1范数来进行特征选择。

感觉这几个如果中,我提到了线性如果(线性如果应该也算是包括了没有多重共线性吧,个人推測),独立同分布如果中应该算是包括了同方差性、误差独立性。

所以,可能没提到的那个指的是弱外生性,也就是如果样本点的取得是没有測量误差的,这一个如果一般现实中都不满足,可是都会如果满足来减少模型复杂度。

时间: 2024-08-01 22:43:53

线性回归中的前提如果的相关文章

论线性回归中残差图的重要性

Y1 X1 Y2 X2 Y3 X3 Y4 X4 8.04 10 9.14 10 7.46 10 6.58 8 6.95 8 8.14 8 6.77 8 5.76 8 7.58 13 8.74 13 12.74 13 7.71 8 8.81 9 8.77 9 7.11 9 8.84 8 8.33 11 9.26 11 7.81 11 8.47 8 9.96 14 8.1 14 8.84 14 7.04 8 7.24 6 6.13 6 6.08 6 5.25 8 4.26 4 3.1 4 5.39

浅谈多变量线性回归中的数据规范化

简单来说,它主要用来把所有特征值范围映射至同样的范围里面如(0,1).(-1,1).(-0.5,0.5)等. Feature scaling (数据规范化) 是数据挖掘或机器学习常用到的步骤,这个步骤有时对算法的效率和准确率都会产生巨大的影响. 对精度的影响:很明显,这个步骤的必要性要依赖于数据特征的特性,如果有>=2特征,并且不同特征间的值变化范围差异大,那就很有必要使用Feature scaling.比如说,在信用卡欺诈检测中,如果我们只使用用户的收入作为学习特征,那就没有必要做这个步骤.但

【机器学习】--线性回归中L1正则和L2正则

一.前述 L1正则,L2正则的出现原因是为了推广模型的泛化能力.相当于一个惩罚系数. 二.原理 L1正则:Lasso Regression L2正则:Ridge Regression 总结: 经验值 MSE前系数为1 ,L1 , L2正则前面系数一般为0.4~0.5 更看重的是准确性. L2正则会整体的把w变小. L1正则会倾向于使得w要么取1,要么取0 ,稀疏矩阵 ,可以达到降维的角度. ElasticNet函数(把L1正则和L2正则联合一起): 总结: 1.默认情况下选用L2正则. 2.如若

机器学习中的数学(2)-线性回归,偏差、方差权衡

机器学习中的数学(2)-线性回归,偏差.方差权衡 版权声明: 本文由LeftNotEasy所有,发布于http://leftnoteasy.cnblogs.com.如果转载,请注明出处,在未经作者同意下将本文用于商业用途,将追究其法律责任.如果有问题,请联系作者 [email protected] 前言: 距离上次发文章,也快有半个月的时间了,这半个月的时间里又在学习机器学习的道路上摸索着前进,积累了一点心得,以后会慢慢的写写这些心得.写文章是促进自己对知识认识的一个好方法,看书的时候往往不是非

线性回归,逻辑回归的学习(包含最小二乘法及极大似然函数等)

博文参考了以下两位博主的文章:http://blog.csdn.net/lu597203933/article/details/45032607,http://blog.csdn.net/viewcode/article/details/8794401 回归问题的前提: 1) 收集的数据 2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数.然后利用这个模型去预测/分类新的数据. 1. 线性回归 假设 特征 和 结果 都满足线性.即不大于一次方.这个是针对 收集的数据

机器学习中最小二乘与梯度下降发的区别

http://www.zhihu.com/question/20822481 知乎用户,非文, 非理 Spirit_Dongdong.Wildog.mt Practices 等人赞同 同意 @张子权 的说法, 稍微再补充一下. 看问题估计, 题主可能是在学 machine learning 的东西, 所以才会有此问题. 但正如其他人指出的, 其实两种方法并不太具有可比性. 不过我当时在学的时候也有类似的问题. 当时我的问题是, 最小二乘法的矩阵解法和梯度下降法的区别在哪里? 我估摸着题主可能是想

对线性回归、逻辑回归、各种回归的概念学习

http://blog.csdn.net/viewcode/article/details/8794401 回归问题的条件/前提: 1) 收集的数据 2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数.然后利用这个模型去预测/分类新的数据. 1. 线性回归 假设 特征 和 结果 都满足线性.即不大于一次方.这个是针对 收集的数据而言.收集的数据中,每一个分量,就可以看做一个特征数据.每个特征至少对应一个未知的参数.这样就形成了一个线性模型函数,向量表示形式: 这个就

跟着Andrew Ng挑战Machine Learning:第一周 —— 概念+单一变量线性回归

声明: 开个新坑,督促自己坚持学习.这个系列同样是学习心得以及总结,用到的资料都是从吴恩达大神在Coursera上的课程中摘下来的.另外,依照Coursera的要求,保证学员的学习质量,在这一系列心得中不会出现与Coursera习题答案有关的代码. 为了帮助自己更深刻的理解,除了一些人名.引用或者算法的缩写,比如'BFGS'.'L-BFGS'等等之外,尽量使用中文.这一系列的文章结构都是按照大神的课程来的,理解成翻译其实也没毛病. 什么是机器学习? 有很多种说法,大致意思都是:"机器学习是用数据

线性回归——lasso回归和岭回归(ridge regression)

目录 线性回归--最小二乘 Lasso回归和岭回归 为什么 lasso 更容易使部分权重变为 0 而 ridge 不行? References 线性回归很简单,用线性函数拟合数据,用 mean square error (mse) 计算损失(cost),然后用梯度下降法找到一组使 mse 最小的权重. lasso 回归和岭回归(ridge regression)其实就是在标准线性回归的基础上分别加入 L1 和 L2 正则化(regularization). 本文的重点是解释为什么 L1 正则化会