【机器学习实战】多元线性回归模型

在许多实际问题中,影响因变量Y的自变量不止一个,通常设为p个,此时无法借助于图形的帮助来确定模型,这里则使用一种最为简单且普遍的模型——多元线性模型来进行回归计算。

1、数学模型

当影响Y值的因素不唯一时,我们可以使用多元线性回归模型:

当未知参数有两个时,我们可以画出此方程的图形表示(此时是一个平面,如图)。如果未知数大于2时,则很难把此超平面给画出来。

如上图,为了求得等参数的值,我们由各个样本点(图中为红点)做一条平行于Y轴的直线,此直线交平面方程于一点,然后我们求得此线段的程度,并进行平方,最后将所有的这些线段的平方和加到一起,得到残差平方和,公式如下:

当残差平方和最小时,此线性回归达到最好,所以这里用RSS分别对等进行求偏导,得到一个m+1方程组,从而可以求得等的值,即可得到对应的线性回归方程。

2、R回归建模

在R中提供了一个内置的数据集Swiss,这个数据时瑞士1888年影响国民经济的各个因素数据,关于此数据的具体介绍,可以在R中输入help(swiss)进行了解,或者直接访问http://stat.ethz.ch/R-manual/R-patched/library/datasets/html/swiss.html进行了解,swiss的部分数据如下:

下面我们就做一下Fertility和Agriculture、Examination、Education、Catholic、Infant.Mortality五个参数之间的回归模型。

使用R的回归函数lm进行回归如下:

通过summary函数查看回归结果:

此时的P值非常小,我们可以得知此模型的正确性很高。从* 的个数来看,Examination的几乎没有相关度,所以后续可以考虑将此参数去掉。

时间: 2024-12-20 07:14:19

【机器学习实战】多元线性回归模型的相关文章

R语言解读多元线性回归模型

转载:http://blog.fens.me/r-multi-linear-regression/ 前言 本文接上一篇R语言解读一元线性回归模型.在许多生活和工作的实际问题中,影响因变量的因素可能不止一个,比如对于知识水平越高的人,收入水平也越高,这样的一个结论.这其中可能包括了因为更好的家庭条件,所以有了更好的教育:因为在一线城市发展,所以有了更好的工作机会:所处的行业赶上了大的经济上行周期等.要想解读这些规律,是复杂的.多维度的,多元回归分析方法更适合解读生活的规律. 由于本文为非统计的专业

SPSS--回归-多元线性回归模型案例解析

多元线性回归,主要是研究一个因变量与多个自变量之间的相关关系,跟一元回归原理差不多,区别在于影响因素(自变量)更多些而已,例如:一元线性回归方程 为: 毫无疑问,多元线性回归方程应该为: 上图中的 x1,  x2, xp分别代表"自变量"Xp截止,代表有P个自变量,如果有"N组样本,那么这个多元线性回归,将会组成一个矩阵,如下图所示: 那么,多元线性回归方程矩阵形式为: 其中: 代表随机误差, 其中随机误差分为:可解释的误差 和 不可解释的误差,随机误差必须满足以下四个条件,

计量经济学-多元线性回归模型(一)

一.多元线性回归模型 1.多元线性回归模型的一般形式: 2.总体回归函数的非随机表达式-均值的回归模型,则去掉了误差项: 3.解释变量: 4.多元线性回归模型的矩阵表达形式: n为样本下标,k+1为解释变量下标,必须是Xβ,不能反过来,矩阵相乘必须是左矩阵的列等于右矩阵的行. 5.样本回归函数: 二.基本假定 假设一:回归模型是正确设定的: 假设二:解释变量是非随机的或固定的,且各解释变量之间不存在严格线性相关性: 假设三:各解释变量在所抽取的样本中具有变异性,而且样本方差收敛: 假设四:随机误

机器学习之一元线性回归模型

一元线性回归模型 样本数量m            输入变量x               输出变量y               训练样本(x,y)                   第i个训练样本(,) 假设函数:        模型参数 代价函数: 优化目标: 算法: 1.梯度下降法 具体解法: 2.正规方程法 原文地址:https://www.cnblogs.com/yuqiujie/p/8893660.html

机器学习--线性回归模型原理

线性回归, 是回归分析中的一种, 其表示自变量与因变量之间存在线性关系. 回归分析是从数据出发, 考察变量之间的数量关系, 并通过一定的数学关系式将这种关系描述出来, 再通过关系式来估计某个变量的取值, 同时给出该估计的可靠程度. 下面我们从一元线性回归开始说起. 1. 一元线性回归 在回归分析中如果只涉及一个自变量(用来预测的变量)和一个因变量(要预测的变量), 这时就称为一元回归, 如果自变量与因变量之间存在线性关系, 那么此时的回归就称为一元线性回归. 1.1 模型 假设自变量x和因变量y

【R】多元线性回归

R中的线性回归函数比较简单,就是lm(),比较复杂的是对线性模型的诊断和调整.这里结合Statistical Learning和杜克大学的Data Analysis and Statistical Inference的章节以及<R语言实战>的OLS(Ordinary Least Square)回归模型章节来总结一下,诊断多元线性回归模型的操作分析步骤. 1.选择预测变量 因变量比较容易确定,多元回归模型中难在自变量的选择.自变量选择主要可分为向前选择(逐次加使RSS最小的自变量),向后选择(逐

线性模型(1) —— 多元线性回归

提纲: 线性模型的基本形式 多元线性回归的损失函数 最小二乘法求多元线性回归的参数 最小二乘法和随机梯度下降的区别 疑问 学习和参考资料 1.线性模型的基本形式 线性模型是一种形式简单,易于建模,且可解释性很强的模型,它通过一个属性的线性组合来进行预测,其基本的形式为: 式(1) 转换成向量形式之后写成: 式(2) 为什么说其解释性很强呢,是因为模型的权值向量十分直观地表达了样本中每一个属性在预测中的重要度,打个比方,要预测今天是否会下雨,并且已经基于历史数据学习到了模型中的权重向量和截距b,则

线性回归模型原理及其应用

前言 最近有在学习网易云课堂上<吴恩达机器学习>这门课程, 受益匪浅, 然后打算将有关线性回归模型的知识点总结下来, 也就有了本文. 若存在错误的地方, 还请指正, 谢谢! 目录 1. 一元线性回归 2. 多元线性回归 3. 两大算法优缺点 4. 算法优化问题 5. 多元线性回归应用 正文 线性回归, 是回归分析中的一种, 其表示自变量与因变量之间存在线性关系. 回归分析是从数据出发, 考察变量之间的数量关系, 并通过一定的数学关系式将这种关系描述出来, 再通过关系式来估计某个变量的取值, 同

线性回归模型(Linear Regression)及Python实现

线性回归模型(Linear Regression)及Python实现 http://www.cnblogs.com/sumai 1.模型 对于一份数据,它有两个变量,分别是Petal.Width和Sepal.Length,画出它们的散点图.我们希望可以构建一个函数去预测Sepal.Length,当我们输入Petal.Width时,可以返回一个预测的Sepal.Length.从散点图可以发现,可以用一条直线去拟合,这时我们可以构建一元线性回归模型:hθ(x) = θ0 + θ1x1 (x1= Pe