一元线性回归分析笔记

1.定义:

利用已有样本,产自拟合方程,从而对(未知数据)进行预测。

2.用途:

预测,合理性判断。

3.分类:

线性回归分析:一元线性回归,多元线性回归,广义线性(将非线性转化为线性回归,logic回归)

非线性回归分析

4.困难:

变量选取,多重共线性,观察拟合方程,避免过度拟合

5.关系:

函数关系:确定性关系,y=a*x+b

相关关系:非确定性关系

相关系数:正数为正相关(同增同长),负数为负相关(同增同减)

6.一元线性回归模型:

1) 若X与Y间存在着较强的相关关系,则我们有Y≈a+bX

2) 若a不b的值已知,则给出相应的X值,我们可以根据Y≈a+bX得到相应的Y的预测值

7.参数:

Y=a+bx+e,a为截距,b为斜率,e为误差项。

8.确定参数:使用平方误差和衡量预测值不真实值的差距

最小二乘法:

RSS其实是关于a与b的函数:

9.一元线性回归分析:

1)原理,最小二乘法

2)步骤:建立回归模型,求解回归模型中的参数,对回归模型迚行检验

10.R分析:

1)输入数据

2)建立模型:z=lm(y~x+1)/lm(y~x)表示有截距,z=lm(y~x-1)/lm(y~x+0)/lm(y~x-0)表示没有截距通过原点。

3)plot(z)输出散点图

4)summary(z),输出结果。

5)plot(z)输出各种图。

11.其他一些R函数:

建立模型:z=lm(y~x+1)/lm(y~x)表示有截距,z=lm(y~x-1)/lm(y~x+0)/lm(y~x-0)表示没有截距通过原点。

plot(z)输出散点图

方差分析,anova()

作出预测,predict(a,z)

打印模型信息print(a)

计算残差residuals(a)

计算残差平方和deviance(a)

提取模型公式formula(a)

求模型系数coef(a)

时间: 2024-10-11 00:17:49

一元线性回归分析笔记的相关文章

一元线性回归分析及java实现

http://blog.csdn.net/hwwn2009/article/details/38414911 一元线性回归分析及java实现 2014-08-07 11:02 1072人阅读 评论(0) 收藏 举报  分类: DataMining(17)  一元线性回归分析是处理两个变量之间关系的最简单模型,它所研究的对象是两个变量之间的线性相关关系.通过对这个模型的讨论,我们不仅可以掌握有关一元线性回归的知识,而且可以从中了解回归分析方法的基本思想.方法和应用. 一.问题的提出 例2-1-1 

R语言-回归分析笔记

使用若干自变量并建立公式,以预测目标变量 目标变量是连续型的,则称其为回归分析 (1)一元线性回归分析 y=kx+b sol.lm<-lm(y~x,data) abline(sol.lm) 使模型误差的平方和最小,求参数k和b,称为最小二乘法 k=cov(x,y)/cov(x,x) b=mean(y)-k*mean(x) 估计参数b,k的取值范围 p元模型 p是自变量数,n是样本数 [ki-sd(ki)ta/2(n-p-1),ki+sd(ki)ta/2(n-p-1)] k0表示回归模型的b;  

从统计学看线性回归(2)——一元线性回归方程的显著性检验

一.σ2 的估计 因为假设检验以及构造与回归模型有关的区间估计都需要σ2的估计量,所以先对σ2作估计. 通过残差平方和(误差平方和)             (1) 又∵                                (2) ∴                                                        (3) 其中 为响应变量观测值的校正平方和.残差平方和有n-2 个自由度,因为两个自由度与得到的估计值与相关.                

HDU3579 Hello Kiki【一元线性同余方程组】

题目链接: http://acm.hdu.edu.cn/showproblem.php?pid=3579 题目大意: Kiki有X个硬币,她用不同的方式数了N次,每次她把硬币分成大小相等的组,记录每次一组硬币 的个数Mi和数完最后剩余的硬币数Ai.那么问题来了:总共有多少枚硬币? 思路: 典型的一元线性同余方程组X = Ai(mod Mi)求解.题目要求输出最小正整数解,则如果求得同余 方程组的解为0,那么答案就是所有Mi的最小公倍数. AC代码: #include<iostream> #in

POJ2891 Strange Way to Express Integers【一元线性同余方程组】

题目链接: http://poj.org/problem?id=2891 题目大意: 选择k个不同的正整数a1.a2.-.ak,对于某个整数m分别对ai求余对应整数ri,如果 适当选择a1.a2.-.ak,那么整数m可由整数对组合(ai,ri)唯一确定. 若已知a1.a2.-.ak以及m,很容易确定所有的整数对(ai,ri),但是题目是已知a1. a2.-.ak以及所有的整数对(ai,ri),求出对应的非负整数m的值. 思路: 题目可以转换为给定一系列的一元线性方程 x ≡ r1( mod a1

POJ 1061 - 青蛙的约会 - [exgcd求解一元线性同余方程]

先上干货: 定理1: 如果d = gcd(a,b),则必能找到正的或负的整数k和l,使ax + by = d. (参考exgcd:http://www.cnblogs.com/dilthey/p/6804137.html) 定理2: 一元线性同余方程ax ≡ n (mod b) 有解,当且仅当gcd(a,b)|n. 也就是说,解出了ax+by=gcd(a,b),就相当于解出了ax≡n(mod b) (而且只要满足gcd(a,b)|n,就一定有解) 定理3: 若gcd(a,b) = 1,则方程ax

POJ 2115C Looooops[一元线性同余方程]

一元线性同余方程 定义: $a$,$b$是整数,$m$是正整数,形如 $ax\equiv b\,(mod\, m)$ 且$x$是未知数的同余式称作一元线性同余方程. 对于方程$ax\equiv b\,(mod\, m)$, 可以把它写成二元一次不定式$ax+my=b$.要想方程有解,必须满足$(a,m)\mid d$. 这时利用扩展欧几里得求出$ax+my=(a,m)$ 的一个特解,在乘上$b/(a,m)$就是我们所要的一个特解. 利用公式: $ax_0+my_0=d=ax+my\Rightar

求解一元线性同余方程组模版

解法:直接上模版. 扩展欧几里德的模版: typedef long long LL; LL ex_gcd(LL a,LL b,LL &x,LL &y) { if(b==0) { x=1; y=0; return a; } LL d=ex_gcd(b,a%b,x,y); LL t=x; x=y; y=t-a/b*y; return d; } 求解一元线性同余方程组模版: LL solve(LL n) { LL a1,r1,a2,r2; LL a,b,c,r,x,y; bool ifhave=

微软数据挖掘算法:Microsoft 线性回归分析算法(11)

前言 此篇为微软系列挖掘算法的最后一篇了,完整该篇之后,微软在商业智能这块提供的一系列挖掘算法我们就算总结完成了,在此系列中涵盖了微软在商业智能(BI)模块系统所能提供的所有挖掘算法,当然此框架完全可以自己扩充,可以自定义挖掘算法,不过目前此系列中还不涉及,只涉及微软提供的算法,当然这些算法已经基本涵盖大部分的商业数据挖掘的应用场景,也就是说熟练了这些算法大部分的应用场景都能游刃有余的解决,每篇算法总结包含:算法原理.算法特点.应用场景以及具体的操作详细步骤.为了方便阅读,我还特定整理一篇目录: