最小二乘法的推导证明

1、附加题:推导线性最小二乘法过程

上述式子求解b 时最后一步用到求和性质,事实上

同理可证分子部分,具体请参考《计量经济学导论(第四版)Introductory Econometrics A Modern Approach Fourth Edition · 杰弗里·M·伍德里奇(Jeffrey M. Wooldridge)著》中的附录A 基本数学工具

2、赛马问题

问:36匹马,6条跑道,无计时器,最少几次比赛可以选出前3名?

答案是8次,思路如下:

(1)把36匹马分成6组,分别进行6次比赛,可以得出每一组的第1名。

(2)把每组的第1名再进行1次比赛,分别得到各组最快的马匹的排名。

(3)选取第1名所在的组的第1、2、3名,第2名所在的组的第1、2名(第3名不用选取,因为他最好的成绩也就是第4名),第3名所在的组的第1名(同上推理),第4、5、6名所在的组不用再进行比赛(同上推理),组成6个人再进行1次比赛,即可得出前3名。

综上所述,总共6+1+1=8次比赛。

3、随机数

现有一个rand5()的随机数生成器,等可能地生成1~5之间的数,要求用它实现rand7(),等可能地生成1~7之间的数。

思路:把1-5映射到7的倍数空间,例如调用2次rand5()相乘可以得到1~25的空间,每个数都是等可能地1/25,再写一个判断函数扔掉22-25,留下1~21。

提示:“等可能”只是说每个数产生的概率相等,并不意味着加起来等于1。

def rand7():
    r = 25
    while(r>21):
        a = rand5()
        b = rand5()
        r = a * b
    return r / 3

时间: 2024-10-24 08:37:17

最小二乘法的推导证明的相关文章

SVD之最小二乘【推导与证明】

0.SLAM中SVD进行最小二乘的应用 在SLAM应用中,计算Homography Matrix,Fundamental Matrix,以及做三角化(Triangulation)时,都会用到最小二乘   1.背景 对一堆观测到的带噪声的数据进行最小二乘拟合 2.理论模型 3.优化目标 4.优化过程 5.工程实现 6.对齐次方程,利用SVD做最小二乘最优解的证明(感谢@刘毅 的推导) 7.其他非齐次方程组做最小二乘的方法 8.不同的最小二乘方法的讨论 9.本篇文章的理论出处 上述推导并不复杂,但是

最小二乘法推导

最小二乘法 最小二乘法可以更广泛地应用于非线性方程中,我们可以使用一些已知的离散的点,拟合出一条与这些离散点最为接近的曲线,从而可以分析出这些离散点的走向趋势. 设x和y之间的函数关系由直线方程: y=ax+b 公式中有两个待定参数,b代表截距,a代表斜率.问题在于,如何找到“最合适”的a和b使得尽可能多的数据落在或者更加靠近这条拟合出来的直线上:我们关心的是方程中的a和b,也就是说,在这个待定的方程中,a和b才是所求的变量,它们可以描述出x和y的关系. 所以我们接下来的任务就是找到一组最好的a

最小二乘法多项式曲线拟合原理与实现

概念 最小二乘法多项式曲线拟合,根据给定的m个点,并不要求这条曲线精确地经过这些点,而是曲线y=f(x)的近似曲线y= φ(x). 原理 [原理部分由个人根据互联网上的资料进行总结,希望对大家能有用] 给定数据点pi(xi,yi),其中i=1,2,…,m.求近似曲线y= φ(x).并且使得近似曲线与y=f(x)的偏差最小.近似曲线在点pi处的偏差δi= φ(xi)-y,i=1,2,...,m. 常见的曲线拟合方法: 1.使偏差绝对值之和最小 2.使偏差绝对值最大的最小       3.使偏差平方

最小二乘法多项式曲线拟合原理与实现(转)

概念 最小二乘法多项式曲线拟合,根据给定的m个点,并不要求这条曲线精确地经过这些点,而是曲线y=f(x)的近似曲线y= φ(x). 原理 [原理部分由个人根据互联网上的资料进行总结,希望对大家能有用] 给定数据点pi(xi,yi),其中i=1,2,…,m.求近似曲线y= φ(x).并且使得近似曲线与y=f(x)的偏差最小.近似曲线在点pi处的偏差δi= φ(xi)-y,i=1,2,...,m. 常见的曲线拟合方法: 1.使偏差绝对值之和最小 2.使偏差绝对值最大的最小       3.使偏差平方

排列组合的一些公式及推导

排列数公式 \[A_n^m=n(n-1)(n-2)\cdots(n-m+1)=\frac{n!}{(n-m)!}\] (规定\(0!=1\)) 推导:把\(n\)个不同的元素任选\(m\)个排序,按计数原理分步进行: 取第一个:有\(n\)种取法: 取第二个:有\((n-1)\)种取法: 取第三个:有\((n-2)\)种取法:? -- 取第\(m\)个:有\((n-m+1)\)种取法: -- 最后一步,取最后一个:有\(1\)种取法. 根据分步乘法原理,得出上述公式. 组合数公式 \[C_n^m

机器学习基础——推导线性回归公式

在之前的文章当中,我们介绍过了简单的朴素贝叶斯分类模型,介绍过最小二乘法,所以这期文章我们顺水推舟,来讲讲线性回归模型. 线性回归的本质其实是一种统计学当中的回归分析方法,考察的是自变量和因变量之间的线性关联.后来也许是建模的过程和模型训练的方式和机器学习的理念比较接近,所以近年来,这个模型被归入到了机器学习的领域当中.然而,不管它属于哪个领域,整个模型的思想并没有发生变化.我们只要有所了解即可. 模型概念 线性回归的定义非常简单,它最简单的形式其实就是一元一次方程组.比如,我们有如下式子: \

转载--理解数字信号处理的三把钥匙

原址 在数字信号处理大厦中,有许许多多的小房间,有的门上写着"DFT",有的门上写着"滤波",有的门上写着"卷积",有的门上写着"相关",等等.每一个房间都藏着知识的秘密,每一个房间都要用属于自己的钥匙才能打开.但就整体上来说,理解数字信号处理有三把"万能"的钥匙:时域与频域的相互切换.向量和MATLAB软件.充分应用这三把钥匙,能为深入理解数字信号处理提供有力的帮助. 1.时域与频域的相互切换 深入理解数

深度学习——MSRA初始化

本次简单介绍一下MSRA初始化方法,方法同样来自于何凯明paper <Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification>. Motivation MSRA初始化 推导证明 补充说明 Motivation 网络初始化是一件很重要的事情.但是,传统的固定方差的高斯分布初始化,在网络变深的时候使得模型很难收敛.此外,VGG团队是这样处理初始化的问题的:他们首先训练了一个

计算几何及其应用——解析几何

写在前面:刚学专业课的时候,记得有天突发奇想,心说高三数学的压轴题能不能写个程序跑出答案,这样岂不是解放了数万苦逼高三生的双手?但是当时也仅仅是停留在想法上面,因为高中的解析几何虽然步骤程序化,但是有时候需要灵巧的因式分解,感觉以目前的编程水平还是写不出来,但是了解到数学有一个分支——计算几何,专门利用计算机来进行几何计算的一门科学,并且还与计算机图形学.计算机视觉和图像处理.机器人.计算机辅助设计和制造等高深学科有着联系(摘自<计算几何与应用>导言),所以今天怀着激动的心情开始了这个专题的学