MIT线性代数公开课学习笔记第16~20课

十六、投影矩阵和最小二乘

给出\(n\)组\(m-1\)个自变量的数据点(用\(n\times m\)大小的矩阵\(A\)表示,其中第一列均为1,代表常数项),以及它们的真实取值(用n维列向量\(b\)表示),现在需要用一个\(m-1\)元未知数的线性方程来拟合这组数据点。可以用非齐次线性方程组\(AX=b\)表示。

一般来说这个方程组是无解的,即\(b\notin C(A)\),我们需要找到一个近似的\(\hat b,\hat X\),使得\(A\hat X=\hat b\)。其中\(b_i\)是第\(i\)个数据点的真实取值,\(\hat b_i\)是第\(i\)个数据点通过拟合直线的近似取值,如下图所示:

在第十五课已经讲过,最小二乘法的损失函数是均方差函数,即:

\[\mathrm{minimize}\ \ \sum_{i=1}^m(b_i-\hat b_i)^2\]

换言之:

\[\mathrm{minimize}\ \ \|b-\hat b\|^2\]

为直观起见,这里的\(\mathrm{dim}C(A)=2\),则\(b\)投影到\(C(A)\)上的向量\(\hat b\)如图所示,显然\(e=b-\hat b,e\perp C(A)\),因此此时\(\|e\|=\|b-\hat b\|\)是最小的。

根据第十五节的知识,我们可以令投影矩阵\(P=A(A^TA)^{-1}A^T\),则:

\[\hat b=Pb=A(A^TA)^{-1}A^Tb\]

\[A\hat X=\hat b\]

上式左右同时左乘\(A^T\):

\[A^TA\hat X=A^TA(A^TA)^{-1}A^Tb=A^Tb\]

根据这个非齐次线性方程组便可以解出\(\hat X\),也就能得到这个拟合的直线方程了。

十七、正交矩阵和Gram-Schmidt正交化

正交矩阵和Gram-Schmidt正交化在国内的各类线代教材中都有出现,这里不做过多赘述。

这里值得一提的是,前\(t-1\)个线性无关向量\(\alpha_1\cdots \alpha_{t-1}\)已正交化为\(\beta_1\cdots \beta_{t-1}\),正交化第\(t\)个向量\(\alpha t\)的过程,就是将其投射到\(C(\beta_1\cdots \beta_{t-1})\)这个空间中,然后获得误差向量的过程。

如上图,若已获得两个正交化的向量\(\beta_1,\beta_2\),则首先将\(\alpha_3\)投射到\(C(\beta_1,\beta_2)\)得到\(\mathrm{Prj}_{C(\beta_1,\beta_2)}\alpha_3\)

则\(\beta_3=\alpha_3-\mathrm{Prj}_{C(\beta_1,\beta_2)}\alpha_3\)

原文地址:https://www.cnblogs.com/qpswwww/p/9053980.html

时间: 2024-10-11 17:08:19

MIT线性代数公开课学习笔记第16~20课的相关文章

斯坦福机器学习公开课学习笔记(1)—机器学习的动机与应用

(转载请注明出处:http://blog.csdn.net/buptgshengod) 1.背景 斯坦福机器学习公开课差不多是网上能找到的最好的机器学习入门课程了.现在一共有20节课放到网络上,博主是在网易公开课学的,那里的视频有中文字幕然后课件也很全. (地址:http://v.163.com/special/opencourse/machinelearning.html) 主讲师Andrew Ng(已经被百度诏安了)是华裔科学家,看他的课特别有亲切感.感觉他们的课跟国内老师的课区别还是挺大的

美团网 KVM虚拟化公开课学习笔记

KVM优化技术,美团开放平台--邱剑 基于KVM现有选项做一些优化,视频地址:http://www.osforce.cn/course/77/learn#lesson/80 CPU调优: 1.Context switch(用户态到内核态的优化):ring0->nernel mode,ring 3->user mode; 设置:宿主机BIOS中开启intel VT-X 2.缓存优化  Cache-Node Binding 将qemu进程绑定到特定的CPU node或者core上---避免L2/L

传智播客c/c++公开课学习笔记--Linux网络流媒体服务器的核心代码揭秘

Xinetd 从守护进程的概念可以看出,对于系统所要通过的每一种服务,都必须运行一个监听某个端口连接所发生的守护进程, 这通常意味着资源浪费. 为了解决这个问题,Linux引进了"网络守护进程服务程序"的概念.xinted(extended InterNET daemon) xinetd同时监听多个指定的端口,接受用户请求时,根据请求端口,启动不同的网络服务进程来处理这些用户请求. 可以把xinetd看做一个管理启动服务的管理服务器,它决定把一个客户请求交给哪个程序处理,然后启动相应的

传智播客c/c++公开课学习笔记--黑客代码分析与预防

黑客代码分析与预防 笔记 [课程简介] C/C++语言是除了汇编之外,最接近底层的计算机语言,目前windows,linux,iOS,Android等主流操作系统都是用C/C++编写的,所以很多病毒.木马也都是用C/C++实现的.课程的目的就是通过C语言揭秘木马和各种远程控制软件的实现原理以及如何防护. [课程知识点] 1.木马入侵系统的方式: 2.木马入侵到宿主目标后的关键行为分析: 3.可信任端口以及端口扫描技术: 4.远程控制的实现代码实现: 5.恶意代码中使用TCP.UDP协议与防火墙穿

Andrew N.G的机器学习公开课学习笔记(一):机器学习的动机与应用

机器学习由对于人工智能的研究而来,是一个综合性和应用性学科,可以用来解决计算机视觉/生物学/机器人和日常语言等各个领域的问题,机器学习的目的是让计算机具有像人类的学习能力,这样做是因为我们发现,计算机要完成有的功能,是无法通过固定的程序实现的,例如让计算机识别手写的字迹,让计算机从不同的图片中识别出猫和人. 这门课程主要学习机器学习的算法,也需要用程序来实现这些算法,建议用Matlab或者Octave来进行编程.此外,学习本课程需要具有数理统计/线性代数和数据结构等方面的知识. 机器学习可以用如

传智播客c/c++公开课学习笔记--邮箱账户的破解与邮箱安全防控

一.SMTP协议 SMTP(SimpleMail Transfer Protocol)即简单邮件传输协议. SMTP协议属于TCP/IP协议簇,通过SMTP协议所指定的server,就能够把E-mail寄到收信人的server上. SMTPserver则是遵循SMTP协议的发送邮件server,用来发送或中转发出的电子邮件. SMTP使用TCP提供的可靠的传输数据服务把邮件消息从发信人的邮件server传送到收信人的邮件server. 跟大多数应用层协议一样,SMTP也存在两个 端:在发信人的邮

MIT 6.828 JOS学习笔记2. Lab 1 Part 1.2: The kernel

Lab 1 Part 1: PC bootstrap 我们继续~ PC机的物理地址空间 这一节我们将深入的探究到底PC是如何启动的.首先我们看一下通常一个PC的物理地址空间是如何布局的:                           这张图仅仅展示了内存空间的一部分. 第一代PC处理器是16位字长的Intel 8088处理器,这类处理器只能访问1MB的地址空间,即0x00000000~0x000FFFFF.但是这1MB也不是用户都能利用到的,只有低640KB(0x00000000~0x00

java JDK8 学习笔记——第16章 整合数据库

第十六章 整合数据库 16.1 JDBC入门 16.1.1 JDBC简介 1.JDBC是java联机数据库的标准规范.它定义了一组标准类与接口,标准API中的接口会有数据库厂商操作,称为JDBC驱动程序. 2.JDBC标准主要分为两个部分:JDBC应用程序开发者接口和JDBC驱动程序开发者接口.应用程序需要联机数据库,其相关API主要在java.sql和javax.sql两个包中. 3.应用程序使用JDBC联机数据库的通用语法: Connection conn = DriverManager.g

斯坦福大学机器学习公开课学习—1.机器学习的动机与应用

斯坦福大学机器学习公开课学习—1.机器学习的动机与应用 介绍了课程主要内容包含以下4点 1.supervised learning(监督学习) 2.learning theory(学习理论) 3.unsupervised learning(非监督学习) 4.reinforcement learning(强化学习) 其中介绍了很多例子,有一些例子还是非常有趣的: 而且通过课程内容我发现机器学习的应用范围真的比之前想象的大多了,而且现在也的确在很多领域取得了很大的成就. 监督学习介绍了回归问题,分类