【线性代数】正交向量与正交子空间

在前面文章《矩阵的四个基本子空间》中提到:

一个秩为r,m*n的矩阵A中,其行空间和列空间的维数为r,零空间和左零空间的维数分别为n-r,m-r,并且有行空间与零空间正交,列空间与左零空间正交。

“掌握上面的这个结论就掌握了线性代数的半壁江山!”,MIT教授如是说。那么什么是正交子空间呢?我们首先从我们熟悉的正交向量说起。

1、正交向量

我们都知道,如果两个向量x,y正交,则其夹角为90度,可表示为表达式:

注意:x,y的顺序没有区别,即下式也成立:

两个向量正交,可以表示为下图:

由勾股定理可知:

将上式展开得:

我们举例说明:假设两个向量分别为x,y,z=x+y:

其中x,y满足下式:

向量的长度(即向量的2范数)为:

显然满足勾股定理:

上面的推导,已证明勾股定理,自己可以仔细领会。

2、正交子空间

定义:两个子空间正交即两个子空间的任意两个向量正交。

文章开头说到,行空间与零空间正交,列空间与左零空间正交。下面我们来证明行空间与零空间正交,列空间与左零空间正交。

行空间与零空间正交的证明  

《矩阵的零空间》一文中,我们知道,Ax=0的解就是矩阵的零空间,则:

展开可得:

上式说明,矩阵的每一行向量都与零空间正交,而矩阵的行空间就是其行向量的线性组合,则说明行空间与零空间正交。同理,我们亦可以证明列空间与左零空间正交,在此就不重复了。

原文:http://blog.csdn.net/tengweitw/article/details/41171579

作者:nineheadedbird

时间: 2024-08-19 05:50:31

【线性代数】正交向量与正交子空间的相关文章

矩阵空间、秩1矩阵、正交向量与正交子空间

原文地址:https://www.cnblogs.com/duyiExplorer/p/11295518.html

线性代数之——正交向量与子空间

1. 正交子空间 两个向量垂直,意味着 \(v^Tw=0\). 两个子空间 \(\boldsymbol V\) 和 \(\boldsymbol W\) 是正交的,如果\(\boldsymbol V\) 中的每个向量 \(v\) 都垂直于 \(\boldsymbol W\) 中的每个向量 \(w\). 想象你处在一个房间里,那么地面是一个子空间 \(\boldsymbol V\),两面墙的交线是另一个子空间 \(\boldsymbol W\),这两个子空间是正交的. 两面看起来垂直的墙不是正交的,

机器学习--线性代数基础

关闭 yunqishequ1的博客 目录视图 摘要视图 订阅 管理博客 写新文章 评论送书 | 7月书讯:众多畅销书升级!      CSDN日报20170727--<想提高团队技术,来试试这个套路!>      评论送书 | 机器学习.Java虚拟机.微信开发 机器学习--线性代数基础 2017-07-28 14:05 6人阅读 评论(0) 收藏 编辑 删除  分类: 机器x 目录(?)[+] 原文地址 数学是计算机技术的基础,线性代数是机器学习和深度学习的基础,了解数据知识最好的方法我觉得

漫步线性代数十七——正交基和格拉姆-施密特正交化(上)

对于一个正交基,每个向量和其他所有向量垂直,坐标轴就是互相正交的.我们还可以进一步改善:每个向量除以它的长度得到单位向量,这样的话正交基变成了标准正交基: 16.如果 qTiqj={01i≠j,给出正交性i=j,给出归一性 那么q1,-,qn就是是标准正交基,由标准正交列组成的矩阵叫做Q. 最重要的例子是标准基,对于x?y平面,最熟悉的e1=(1,0),e2=(0,1)水平和竖直方向都是垂直的,Q是2×2的单位矩阵.在n为空间里标准基e1,-,en由Q=I的列组成: e1=?????????10

机器学习教程 一-不懂这些线性代数知识 别说你是搞机器学习的

原文:http://www.shareditor.com/blogshow/?blogId=1 数学是计算机技术的基础,线性代数是机器学习和深度学习的基础,了解数据知识最好的方法我觉得是理解概念,数学不只是上学时用来考试的,也是工作中必不可少的基础知识,实际上有很多有趣的数学门类在学校里学不到,有很多拓展类的数据能让我们发散思维,但掌握最基本的数学知识是前提,本文就以线性代数的各种词条来做一下预热,不懂的记得百度一下. 请尊重原创,转载请注明来源网站www.shareditor.com以及原始链

线性代数导论35——线性代数全总结(麻省理工公开课:线性代数)

课程介绍 "线性代数",同微积分一样,是高等数学中两大入门课程之一,不仅是一门非常好的数学课程,也是一门非常好的工具学科,在很多领域都有广泛的用途.本课程讲述了矩阵理论及线性代数的基本知识,侧重于那些与其他学科相关的内容,包括方程组.向量空间.行列式.特征值.相似矩阵及正定矩阵. [第1集] 方程组的几何解释    [第2集] 矩阵消元    [第3集] 乘法和逆矩阵    [第4集] A的LU分解    [第5集] 转置-置换-向量空间R    [第6集] 列空间和零空间    [第

专为程序员设计的线性代数课程

第1章 欢迎大家来到<专给程序员设计的线性代数>欢迎大家来到<专给程序员设计的线性代数>,在这个课程中,我们将使用编程的方式,学习线性代数,这个近现代数学发展中最为重要的分支.学懂线性代数,是同学们深入学习人工智能,机器学习,深度学习,图形学,图像学,密码学,等等诸多领域的基础.从这个课程开始,让我们真正学懂线性代数!... 第2章 一切从向量开始向量,是线性代数研究的基本元素.在这一章,我们将引入向量.什么是向量?我们为什么要引入向量?进而,我们将使用不同的视角看待向量,定义向量

深度学习(deeplearing)(5月完成)共三部分 第一部分应用数学与机器学习(5.1-5.10)线性代数

第一章:线性代数: 学习一个新东西,首先要从概念开始,抓住其核心点 机器学习相关问题中,数据集多是以矩阵的形式存在,而模型的参数如W也是以矩阵或向量的形式存在,所以一个模型从数学的角度来说,就是矩阵间的运算,而运算中矩阵相乘的运算又是最常用的运算.本章后半部分讲解了在机器学习中会用到的一些矩阵运算的概念,如范数.行列式. 特征分解.奇异值分解等 一.基本单元:标量.向量.矩阵.张量 二.

数学的奇妙世界(1)- 引言和线性代数

0. 背景 在这个学校里面遇到了本科是学习统计学的小猪,给我打开了数学的大门,前段时间想着自己机器学习和视觉上一直跌跌撞撞,除了因为去年闹眼病搞得今年有空就睡觉外,还有一点就是自己不想看到数学,前几天自己在京东趁着打折给自己买了一本<陶哲轩教你聪明解数学>,看完前言和第一章仿佛开了天眼, 15 岁天才对于数学的理解可以给我这个 15*2 的学沫启蒙,顺便前言中提到了<如何解题>,让我对另一本早已买来的懵懵懂懂的书籍有了新的认识. 跟着陶哲轩老师的思路自己"在老师后面&qu