【线性代数】标准正交矩阵与Gram-Schmidt正交化

1、标准正交矩阵

假设矩阵Q有列向量q1,q2,...,qn表示,且其列向量满足下式:

若Q为方阵,由上面的式子则有

我们举例说明上述概念:

2、标准正交矩阵的好处

上面我们介绍了标准正交矩阵,那么标准正交矩阵的用处在哪?下面以两方面来说明标准正交矩阵的用处:

求解Ax=b

在前面文章《正交投影》中,有下式:

当矩阵A为标准正交矩阵Q时,由于正交矩阵与其转置的乘积为单位矩阵,则上式可以转化为:

可以发现,求x时不需要矩阵Q的逆,只需要知道转置即可,这样简化了计算。

求解投影矩阵

在前面文章《正交投影》中,投影矩阵的通式可以表示为:

当矩阵A为标准正交矩阵Q时,由于正交矩阵与其转置的乘积为单位矩阵,则上式可以转化为:

这样就将投影矩阵简单化了。

3、Gram-Schmidt正交化

任何复杂问题的求解都可以从简单的问题出发。聪明的数学家不会羞于考虑小问题,因为当最简单的情况弄得明明白白时,一般的形式就容易理解了。并且,简单的情况不仅帮我们发现一般的公式,而且还提供了一种便利的核查方法,看看我们是否犯下了愚蠢的错误。下面我们就从简单的二维情况讨论:

二维情况

假设原来的矩阵为[a,b],a,b为线性无关的二维向量,下面我们通过Gram-Schmidt正交化使得矩阵A为标准正交矩阵:

假设正交化后的矩阵为Q=[A,B],我们可以令A=a,那么我们的目的根据AB=I来求B。如下面的二维情况所示,B的方向与A成90度。图中还表明,B可以表示为b向量与b向量在a上的投影的误差向量。由《正交投影》中的结论可知,有如下关系成立:

三维情况

假设原来的矩阵为[a,b,c],a,b,c为线性无关的二维向量,正交化后的矩阵为Q=[A,B,C],我们可以令A=a,则可以根据二维情况得到如下猜想:

上式显然满足AB=0,AC=0,BC=0。

下面我们用实例说明正交化的过程:

假设矩阵为[a,b]

则由二维情况的结论可知:

把具体数值代入得:

经过归一化得:

Q即是我们经过正交化后的正交矩阵。

原文:http://blog.csdn.net/tengweitw/article/details/41775545

作者:nineheadedbird

时间: 2024-10-22 23:47:16

【线性代数】标准正交矩阵与Gram-Schmidt正交化的相关文章

Derive Modified Gram Schmidt QR Decomposition Algorithm from Gram Schmidt Orthogonalisation (part 2)

All rights reserved. Please don't share this article without notifying me. Email address: [email protected] From eq. 10 in part 1 we can find the Classical Gram Schmidt Algorithm, which is numerically unstable or sensitive to perturbation: Q=zeros((m

漫步线性代数十七——正交基和格拉姆-施密特正交化(上)

对于一个正交基,每个向量和其他所有向量垂直,坐标轴就是互相正交的.我们还可以进一步改善:每个向量除以它的长度得到单位向量,这样的话正交基变成了标准正交基: 16.如果 qTiqj={01i≠j,给出正交性i=j,给出归一性 那么q1,-,qn就是是标准正交基,由标准正交列组成的矩阵叫做Q. 最重要的例子是标准基,对于x?y平面,最熟悉的e1=(1,0),e2=(0,1)水平和竖直方向都是垂直的,Q是2×2的单位矩阵.在n为空间里标准基e1,-,en由Q=I的列组成: e1=?????????10

浅谈压缩感知(十九):MP、OMP与施密特正交化

关于MP.OMP的相关算法与收敛证明,可以参考:http://www.cnblogs.com/AndyJee/p/5047174.html,这里仅简单陈述算法流程及二者的不同之处. 主要内容: MP的算法流程及其MATLAB实现 OMP的算法流程以及MATLAB实现 MP与OMP的区别 施密特正交化与OMP的关系 一.MP(匹配追踪)的算法流程: 二.MP的MATLAB实现: % MP:匹配追踪算法 % dictionary: 超完备字典 % x: 待表示信号 % M = 4; N = 10;

OpenGLES 如何在十天内掌握线性代数 - 希望这是真的!

OpenGLES 如何在十天内掌握线性代数 - 希望这是真的! 太阳火神的美丽人生 (http://blog.csdn.net/opengl_es) 本文遵循"署名-非商业用途-保持一致"创作公用协议 转载请保留此句:太阳火神的美丽人生 -  本博客专注于 敏捷开发及移动和物联设备研究:iOS.Android.Html5.Arduino.pcDuino,否则,出自本博客的文章拒绝转载或再转载,谢谢合作. 以下网易公开课相比较而言,可汗学院的视频更基础一些.字幕翻译也都不错,网易精品来着

机器学习中的矩阵方法03:QR 分解

1. QR 分解的形式 QR 分解是把矩阵分解成一个正交矩阵与一个上三角矩阵的积.QR 分解经常用来解线性最小二乘法问题.QR 分解也是特定特征值算法即QR算法的基础.用图可以将分解形象地表示成: 其中, Q 是一个标准正交方阵, R 是上三角矩阵. 2. QR 分解的求解 QR 分解的实际计算有很多方法,例如 Givens 旋转.Householder 变换,以及 Gram-Schmidt 正交化等等.每一种方法都有其优点和不足.上一篇博客介绍了 Givens 旋转和 Householder

矩阵分解---QR正交分解,LU分解

相关概念: 正交矩阵:若一个方阵其行与列皆为正交的单位向量,则该矩阵为正交矩阵,且该矩阵的转置和其逆相等.两个向量正交的意思是两个向量的内积为 0 正定矩阵:如果对于所有的非零实系数向量x ,都有 x'Ax>0,则称矩阵A 是正定的.正定矩阵的行列式必然大于 0, 所有特征值也必然 > 0.相对应的,半正定矩阵的行列式必然 ≥ 0. QR分解 矩阵的正交分解又称为QR分解,是将矩阵分解为一个正交矩阵Q和一个上三角矩阵的乘积的形式. 任意实数方阵A,都能被分解为A=QR.这里的Q为正交单位阵,即

纠删码简介

纠删码(Erasure Code)中的数学知识 背景 在数据存储领域,Hadoop采用三副本策略有效的解决了存储的容错问题,但是三副本策略中磁盘的利用效率比较低,仅有33%,而且副本带来的成本压力实在太高,后来适时的出现了纠删码的概念.当冗余级别为n+m时,将这些数据块分别存放在n+m个硬盘上,这样就能容忍m个(假设初始数据有n个)硬盘发生故障.当不超过m个硬盘发生故障时,只需任意选取n个正常的数据块就能计算得到所有的原始数据.纠删码以更低的存储成本备受青睐,目前Microsoft.Google

Python爬取CSDN博客文章

之前解析出问题,刚刚看到,这次仔细审查了 0 url :http://blog.csdn.net/youyou1543724847/article/details/52818339Redis一点基础的东西目录 1.基础底层数据结构 2.windows下环境搭建 3.java里连接redis数据库 4.关于认证 5.redis高级功能总结1.基础底层数据结构1.1.简单动态字符串SDS定义: ...47分钟前1 url :http://blog.csdn.net/youyou1543724847/

矩阵的QR分解(三种方法)

Gram-Schmidt正交化 假设原来的矩阵为[a,b],a,b为线性无关的二维向量,下面我们通过Gram-Schmidt正交化使得矩阵A为标准正交矩阵: 假设正交化后的矩阵为Q=[A,B],我们可以令A=a,那么我们的目的根据AB=I来求B,B可以表示为b向量与b向量在a上的投影的误差向量: $$B=b-Pb=b-\frac{A^Tb}{A^TA}A$$