《Linear Algebra and Its Applications》-chaper6-正交性和最小二乘法- 格拉姆-施密特方法

同微分方程一样,线性代数也可以称得上是一门描述自然的语言,它在众多自然科学.经济学有着广阔的建模背景,这里笔者学识有限暂且不列举了,那么这片文章来简单的讨论一个问题——线性方程组. 首先从我们中学阶段就很熟系的二元一次方程组,我们采用换元(其实就是高斯消元)的方法.但是现在我们需要讨论更加一般的情况,对于线性方程,有如下形式: a1x1+a2x2+…anxn = b. 现在我们给出多个这样的方程构成方程组,我们是否有通用的解法呢? 在<Linear Algebra and Its Applica

1.实对称矩阵的正定 2.实对称矩阵的半正定 3. Sylvester’s law of inertia : 4.Sylvester’s law of inertia 的推论: 5. SVD 6.瑞利伤: Memo - Chapter 6 of Strang's Linear Algebra and Its Applications

1.正交向量.正交空间.正交补空间 2.号称是本书最重要的配图 3.向量的cosine距离,投影变换,最小二乘 4.正交基与Schmidt正交化与QR分解 5.函数空间,傅里叶级数,Hilbert空间 Memo - Chapter 3 of Strang's Linear Algebra and Its Applications

可以说第一章<Linear Algebra and Its Applications>着重介绍了线性代数中几个核心概念(向量.矩阵和线性方程组)之间的关系(方程的同解性),那么下面这本书开始分别介绍这几个核心概念,比如从这篇文章开始,会简单的介绍矩阵方面的内容. 首先对于我们定义的计算工具(矩阵),我们有必要研究其运算规律,这个方法在定义很多新的运算符号的时候都是适用的.矩阵的加减法这里就不用累述的,非常好理解,这篇文中我们主要来讨论矩阵的乘法运算的定义过程. 其实不管是从离散的角度还是在线性

这一章节我们主要讨论定义在R^n空间上的向量之间的关系,而这个关系概括来讲其实就是正交,然后引入正交投影.最佳逼近定理等,这些概念将为我们在求无解的线性方程组Ax=b的最优近似解打下基石. 正交性: 先举个最简单的例子,在平面中,两个二维向量的点乘如果为0,那么我们可判定两个向量互相垂直,那么实际上这两个向量就是R^2向量空间上的一组正交向量. 下面推广到R^n向量空间上,给出正交性的定义: 正交集: 给定向量集合S,当S中任意两个元素都相互正交,我们称S是一个正交集. 基的一个概念其实表征一个

线性变换: 先前我们曾经提到过,在讨论矩阵方程Ax = b和向量方程x1a1+x2a2+x3a3+…+xnan = b同解性的时候,我们曾经说过这这将呼应了矩阵乘法运算的规则.但是在这里我们首先介绍一个过渡的概念——线性变换. 考察矩阵方程Ax = b,A是n x m矩阵,x是R^n向量,由先前我们所定义的规则,b必然是R^m向量.我们抽象化这个过程,从集合论或者是函数的角度去看待这样一个明显有着映射的过程,我们将向量x视为原像,向量b视为像,而乘以矩阵A作为一种对应关系. 为什么要建立这样一个

矩阵方程: 先前我们介绍过向量的线性组合,即x1a1+x2a2+xnan的形式,我们能够用含有[]的式子将其表达出来呢?(寻求这种表达方式是为了寻求运算的便利与统一),我们给出如下的定义来给出向量线性组合的另外一种形式. 可以看到,等式的右边,即向量组合的形式,我们利用向量的代数性质将其进行求和运算,我们最终将会得到一个向量b,即这个等式能够写成Ax=b的形式,而容易看到,A写成[a1,a2,…an]的形式,ai同时也是向量,即代表A是一个m x n的矩阵(m代表向量的分量数,即R^m向量),b

两个定理非常的简单显然,似乎是在证明矩阵代数中的基本运算律.但是它为后面用“线性变换”理解矩阵-向量积Ax奠定了理论基础. 结合之前我们讨论过的矩阵和向量的积Ax的性质,下面我们就可以引入线性变换了. 由于矩阵A和向量x的乘积的性质与线性变换的定义有着密切的联系,我们能够进一步的探索矩阵A在线性变换中扮演着怎样的角色. 有了线性变换和标准矩阵的概念,我们就有了强有力的工具用来表示实际问题中一系列诸如拉伸.伸缩的线性变换了.

在线性代数中一个非常重要的概念就是向量空间R^n,这一章节将主要讨论向量空间的一系列性质. 一个向量空间是一些向量元素构成的非空集合V,需要满足如下公理: 向量空间V的子空间H需要满足如下三个条件: 两个定理均在阐述如何构成子空间,其证明也只需要简单的证明构造出的子空间满足子空间H需要满足的三个条件即可.