《Linear Algebra and Its Applications》-chaper3-线性方程组- 线性变换

同微分方程一样,线性代数也可以称得上是一门描述自然的语言,它在众多自然科学.经济学有着广阔的建模背景,这里笔者学识有限暂且不列举了,那么这片文章来简单的讨论一个问题——线性方程组. 首先从我们中学阶段就很熟系的二元一次方程组,我们采用换元(其实就是高斯消元)的方法.但是现在我们需要讨论更加一般的情况,对于线性方程,有如下形式: a1x1+a2x2+…anxn = b. 现在我们给出多个这样的方程构成方程组,我们是否有通用的解法呢? 在<Linear Algebra and Its Applica

可以说第一章<Linear Algebra and Its Applications>着重介绍了线性代数中几个核心概念(向量.矩阵和线性方程组)之间的关系(方程的同解性),那么下面这本书开始分别介绍这几个核心概念,比如从这篇文章开始,会简单的介绍矩阵方面的内容. 首先对于我们定义的计算工具(矩阵),我们有必要研究其运算规律,这个方法在定义很多新的运算符号的时候都是适用的.矩阵的加减法这里就不用累述的,非常好理解,这篇文中我们主要来讨论矩阵的乘法运算的定义过程. 其实不管是从离散的角度还是在线性

1.实对称矩阵的正定 2.实对称矩阵的半正定 3. Sylvester’s law of inertia : 4.Sylvester’s law of inertia 的推论: 5. SVD 6.瑞利伤: Memo - Chapter 6 of Strang's Linear Algebra and Its Applications

1.正交向量.正交空间.正交补空间 2.号称是本书最重要的配图 3.向量的cosine距离,投影变换,最小二乘 4.正交基与Schmidt正交化与QR分解 5.函数空间,傅里叶级数,Hilbert空间 Memo - Chapter 3 of Strang's Linear Algebra and Its Applications

线性变换: 先前我们曾经提到过,在讨论矩阵方程Ax = b和向量方程x1a1+x2a2+x3a3+…+xnan = b同解性的时候,我们曾经说过这这将呼应了矩阵乘法运算的规则.但是在这里我们首先介绍一个过渡的概念——线性变换. 考察矩阵方程Ax = b,A是n x m矩阵,x是R^n向量,由先前我们所定义的规则,b必然是R^m向量.我们抽象化这个过程,从集合论或者是函数的角度去看待这样一个明显有着映射的过程,我们将向量x视为原像,向量b视为像,而乘以矩阵A作为一种对应关系. 为什么要建立这样一个

这一章节我们主要讨论定义在R^n空间上的向量之间的关系,而这个关系概括来讲其实就是正交,然后引入正交投影.最佳逼近定理等,这些概念将为我们在求无解的线性方程组Ax=b的最优近似解打下基石. 正交性: 先举个最简单的例子,在平面中,两个二维向量的点乘如果为0,那么我们可判定两个向量互相垂直,那么实际上这两个向量就是R^2向量空间上的一组正交向量. 下面推广到R^n向量空间上,给出正交性的定义: 正交集: 给定向量集合S,当S中任意两个元素都相互正交,我们称S是一个正交集. 基的一个概念其实表征一个

矩阵方程: 先前我们介绍过向量的线性组合,即x1a1+x2a2+xnan的形式,我们能够用含有[]的式子将其表达出来呢?(寻求这种表达方式是为了寻求运算的便利与统一),我们给出如下的定义来给出向量线性组合的另外一种形式. 可以看到,等式的右边,即向量组合的形式,我们利用向量的代数性质将其进行求和运算,我们最终将会得到一个向量b,即这个等式能够写成Ax=b的形式,而容易看到,A写成[a1,a2,…an]的形式,ai同时也是向量,即代表A是一个m x n的矩阵(m代表向量的分量数,即R^m向量),b

这篇文章主要简单的记录所谓的“线性相关性”. 线性相关性的对象是向量R^n,对于向量方程,如果说x1v1 + x2v2 + …+xmvm = 0(其中xi是常数,vi是向量)有且仅有一个平凡解,那么我们称m个向量组成的集合{v1,v2,v3…vm}是一个线性相关集,反之,则称向量集合{v1,v2,v3,…vm}是线性无关的. 这个定义似乎显得有些唐突,我们反过来理解所谓的“线性相关”,即在一组非零解的情况下,我们将某个一个系数xi不为0的向量移到等式的另一侧,从这种形式来看,我们得到了向量vi关

最小二乘问题: 结合之前给出向量空间中的正交.子空间W.正交投影.正交分解定理.最佳逼近原理,这里就可以比较圆满的解决最小二乘问题了. 首先我们得说明一下问题本身,就是在生产实践过程中,对于巨型线性方程组Ax=b,可能是无解的,但是我们就是迫切的需要一个解,满足这个解是方程的最近似解. 下面我们综合之前给出了一系列概念.定理,来解决这个问题. 首先我们需要给出最近似解的定义: 我们需要站在新的角度来解读线性方程组Ax=b,这样能够帮助我们更好的解决问题. 上文已经给出最小二乘问题最一般化的解法,