第二章向量空间

1.向量空间和子空间

:包含所有n维的列向量（之所以使用R：列向量的元素都是实数）

在所有向量空间内都支持的操作：

实数向量空间：

8个规则：

用的较多的还是向量空间和子空间的定义，即乘法和加法的结果仍在集合内。子空间也是向量空间

相反的方面，若一个集合不能构成向量空间，则这个集合的元素相加或相乘的结果可能不在这个集合内。

子空间：

零向量是任何向量空间的子空间。

最小的子空间仅由一个向量构成：0向量。称作0维空间。向量空间不允许是空集。

最大的子空间就是原始的向量空间本身。

3维空间的子空间：

子空间可以缩小维度（由上图），但实质都是从原始空间点集抽出的一个子集和，集合中的元素都来自原始集合。

列向量空间：

注意向量空间的原子是‘列‘（概念上的列，列实际可以是各种形式，如一个函数，一个矩阵）。

方程解与列向量空间的联系：

对于

Ax = b can be solved if and only if b lies in the plane that is spanned（标定） by the two column vectors .这个plane就是A的列向量空间，同时也是的子空间（过0点）。这个plane是的子空间的证明 p89

C（A）：A的列向量空间，是的子空间，证明p89。注意是我们讨论各种问题所在的全集，就类似与1属于自然数n这种关系。

N（A）：A的nullspace，是的子空间,证明：

x+x‘在nullspace内，cx也在nullspace内，所以x的全集是的子空间

注意一开始用举线性组合的例子，A里只有两列(这种情况就高斯消元法来讲一定是奇异的情况，pivots个数不够！)，这时候列向量空间是个面，A中也可以有三列的------》then?

Nullspace:

注意：之前说的向量空间都是由b直接构成，nullspace似乎不是这样，它是由构成0向量空间的线性组合的系数构成的，有点区别，如果A=I的话C(A)，N(A)两者是一样的，还有如果A的列数小于行数的话似乎看b更直观一些。

独立，或者说成线性无关。

了解C(A)和N(A)的目的：

问题集合：

[??]给出一个或者几个元素，求包含这几个元素的最小向量空间 problem set2.1 14
的子空间由四种类型：本身，面，线，零。
[??]B的列向量空间已经和A的不同了，列向量空间和解是什么关系呢？C的列向量空间仍和A一致。

列向量空间和nullspace的关系，进一步和complete solution的关系，见一下节，在解方程的时候做基本变换虽然改变了列向量空间，但是解是没有变的。

4.a能由两个向量唯一确定，但是不能由三个向量唯一确定

.

c和d可以确定任意多个向量如e和e‘,e再和b确定a.

除非b在A的向量空间内，由上面第二图可知，添加了一个仍在A的向量空间内的d仍是可解的。
可逆等同于非奇异，非奇异等同于矩阵列向量相互独立（线性无关），则可逆矩阵的线性空间是
2.解Ax=0和Ax=b

对于可逆矩阵来说，Ax=0的解只有x=0,Ax=b对于任意b都有解。当nullspace里出现了非零解或者A的列向量空间小于是我们这节要处理的情况。

?

梯队形式（echelon form）：

因为我们使用消元法获得U，将之按照相反的过程还原，自然可以得到原来的矩阵A，因此：

L是方阵，行数等于A和U的行数

PA=LU是一般形式：

获取R: 1.将U的pivots化成1 2.从下往上将pivots正上方的元素化成0，如下：

* matlab里获取R R=rref(A)，对于可逆矩阵，R=I （rref:reduced row echelon form）

上章中是PA=LDU，Gaus-Jordan方法中[A I]->[U L逆]->[I A逆]，涉及A->U,pivots上方元素化0等，求R的方法虽然和这两个方法神似，但是并不是一个方法，问题的出发点并不相同。

R still contains an identity matrix.in the pivot rows and pivot columns.

Rx=0 Ux=0 Ax=0 具有相同的解，虽然在变换的时候方程式改变了，但是方程解的交集没有改变。

pivot variables: variables(in vector x) correspond to columns with pivots

Free variables: variables(in vector x) correspond to columns without pivots

从下面可以看出，在对x的表示中pivot varialbes全部由free variables表示了。而free variables之所以叫free variables，是因为这些变量是可以任意取值的。

?

运用R求Ax=0:

Special solutions for Ax=0:就是③中右侧的每一列是一个special solution.

A的nullspace可以看成special solutions的combination的集合

在上例中，A的nullspace是 2维的向量空间。

注意：仔细观察，special solutions的个数等于free variables的个数

发现没，special solutions是相互独立的

对于A（m by n,n>m）来说，至少有n-m个free variables.

一个非常重要的结论：

从解Rx=0的过程可知，每多出一个free variables,就会多出一个special solution,对于A（m by n,n>m）来说，至少有n-m个free variables，这也是得出2C的原因。又因为free variables可以任意取值，所以解的个数是无限个。

?

Solving Ax = b, U x = c, and Rx = d

和Ax=0中不同的一点：即使n>m（more unkonwns than equations）,也不一定有解。主要是方程右边的b!=0造成了方程的平行（b=0的时候方程重合）。

?

讲解这个问题的顺序：
先找到一个使方程有解的b,主要使用了b应该在列向量空间的方法。
使用与上节相同的方法找到方程的解（利用free variables和pivot variables）
得出结论。
求Ax=b:

结论：

Every solution to Ax = b is the sum of one particular solution and a solution to Ax = 0:

关于，可以将b看成0+b,按照上节方法b=0的部分的解为，b=b的部分的解为。。（由现象到结论，这是一种推广）

当b=0时也有特解，只不过特解是0.

将Ax=b化成Rx=d之后就可以直接得出结论，注意这个方法，连同上一节的直接获取结果的方法(就是直接看R就给出结果的方法，R中的列直接对应到special solutions)：

D中值对应到pivot variable对应位置的特解，特解中free variable对应位置为0.free variable columns对应到special solution里。

Rank of the matrix: 矩阵的秩

?

You see how the rank r is crucial. It counts the pivot rows in the "row space" and the

pivot columns in the column space. There are n ? r special solutions in the nullspace.

There are m ? r solvability conditions on b or c or d（之所以这么说，是因为剩下的m-r行决定方程是否有解）.

?

?

问题集合：

1.

方程无解的时候仍可以有nullspace,此时有但是无.

2.

ans:

3.

也就是说pivot columns所在的列是线性无关的列

4.[??]

小于A好证（AB的结果是A的线性组合，逃不出A所在的‘plane‘），小于B呢:行秩等于列秩，AB中每一行都是B的所有行的一个线性组合，其行秩必然小于B

5.注意若AB=I,在AB不为方阵的时候也可以成立，定义左逆右逆的公式中都是指的方阵,不是方阵的情况下左逆不等于右逆（维数都不相同），逆的定义中是同时满足左逆右逆才叫逆。

6.

7.[!!]

8. A system Ax=b has at most one particular solution:错。它的任意解都可以认做是一个特解。只要Xp+Xn=X成立就可以。

9.解的情况大概也就这么多了

（a）rows>rank(A),columns=rank(A) (b).rows=rank(A),columns>rows (c)rows>rank(A)，columns>rank(A) (d) invertible

10.

用上面的结论很容易就可以做出来：（a）秩为2且有解即是（b）秩小于列数，无解或无限解。

?

?

11.

方程组相交成点，方程组中没有未知量，相交成线，有一个未知量，因此秩是3.

（b）

12. 处于后列的pivot variable是无法使用处于前列的free variable来构成自己的。

13.why does no 3 by 3 matrix have a nullspace that equals its column space

可逆时：nullspace只有一个元素，column space为

秩为2时：nullspace是线，column space是面

秩为1时：nullspace是面，column space是线

?

3.线性无关（独立），基（basis）和维度

linear independence和linear dependence:

从列向量的角度来看线性相关：至少有一个维度无法用列向量的combination表示。或者说列向量空间比（max(m,n)）至少少一维。

从解方程的角度来看线性相关：方程无解或者无限解，方程图形无交点或者至少相交于线。

A random choice of three vectors,without any special accident,should produce linear independence.也是，随机的三个向量落到同一平面的概率是很小的。

考虑消元法产生的上三角矩阵，解一定是0.这个角度比较容易理解。

Pivots所在的行和列是相互独立的

事实上即使没有线代的知识我们也有类似的经验：方程组中有n个未知量m个等式，m<n，最终肯定得不到唯一解。

?

Span a space:

没有说对每一个v,c的序列都是唯一的

Spaning a space的例子：

Spanning involves the column space and independence involves the nullspace.

?

空间V的基（basis）

这意味着：

1.向量空间内每一个向量都是基的一个组合

2.

但是基不是唯一的，一个向量空间可以有无限个基

?

选择基的方法：

注意，是pivots所在的未变换之前的列，变换后的列向量空间可能会发生变化，虽然这不会影响对应列的线性无关性。

?

在考虑列向量空间的基的问题时是不关注矩阵的形状的（形状对线性相关性没有影响）。但是如果列向量空间是，那这个矩阵一定是方阵且可逆。

向量空间的维度：

0矩阵的列向量空间仅包含0向量。依照惯例，它的基是空集，维度为0；

一个向量空间有无限个基，但是每个基由相同个数的向量组成。

后一句应该是less than吧（下面这种说法也说明应该是less than）

基是最大的线性无关集，也是最小的spanning set.

注意：向量空间（子空间）的维度和向量的维度不是一回事。4维的向量空间可以由6维向量构成。6维向量空间内可以有4维的子空间，当然其向量维数至少大于6.

?

问题集合：

1.基的定义: x的基，再者从线性相关性导出，考虑问题请回到出发点。

2.同维向量v1,v2,v3，v4，其中v1,v2,v3线性无关，是一个三维向量空间的基，因为三维向量空间内任意4个向量一定线性相关，所以v1~v4线性相关。

以上逻辑肯定不对的，首先要确定v4在上面的向量空间内才可以，否则的话线性无关。。。如果v是三维向量的话上面的话是正确的，因为隐含了形成的向量空间为，v4一定在内。

?

4.

秩为1，有三个free variable,所以解是由三个special solution的组合。

5.

6.

rref(A)=左图,所以前两列是相互独立的，主要是前两列所在的面和U的前两列所在的面不同，这和秩什么的都没有关系，就是确定的空间不同。

c和d在同一个面内

?

7.虽然行秩等于列秩，但是行向量空间和列向量空间却不一定要有什么联系。

8.

9.

[??]10.

pivot cloumns是线性无关的，pivot rows也是线性无关的，主要是pivot rows是线性无关的，这个该怎么理解

?

11.找出U的行向量空间所在的基：它的基肯定都在两个行向量确定的平面上。因为row1和row2是相互独立的，所以row1，row2是一个基，row1,row2+row1是一个基

12.special solutions是相互独立的

这个plane指的就是nullspace,最现成的基就是special solutions

第二问可以把xy面加到方程组里：0x+0y+z=0;

第三问就是所有平行于面的法向量的向量构成的向量空间，基应该就是法向量

?

13.

就比如的二维子空间，可以有好多个，而且每个都对应一个基，并且不同的子空间对应的基是不同的，而[v1 v2 v3 v4]的二维基只有6个，所以无论如何不能对应到这么多子空间上。

?

[??]14.

15.

又做一遍，有多少free variable就有多少special solution,special solution是独立的。

?

16.

17.

可以认为F3中的向量为（Acosx,Bcos2x,Ccos3x）,现在因x=0,向量变成（A，B,C），且满足A+B+C=0；令A,B,C分别为x,y,z,则(A,B，C)形成的向量空间就是[1 1 1]的nullspace,要求的就是其special solutions.

?

18.

ans:

注意和17.的区别：17.使用一个函数式说明其向量空间，18.用几个函数式（向量）说明其向量空间。

?

19.

ans:

?