一、接着上一节说正定矩阵
所谓正定，就是$x^TAx > 0$（$except \space for \space x = 0$）成立，我们通常也可以通过特征值，主元，行列式来判断
虽然我们知道了什么是正定矩阵，如何判断正定矩阵，那么正定矩阵是从何而来的呢？主要来自：最小二乘法
实际上，大量的物理问题需要用长方形矩阵来描述，我们知道最小二乘法的关键是矩阵：$A^TA$，我们希望证明这是正定矩阵
如果我们知道矩阵$A, B$都是正定的，那么矩阵$A+B$是否是正定的呢？我们只需要证明：$x^T(A+B)x > 0$，我们知道：
$x^TAx > 0$
$x^TBx > 0$
两式相加，即可证明$x^T(A+B)x > 0$，因此矩阵$A+B$正定
下面我们来证明最小二乘法的关键矩阵是否正定：假设矩阵$A_{m*n}$（不是对称矩阵，所以不是正定的）但我们知道：$A^TA$是方阵，并且对称，我们只需要证明下面的式子恒大于0：
$x^T(A^TA)x > 0$
证明：$x^T(A^TA)x = (Ax)^T(Ax) = |Ax|^2 >= 0$，矩阵乘以向量得到向量，向量的平方相当于求向量的模长，只要$x$不等于0，那么上面的式子恒大于0
二、相似矩阵
假设矩阵为：$A_{n*n}, B_{n*n}$，不要再把他当做对称矩阵，就是普通的方阵，$A, B$相似的意思是：存在某个可逆矩阵$M^{-1}$，使得下式成立
$B = M^{-1}AM$，可能你会觉得该式子来得比较突然，这样组合有什么意义
其实上面的式子，你应该不陌生，还记得下面的公式吧，矩阵对角化：
$A = S\Lambda S^{-1}, \Lambda = S^{-1}AS$
这说明$\Lambda$和$A$相似，$S$就是上面的$M$，但是如果$M$不取$S$，用其他矩阵的话，$M^{-1}AM$的结果就不是对角化矩阵$\Lambda$，而是新的相似于$A$的矩阵
其实改变$M$，只要可逆，就会得到很多与$A$相似的矩阵，他们和$\Lambda$一样与$A$相似，这些与$A$相似的矩阵应该归为一类，只是$\Lambda$是这些相似矩阵中最为简洁的一个：因为其为对角化矩阵
我们为什么会对相似矩阵感兴趣呢？因为他们有共同的性质-他们的特征值都相同，我们来举例
$A = \left[\begin{array}{ll}{2} & {1} \\ {1} & {2}\end{array}\right]$，其特征值为$3, 1$
其对角化矩阵为：$\Lambda = \left[\begin{array}{ll}{3} & {0} \\ {0} & {1}\end{array}\right]$，其特征值为$3, 1$
我们再随便取一个$M = \left[\begin{array}{ll}{1} & {4} \\ {0} & {1}\end{array}\right]$
$M$的逆矩阵为：$M^{-1} = \left[\begin{array}{ll}{1} & {-4} \\ {0} & {1}\end{array}\right]$
$B = M^{-1}AM = \left[\begin{array}{ll}{1} & {-4} \\ {0} & {1}\end{array}\right]\left[\begin{array}{ll}{2} & {1} \\ {1} & {2}\end{array}\right]\left[\begin{array}{ll}{1} & {4} \\ {0} & {1}\end{array}\right]=\left[\begin{array}{ll}{-2} & {-15} \\ {1} & {6}\end{array}\right]$，其特征值为$3, 1$
再取其他$M$，会得到新的矩阵，和$A$相似，这些相似矩阵都有相同的特征值$3, 1$
那么为什么相似矩阵会有相同的特征值呢？我们来证明一下
首先，$Ax = \lambda x$，我们知道：$B = M^{-1}AM$，我们把$MM^{-1}$添加到$Ax$中间：
$AMM^{-1}x = \lambda x$
等式两侧同乘$M^{-1}$：$M^{-1}AMM^{-1}x = M^{-1} \lambda x$，$B$出现啦
$BM^{-1}x = \lambda M^{-1}x$，我们把$M^{-1}x$当作新的向量，并命名为$z$，则
$Bz = \lambda z$，所以$\lambda$也是$B$的特征值，同时我们知道：$M^{-1}$乘以$A$的特征向量是$B$的特征向量
注意：相似矩阵的特征值相同，但特征向量不同，比如一个是$x$，一个是$z$，即$M^{-1}x$，特征向量不会相同的，如果特征值和特征向量都相同，那么不叫相似矩阵了，他们就是相同的矩阵
三、特殊情况
上面二中所讲的例子，正好是两个特征值不相等（一个是3，一个是1）的情况，也就是原矩阵$n$个特征向量线性无关，可以对角化。
但是我们不能排除如果特征值相等（也就是特征向量存在相关性），特征值相等的矩阵求相似矩阵，还可以分为两种情况，我们还是以$2*2$矩阵为例：
1）相似矩阵只有原矩阵一个（孤零零的一个人），也可以说不存在相似矩阵，因为只有自己一个，如：
$A = \left[\begin{array}{ll}{4} & {0} \\ {0} & {4}\end{array}\right]$，其特征值为$4, 4$
我们发现：$B = M^{-1}\left[\begin{array}{ll}{4} & {0} \\ {0} & {4}\end{array}\right]M=M^{-1}4IM=4I=A$
无论$M$取何矩阵，最后与$A$相似的矩阵只有原矩阵自己一个
2）另外一种特征值相同，不可以对角化，如：
$\left[\begin{array}{ll}{4} & {1\space or \space something \space other} \\ {0} & {4}\end{array}\right]$
我们发现上面的矩阵特征值相同，均为$4$，该家族中最好的矩阵是右上角那个值是1,，而这种形式被称为若尔当标准型(Jordan Form)，这是该家族中最简洁的，最接近对角阵的一个。也就是说虽然原矩阵不可以对角化，但是可以找到最接近对角化矩阵的一个
我们来看看这个家族（相似矩阵）的几个成员：
$\left[\begin{array}{ll}{4} & {1} \\ {0} & {4}\end{array}\right],\left[\begin{array}{ll}{5} & {1} \\ {-1} & {3}\end{array}\right],\left[\begin{array}{ll}{4} & {0} \\ {17} & {4}\end{array}\right],......$
是不是第一个最接近对角化矩阵呢
这些矩阵都是相似的，只要找到合适的$M$，都可以证明一个矩阵相似于另一个
但要注意：一般矩阵很难化成若尔当标准型，因为若尔当标准型依赖于特征值严格相等
3）下面还有一点没看懂，有空再补充
原文地址：https://www.cnblogs.com/always-fight/p/12339616.html