机器学习（三）线性代数

Linear Algebra

线性代数基础

（以下概念 大学期间线性代数课没有讲清楚，在这里梳理一下

向量空间、线性空间vector space：n维向量的全体所构成的集合叫做n维向量空间。

基，基底 basis: 向量空间V中任一向量都能由向量组a1,a2….an线性表示，那么该向量组为V的一个基。若向量组中每个向量都两两正交（orthogonal）,则被称为正交基，若每个向量的模都为1，则成为标准正交基（Orthonormal basis）

同构：维数相等的线性空间同构。

同构即为两线性空间存在一一对应的关系

迹(trace): 对角线元素之和

Vec(x) 操作：将矩阵转换为元素。先列后行

公式： 

内积：将两向量映射到一个标量。

性质： 共轭对称，线性，非负性。

投影(projection): 线性变换p 使得 

正交性： 任选向量 x,y 那么 px和 y-py 是正交的 。

正交投影 orthogonal

线性独立：几何理解 不平行。

行列式：determinant

特征值：等式

λ为A的特征值，x为对应于λ的特征向量

矩阵逆：线性代数（同济版）P124页定理7 可得‘

其中，U为特征向量组成的，为对角线为特征值的对角阵。

梯度：

定义：

ξ为某方向