参考：

如何通俗易懂地解释「协方差」与「相关系数」的概念？（非常通俗易懂）

浅谈协方差矩阵

方差（variance）

集合中各个数据与平均数之差的平方的平均数。在概率论与数理统计中，方差（Variance）用来度量随机变量和其数学期望（即均值）之间的偏离程度。  方差越大，数据的离散程度就越大。

协方差（covariance）

协方差表示的是两个变量总体误差的方差，这与只表示一个变量误差的方差不同。如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。  如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。如果X与Y是统计独立的，那么二者之间的协方差就是0，反之则不成立。
表达式：期望值分别为E(X) = μ 与 E(Y) = ν 的两个实数随机变量X与Y之间的协方差定义为：COV(X，Y)=E[(X-E(X))(Y-E(Y))]

协方差矩阵 （covariance matrix）

标准差和方差一般是描述一维数据的，描述多维数据就要用到协方差，协方差多了放在一起就是协方差矩阵。协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的协方差。是从标量随机变量（也就是单维或单值随机变量）到高维度随机向量的自然推广。

总结

理解协方差矩阵的关键就在于牢记它的计算是不同维度之间的协方差，而不是不同样本之间。拿到一个样本矩阵，最先要明确的就是一行是一个样本还是一个维度，心中明确整个计算过程就会顺流而下，这么一来就不会迷茫了。