具体解释协方差与协方差矩阵

协方差的定义

对于一般的分布,直接代入E(X)之类的就能够计算出来了,但真给你一个详细数值的分布,要计算协方差矩阵,依据这个公式来计算,还真不easy反应过来。网上值得參考的资料也不多,这里用一个样例说明协方差矩阵是怎么计算出来的吧。

记住,X、Y是一个列向量,它表示了每种情况下每一个样本可能出现的数。比方给定

则X表示x轴可能出现的数,Y表示y轴可能出现的。注意这里是关键,给定了4个样本,每一个样本都是二维的,所以仅仅可能有X和Y两种维度。所以

用中文来描写叙述,就是:

协方差(i,j)=(第i列的全部元素-第i列的均值)*(第j列的全部元素-第j列的均值)

这里仅仅有X,Y两列,所以得到的协方差矩阵是2x2的矩阵,以下分别求出每个元素:

所以,依照定义,给定的4个二维样本的协方差矩阵为:

用matlab计算这个样例

z=[1,2;3,6;4,2;5,2]

cov(z)

ans =

2.9167   -0.3333

-0.3333    4.0000

能够看出,matlab计算协方差过程中还将元素统一缩小了3倍。所以,协方差的matlab计算公式为:

    协方差(i,j)=(第i列全部元素-第i列均值)*(第j列全部元素-第j列均值)/(样本数-1

以下在给出一个4维3样本的实例,注意4维样本与符号X,Y就没有关系了,X,Y表示两维的,4维就直接套用计算公式,不用X,Y那么具有迷惑性的表达了。

(3)与matlab计算验证

Z=[1 2 3 4;3 4 1 2;2 3 1 4]

cov(Z)

ans =

1.0000    1.0000   -1.0000   -1.0000

1.0000    1.0000   -1.0000   -1.0000

-1.0000   -1.0000    1.3333    0.6667

-1.0000   -1.0000    0.6667    1.3333

可知该计算方法是正确的。我们还能够看出,协方差矩阵都是方阵,它的维度与样本维度有关(相等)。參考2中还给出了计算协方差矩阵的源码,很简洁易懂,在此感谢一下!

參考:

[1] http://en.wikipedia.org/wiki/Covariance_matrix

[2] http://www.cnblogs.com/cvlabs/archive/2010/05/08/1730319.html

时间: 2024-12-29 06:46:20

具体解释协方差与协方差矩阵的相关文章

转载:协方差与协方差矩阵

本文讲的主要内容是协方差以及协方差矩阵. 在统计学中,我们见过的最基本的三个概念是均值,方差,标准差.假定给定了n个样本的集合,那么公式如下 均值是描述样本的平均值,标准差描述的是样本集合的各个点到均值距离的平均,体现了样本的散步程度.而方 差仅仅是标准差的平方. 实际上,上述的方差是针对一维数据的情况进行统计描述.考虑这样一种情况:假设我们需要对两个集合的数据 进行分析,比如来看一个男孩子的猥琐程度与他受女孩子欢迎程度之间是否有联系.那么协方差就是用来度量这 两个随机变量关系的统计量.先把方差

协方差与协方差矩阵

本文讲的主要内容是协方差以及协方差矩阵. 在统计学中,我们见过的最基本的三个概念是均值,方差,标准差.假定给定了n个样本的集合,那么公式如下 均值是描述样本的平均值,标准差描述的是样本集合的各个点到均值距离的平均,体现了样本的散步程度.而方 差仅仅是标准差的平方. 实际上,上述的方差是针对一维数据的情况进行统计描述.考虑这样一种情况:假设我们需要对两个集合的数据 进行分析,比如来看一个男孩子的猥琐程度与他受女孩子欢迎程度之间是否有联系.那么协方差就是用来度量这 两个随机变量关系的统计量.先把方差

方差variance, 协方差covariance, 协方差矩阵covariance matrix

参考: 如何通俗易懂地解释「协方差」与「相关系数」的概念?(非常通俗易懂) 浅谈协方差矩阵 方差(variance) 集合中各个数据与平均数之差的平方的平均数.在概率论与数理统计中,方差(Variance)用来度量随机变量和其数学期望(即均值)之间的偏离程度.  方差越大,数据的离散程度就越大. 协方差(covariance) 协方差表示的是两个变量总体误差的方差,这与只表示一个变量误差的方差不同.如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值,另外一个也大于自身的期望值,那么

协方差及协方差矩阵

一.统计学的基本概念 统计学里最基本的概念就是样本的均值.方差.标准差.首先,我们给定一个含有n个样本的集合,下面给出这些概念的公式描述: 均值: 标准差: 方差: 均值描述的是样本集合的中间点,它告诉我们的信息是有限的,而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均. 以这两个集合为例,[0, 8, 12, 20]和[8, 9, 11, 12],两个集合的均值都是10,但显然两个集合的差别是很大的,计算两者的标准差,前者是8.3后者是1.8,显然后者较为集中,故其标准差小一些,标

方差、协方差、协方差矩阵的概念及意义

期望 离散型随机变量的一切可能的取值xi与对应的概率Pi(=xi)之积的和称为该离散型随机变量的数学期望(设级数绝对收敛),记为 E(x).随机变量最基本的数学特征之一.它反映随机变量平均取值的大小.又称期望或均值. 若随机变量X的分布函数F(x)可表示成一个非负可积函数f(x)的积分,则称X为连续性随机变量,f(x)称为X的概率密度函数(分布密度函数). 方差 方差是各个数据与平均数之差的平方的平均数.在概率论和数理统计中,方差(英文Variance)用来度量随机变量和其数学期望(即均值)之间

图像处理之基础---详解协方差与协方差矩阵

协方差的定义 对于一般的分布,直接代入E(X)之类的就可以计算出来了,但真给你一个具体数值的分布,要计算协方差矩阵,根据这个公式来计算,还真不容易反应过来.网上值得参考的资料也不多,这里用一个例子说明协方差矩阵是怎么计算出来的吧. 记住,X.Y是一个列向量,它表示了每种情况下每个样本可能出现的数.比如给定 则X表示x轴可能出现的数,Y表示y轴可能出现的.注意这里是关键,给定了4个样本,每个样本都是二维的,所以只可能有X和Y两种维度.所以 用中文来描述,就是: 协方差(i,j)=(第i列的所有元素

协方差、协方差矩阵定义与计算

转自:http://blog.csdn.net/xw20084898/article/details/42077141 协方差的意义和计算公式 学过概率统计的孩子都知道,统计里最基本的概念就是样本的均值,方差,或者再加个标准差.首先我们给你一个含有n个样本的集合,依次给出这些概念的公式描述,这些高中学过数学的孩子都应该知道吧,一带而过. 均值: 标准差: 方差: 很显然,均值描述的是样本集合的中间点,它告诉我们的信息是很有限的, 而标准差给我们描述的则是样本集合的各个样本点到均值的距离之平均.以

均值、方差、协方差、协方差矩阵、特征值、特征向量

均值:描述的是样本集合的中间点. 方差:描述的是样本集合的各个样本点到均值的距离之平均,一般是用来描述一维数据的. 协方差: 是一种用来度量两个随机变量关系的统计量. 只能处理二维问题. 计算协方差需要计算均值. 如下式: 方差与协方差的关系 协方差矩阵: 协方差矩阵能处理多维问题: 协方差矩阵是一个对称的矩阵,而且对角线是各个维度上的方差. 协方差矩阵计算的是不同维度之间的协方差,而不是不同样本之间的. 样本矩阵中若每行是一个样本,则每列为一个维度,所以计算协方差时要按列计算均值. 如果数据是

最大方差和最小协方差解释(线性代数看PCA)

转自: 最大方差和最小协方差解释(线性代数看PCA) PCA降维                         --最大方差和最小协方差联合解释(线性代数看PCA)    注:根据网上资料整理而得,欢迎讨论 机器学习算法的复杂度和数据的维数有着密切关系,甚至与维数呈指数级关联.因此我们必须对数据进行降维. 降维当然意味着信息的丢失,不过鉴于实际数据本身常常存在的相关性,我们可以想办法在降维的同时将信息的损失尽量降低. PCA是一种具有严格数学基础并且已被广泛采用的降维方法. 协方差矩阵及优化目