数学期望、方差、标准差、协方差

数学期望
数学期望E（x）完全由随机变量X的概率分布所确定，若X服从某一分布，也称E（x）是这一分布的数学期望。
数学期望的定义是实验中每次可能的结果的概率乘以其结果的总和。
离散型随机量的数学期望
定义：离散型随机变量的所有可能取值?xixi?与其对应的概率?P(xi)?乘积的和为该离散型随机量的数学期望，记为?E(X)。
公式：
E(X)=∑i=1nxiPi
连续型随机量的数学期望
定义：假设连续型随机变量?XX的概率密度函数为?f(x)，如果积分∫+∞?∞xf(x)dx绝对收敛，则称这个积分的值为连续型随机量的数学期望，记为?E(X)。
公式：
E(X)=∫+∞?∞xf(x)dx
数学期望的性质
设C为常数：?E(C)==C
设C为常数：?E(CX)==CE(X)
加法：E(X+Y)==E(X)+E(Y)
当X和Y相互独立时，E(XY)=)=E(X)E(Y)?（主意，X和Y的相互独立性可以通过下面的“协方差”描述）
数学期望的意义
根据“大数定律”的描述，这个数字的意义是指随着重复次数接近无穷大时，数值的算术平均值几乎肯定收敛于数学期望值，也就是说数学期望值可以用于预测一个随机事件的平均预期情况。

方差
数学期望给出了随机变量的平均大小,现实生活中我们还经常关心随机变量的取值在均值周围的散布程度,而方差就是这样的一个数字特征。
方差有两个定义，一个是统计学的定义，一个是概率论的定义。
统计学方差
定义：在统计描述中，方差用来计算每一个变量（观察值）与总体均数之间的差异。为避免出现离均差总和为零，离均差平方和受样本含量的影响，统计学采用平均离均差平方和来描述变量的变异程度。
公式：

其中?σ2?为总体方差，X为变量，μ?为整体均值， N为总体例数。
样本方差
由于在实际环境里是没有办法穷举所有例子，所以只能找出部分的样本数据，基于这部分样本进行测算。那么可以把公式转换成：

其中?S2?为样本方差，?Xˉ是采集样本的均值，n?为样本的个数。
概率论方差
在概率分布中，设X是一个离散型随机变量
定义：在概率分布中，设X是一个离散型随机变量，若?

?存在，则称?

为X的方差，记为?D(X)?,?Var(X)?或?DX，其中?E(X)?是X的期望值，X是变量值，公式中的?E是期望值expected value的缩写，意为“变量值与其期望值之差的平方和”的期望值。
离散型随机变量方差计算公式：

连续性变量X，若其定义域为?(a,b)，概率密度函数为?f(x)，连续型随机变量X方差计算公式：

方差的意义
那么什么是分散程度呢？举个例子，比如说两个人在游乐场里玩射击游戏时打出了n发×××，这些×××有写离靶心近一些，有的远一些，但统计下来这两个人的得分可能相同，这时候如何区分这两个人的水平高低呢？比较直观的一个想法就是看谁的射击弹着点比较集中啦。

标准差（Standard Deviation）
? 定义：又叫均方差，是离均差平方的算术平均数的平方根，用σ?表示。标准差是”方差”的算术平方根。标准差能反映一个数据集的离散程度。平均数相同的两组数据，标准差未必相同。
? 公式：

样本标准差
类似样本方差，在实际情况中很难知道所有的情况只能靠抽样来估算实际的标准差。

意义
标准差和方差一样都是用于衡量样本的离散程度的量，那么为什么要有标准差呢？因为方差和样本的“量纲”不一样，换句话说不在一个层次。怎么理解这个层次呢，从公式看方差是样本与均值的差的平方和的平均，这里有一个平方运算，这是导致量纲不在同一个层次的原因。
比如两个集合?[0，8，12，20?和?[8，9，11，12]，两个集合的均值都是10，两个集合的方差分别是：69.33和3.33；计算两者的标准差分别是：8.3和1.8。数字越大代表越离散，从数值上看方差和标准差的量纲差别就很明显了，而标准差更好的在量纲上与样本集合保持同步。这就是“标准”的意义

协方差（Covariance）
前面的方差／标准差描述的是一维数据集合的离散程度，但世界上的现象普遍是多维度数据描述的。那么很自然就会想知道现象和数据的相关程度，以及各维度数据间的相关程度。
比如，一个产品卖的好不好可能有很多因素构成，比如产品质量、价格等。那么是否质量和价格之间有相关性呢？这个问题就可以用协方差来解决。
概率论协方差

协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
如果X 与Y 是统计独立的，那么二者之间的协方差就是0，则：

统计学样本协方差
对于包含两个随机变量关系的统计量，我们可以仿照方差的定义：
? 公式：

注：从协方差公式可以看出“方差”是协方差在?Y=XY=X?时的特殊情况。

相关系数 (Correlation）
协方差作为描述X和Y相关程度的量，在同一物理量纲之下有一定的作用，但同样的两个量采用不同的量纲使它们的协方差在数值上表现出很大的差异。为此引入如下概念：

相关关系

协方差矩阵

可以看出来协方差矩阵有几个特点：

1. 对角线上每个元素的值为方差
2. 协方差矩阵是对称矩阵
   怎么理解协方差矩阵的意义呢？假设我们在做一项数据分析，每一项数据包含若干指标，那么协方差矩阵的对角线上的每一项可以告诉我们收集数据的分散程度，其它项综合起来可以用前面的相关性方程

推荐博文：
http://www.singleye.net/2017/09/%E6%95%B0%E5%AD%A6%E6%9C%9F%E6%9C%9B%E6%96%B9%E5%B7%AE%E6%A0%87%E5%87%86%E5%B7%AE%E5%8D%8F%E6%96%B9%E5%B7%AE/
http://www.cnblogs.com/justcxtoworld/p/3459959.html
http://blog.csdn.net/u013555719/article/details/78523401

原文地址：http://blog.51cto.com/11374450/2088372