@copyright 转载请注明出处 http://www.cnblogs.com/chxer/
涉及到概率的一个重要的操作是寻找函数的加权平均值。在概率分布p(x)下,函数f(x)的平均值被称为f(x)的期望(expectation),记作E[f]。对于一个离散变量,它的定义为:
因此平均值根据x的不同值的相对概率加权。在连续变量的情形下,期望以对应的概率密度的积分的形式表示:
类似的,我们有“条件期望”。无非就是把边缘概率变成条件概率。
在连续变量的情况下,我们把求和改成积分就好了。
如果我们给定有限数量的N 个点,这些点满足某个概率分布或者概率密度函数,那么期望可以通过平均的方式估计:
可以看出,当点数足够多,即N趋向于无穷大的时候,估计变得精准。
f(x)的方差被定义为:
方差是干什么的呢,它度量了f(x)在均值E[f(x)]附近变化性的大小。
我们可以把期望大概看成一个不错的平均值吧。
如果我们把方差展开,则会得到一个关于f(x)和f(x)2的期望的式子
我不是很知道这一步是为什么,不管了。
当然了,我们不仅可以关心函数,更可以关心我们的自变量本身,于是有:
有一个变量的方差,我们就有两个变量的方差,在这里我们称之为“协方差”,它是这么定义的:
看起来和方差长得一模一样。同理,我也不懂这是怎么展开的。
那么协方差是干什么用的呢?它表示在多大程度上x和y会共同变化。也就是说,如果x,y相互独立,x和y的协方差就是0。还记得篮子和苹果的例子吗?
有两个变量的协方差,我们就有向量的协方差,它是这么定义的:
可以看出,两个向量的协方差是个矩阵。每两个元素一一对应求协方差。
当这两个向量长得一样的时候,其实就是求自己和自己的协方差,我们有一个偷懒的记号:
那么这个表示一个向量内元素之间共同变化的程度。等以后配合上实例再谈这些应该会更好一些。