【引入】
对于二维随机变量 $(X,Y)$ ，我们除了讨论 $X$ 与 $Y$ 的数学期望和方差除外，
还需要讨论描述 $X$ 与 $Y$ 之间相互关系的数字特征。
在《数字特征：方差》方差性质3的证明中，我们已经看到，
如果两个随机变量 $X$ 与 $Y$ 是相互独立的，则 $E\{ [X-E(X)][Y-E(Y)]\} =0$
这意味着当 $E\{ [X-E(X)][Y-E(Y)]\} \neq 0$ 时， $X$ 与 $Y$ 不相互独立，而是存在一定的关系的。
【定义】
量 $E\{ [X-E(X)][Y-E(Y)]\}$ 称为随机变量 $X$ 与 $Y$ 的协方差，记为 $Cov(X,Y)$
即
$$Cov(X,Y)=E\{ [X-E(X)][Y-E(Y)]\}$$
而
$$\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$
称为随机变量 $X$ 与 $Y$的相关系数
由定义，即知
$$Cov(X,Y)=Cov(Y,X),\quad Cov(X,X)=D(X)$$
由上述定义及（2.5）式知道，对于任意两个随机变量 $X$ 与 $Y$ ，下列等式成立
$$D(X+Y)=D(X)+D(Y)+2Cov(X,Y)\tag{3.1}$$
将 $Coc(X,Y)$ 的定义式展开，易得
$$Cov(X,Y)=E(XY)-E(X)E(Y)\tag{3.2}$$
我们常常用这一式子计算协方差。
协方差的性质：
1. $Cov(aX,bY)=abCov(X,Y),a,b是常数$
2. $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
下面我们来推导 $\rho_{XY}$ 的两条重要性质，并说明 $\rho_{XY}$ 的含义
考虑以 $X$ 的线性函数 $a+bX$ 来近似表示 $Y$ 。
我们以均方误差
$$e=E[(Y-(a+bX))^2]\qquad \qquad \qquad \qquad \qquad \qquad \qquad \qquad \quad \ $$
$$=E(Y^2)+b^2E(X^2)+a^2-2bE(XY)+2abE(X)-2aE(Y)\tag{3.3}$$
来衡量以 $a+bX$ 近似表达 $Y$ 的好坏程度。
$e$ 的值越小表示 $a+bX$ 与 $Y$ 的近似程度越好。
这样，我们就取 $a,b$ 使 $e$ 取到最小。下面就来求最佳近似式 $a+bX$ 中的 $a,b$ 。为此，将 $e$ 分别关于 $a,b$ 求偏导数，并令它们等于零，得
$$\begin{cases}\frac{\partial e}{\partial a}=2a+2bE(X)-2E(Y)=0,\\ \frac{\partial e}{\partial b}=2bE(X^2)-2E(XY)+2aE(X)=0\end{cases}$$
原文地址：https://www.cnblogs.com/ForTech/p/8605844.html