Part1. 随机事件

1-1.随机试验

随机试验:可以在相同条件下重复进行，每次试验的结果不止一个，事先知道所有可能的结果但不确定是哪一个的试验。

举例：重复的抛出一枚均匀的硬币就是一个随机试验，事先知道它的结果，但是不知道究竟是正面还是反面。

1-2.随机事件

定义1：随机试验可能的结果，称为样本空间，它的子集就叫做随机事件。

定义2：在一定条件下，可能发生也可能不发生的事件叫做随机事件。

举例：抛出硬币后可能正面落地，可能反面落地，那么“抛出硬币后正面落地”就是一个随机事件，它可能发生，也可能不发生。

1-3.频率与概率

频率：\(n\)次重复试验，事件A发生的次数为\(n_A\)，则\(n_A/n\)就是事件A发生的频率。

概率：当重复试验次数n越来越大时，事件A发生的频率\(n_A/n\)就会越来越稳定于一个常数；当试验次数趋向无穷大时，频率就等于这个常数，这个常数就被称为概率。

概率是一个随机事件的固有属性，它代表一个随机事件发生的可能程度，而频率是一个随机事件在一系列试验中发生的结果情况，是一个统计值。

1-4.古典概型（等可能概型）

古典概型：如果一个随机试验的结果有限，并且每一种结果发生的可能性相同，那么这个概率模型就是古典概型，也称为等可能概型。

1-5.条件概率与全概率

条件概率：

\[
P(B|A)=\frac{P(AB)} {P(A)}, 其中P(A)>0
\]

事件A发生的情况下事件B发生的概率，称为条件概率。

全概率：

\[
P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+…+P(A|B_n)P(B_n)
\]

其中，\(B_i \cap B_j= \emptyset,i \neq j,i,j=1,2…n;B_1\cup B_2 \cup … \cup B_n = S.\)

1-6.贝叶斯公式

\[
P(B_i|A)=\frac{P(B_iA)}{P(A)}=\frac{P(A|B_i)P(B_i)}{\sum\limits_{j=1}^n{P(A|B_j)P(B_j)}},i=1,2…n.
\]

其中，\(P(A)>0,P(B_i)>0(i=1,2…n)\)

1-7.先验概率与后验概率

先验概率：\(P(Y)\)

后验概率：\(P(Y|X)\)

先验概率是事前概率，是历史数据统计得到的预判概率；后验概率是一个事件发生后另外一个事件发生的概率，是条件概率。

举例：

根据历史统计数据，这个季节下雨的概率为\(P(A)\)，而打雷后下雨的概率为\(P(A|B)\)，前者为先验概率，后者为后验概率。

贝叶斯公式就是一种通过先验概率计算后验概率的方法。

1-8.独立事件

相互独立：

设A、B是两个随机事件，如果满足\(P(AB)=P(A)P(B)\)，则称A、B相互独立。

定理1：

设A、B是两个随机事件，且\(P(A)>0\)，则A、B相互独立等价于\(P(B|A)=P(B)\)。

如果两个时间相互独立，那么一个事件是否发生对另一个事件发生没有影响。

定理2：

如果A、B相互独立，则\(\bar A\)与\(B\)、\(\bar A\)与\(\bar B\)、\(A\)与\(\bar B\)均为相互独立事件。

推广到n个事件：

设\(A_1,A_2,……,A_n\)是\(n(n \geq 2)\)个事件，如果其中任意多个事件的积事件的概率，都等于各事件的概率之积，则称\(A_1,A_2,……,A_n\)相互独立。

Part2. 随机变量

2-1.随机变量

随机试验可能的结果形成了样本空间S，随机事件就是样本空间S的某个子集，而样本空间S中每个元素e都会对应一个实数，这种映射关系可以定义为一个函数f(e)，那么这个函数就c称为随机变量。

这样定义随机变量：随机变量是随机试验样本空间上的单值实数函数。

因此，随机变量的取值是由随机试验的结果确定，具有概率性。

举例：

重复的抛出一枚均匀的硬币，其结果可能是正面朝上，也可以能是反面朝上，结果可能情况提前知道但不确定具体是哪种结果，所以说，这是一个随机试验。

"结果正面朝上"是其中一种结果，是一个随机事件，可能发生，也可能不发生。

如果定义“抛出一枚硬币，正面朝上的次数”为X，那么，“结果正面朝上”时，X=1；“结果反面朝上”时，X=0。那么X就是一个随机变量。

2-2.连续型随机变量与离散型随机变量

离散型随机变量：取值可以一一列举，有限个或者可列举的无限多个。

连续型随机变量：取值不能一一列举，可能取值连续的充满了某一区间。

2-3.离散型随机变量的分布律

定义：设离散型随机变量\(X\)所有可能的取值为\(x_k(k=1,2,…)\)，X取各个可能值的概率为：

\[
P\{X=x_k\}=p_k,k=1,2,…
\]其中\(p_k\)满足两个条件：1）\(p_k \geq 0,k=1,2…\)；2）\(\sum\limits_{k=1}^\infty{p_k}=1\)。

可以将分布律用表格表示：

2-4.随机变量的分布函数

定义：设X是一个随机变量，x是任意实数，函数:

\[F(X)=P\{X \geq x\}, -\infty < x < +\infty
\] 称为\(X\)的分布函数。

有以下性质：

1）对于任意实数，\(x_1,x_2(x_1 \leq x_2)\)，有:

\[
P\{x_1< X \leq x_2\}=P\{X \leq x_2\}-P\{X \leq x_1\}=F(x_2)-F(x_1)
\]2）\(F(X)\)是一个不减函数；

3）\(F(-\infty)=0,F(+\infty)=0\)；

4）\(F(X)\)是一个右连续函数；

2-5.连续型随机变量的概率密度函数

对于一个连续型随机变量\(X\),其分布函数为\(F(X)\)，如果存在非负函数\(f(x)\)，并且对于任意实数\(x\)，有：

\[
F(X)=\int_{-\infty}^x {f(t)}{\rm d}t
\]那么就称\(f(x)\)为随机变量\(X\)的概率密度函数。

有以下性质：

1）\(f(x) \geq 0\)；

2）\(\int_{-\infty}^{+\infty} {f(x)}{\rm d}x=1\)；

3）对于任意实数\(x_1,x_2(x_1 \leq x_2)\)，有\(P\{x_1<X \leq x_2\}=F(x_2)-F(x_1)=\int_{x_1}^{x_2} {f(x)}{\rm d}x\)；

4）若\(f(x)\)在点\(x\)处连续，则有\(F‘(X)=f(x)\)。

2-6.重要的随机变量分布

（1）0-1分布

定义：随机变量\(X\)只可能取两个值：0或者1，分布律为：

\[
P\{X=x_k\}=p^k{(1-p)^{1-k}},k=0,1,其中0<p<1.
\]

（2）二项分布

伯努利试验：某一个试验只有两种可能的结果，独立的进行n次重复试验，称为n重伯努利试验。

两个特点：1）重复：两个可能的结果及其概率不变；2）独立：两两试验之间互不影响。

定义：随机变量\(X\)表示n重复伯努利试验中某事件A发生的次数，那么它的概率为：

\[
P\{X=k\}={n \choose k}{p^k}{(1-p)^{n-k}},k=0,1,…,n
\] 其中，\(p\)为事件A发生的概率。

我们称\(X\)服从(n,p)的二项分布，当n=1时，即为0-1分布。

（3）几何分布

定义：随机变量\(X\)表示n重复伯努利试验中某事件A第一次发生时的试验次数，那么它的概率为：

\[
P\{X=k\}=(1-p)^{k-1}p,k=1,2,…
\] 其中，\(p\)为事件A发生的概率。

我们称\(X\)服从几何分布，记为\(X~G(p)\)。

（4）泊松分布

定义：随机变量X所有可能取值为0,1,2,…，如果各个取值的概率为：

\[
P\{X=k\}=\frac{\lambda ^k{e^{-\lambda}}}{k!},\lambda > 0
\] 则称随机变量\(X\)服从泊松分布，记为\(X\)~\(\pi(\lambda)\)。

（5）均匀分布

定义：如果连续型随机变量X具有概率密度函数：

\[
f(x)=\begin{cases}
\frac{1}{b-a},\quad a \leq x\leq b\0, \quad 其他
\end{cases}
\]则称\(X\)在区间\([a,b]\)上服从均匀分布，记为\(X\)~\(U(a,b)\)。

均匀分布的概率大小只与区间长度有关，与区间位置无关。

（6）指数分布

定义：如果连续型随机变量X具有概率密度函数：

\[
f(x)=\begin{cases}
\frac{1}{\theta}e^{-x/\theta},\quad x>0\0, \quad 其他
\end{cases}
\]其中，\(\theta>0\)为常数，则称\(X\)服从参数为\(\theta\)的指数分布。

具有以下性质：

对于任意的\(s,t>0\)，有\(P\{X>s+t|X>s\}=P\{X>t\}\)

（7）正态分布

定义：如果连续型随机变量\(X\)的概率密度函数为：

\[f(x)= \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2{\sigma}^2}}, -\infty <x< +\infty
\] 其中\(\mu,\sigma(\sigma>0)\)为常数，则称X服从参数为\(\mu,\sigma\)的正态分布（高斯分布），记为\(X\)~\(N(\mu,{\sigma}^2)\)。

具有以下性质：

1）图像关于\(x=\mu\)轴对称，\(x=\mu\)取到最值\(\frac{1}{\sqrt{2\pi}\sigma}\)；

2）\(\sigma\)越小，曲线越尖瘦，越大越矮胖。

其分布函数为：

\[
F(X)=\frac{1}{\sqrt{2\pi}\sigma} \int_{-\infty}^xe^{-\frac{(t-\mu)^2}{2{\sigma}^2}}dt
\]标准正态分布：

当\(\mu=0,\sigma=1\)时，随机变量X服从标准正态分布。

其概率密度函数为：

\[
f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}, -\infty <x< +\infty
\]

其分布函数为：

\[
F(X)=\frac{1}{\sqrt{2\pi}} \int_{-\infty}^xe^{-\frac{t^2}{2}}dt
\]

普通正态分布函数转为标准正态分布函数：

\[
F(X)=\Phi(\frac{X-\mu}{\sigma})
\]

\(3\sigma\)原则：

如果一个随机变量服从正态分布\(N(\mu,{\sigma}^2)\)，那么其99.74%的概率会分布在\((\mu-3\sigma,\mu+3\sigma)\)范围内。

Part3. 随机变量的数学特征

3-1.期望

期望，又称均值，由随机变量\(X\)的概率分布确定。

对于一个离散型随机变量\(X\)，其分布律为\(P\{X=x_k\}=p_k,k=1,2,…\)，则其期望为：

\[
E(X)=\sum_{k=1}^{+\infty}{x_k}{p_k}
\]

对于一个连续型随机变量\(X\)，其概率密度函数为\(f(x)\)，则其期望为：

\[
E(X)=\int_{-\infty}^{+\infty} x{f(x)}dx
\]

期望的性质：

1）设\(C\)为常数，则有\(E(C)=C\)；

2）设\(X\)是一个随机变量，C是常数，则有\(E(CX)=CE(X)\)；

3）设\(X,Y\)是两个随机变量，则有\(E(X+Y)=E(X)+E(Y)\)，可推广到任意有限个随机变量之和；

4）设\(X,Y\)是相互独立的随机变量，则有\(E(XY)=E(X)E(Y)\)，可推广到任意有限个相互独立的随机变量之积。

3-2.方差

方差，用来度量随机变量X与其均值E(X)之间的偏离程度。D(X)越小代表数据越集中，越大代表数据越分散。

\[
D(X)=Var(X)=E\{[X-E(X)]^2\}
\]

标准差，或称均方差为\(\sigma(X)=\sqrt{D(X)}\)。

对于一个离散型随机变量，其方差为：

\[
D(X)=\sum_{k=1}^{+\infty}{[x_k-E(X)]^2{p_k}}
\]

对于一个连续型随机变量，其方差为：

\[
D(X)=\int_{-\infty}^{+\infty} {[x-E(X)]^2}{f(x)}dx
\]

另外，方差与期望之间有如下关系：

\[
D(X)=E(X^2)-[E(X)]^2
\]

方差的性质：

1）设\(C\)为常数，则\(D(C)=0\)；

2）设\(X\)施随机变量，\(C\)是常数，则有：\(D(CX)=C^2{D(X)}, D(X+C)=D(X)\)

3）设\(X,Y\)是两个随机变量，则有\(D(X+Y)=D(X)+D(Y)+2E\{(X-E(X))(Y-E(Y))\}\)

特别地，如果\(X,Y\)相互独立，则有\(D(X+Y)=D(X)+D(Y)\)。

3-3.协方差与相关系数

二维随机变量\((X,Y)\)，定义随机变量\(X\)与\(Y\)的协方差：

\[
Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}
\] 有以下性质：

1）\(Cov(X,Y)=Cov(Y,X)\)

2）\(Cov(X,X)=D(X)\)

3）\(D(X+Y)=D(X)+D(Y)+2Cov(X,Y)\)

4）\(Cov(X,Y)=E(XY)-E(X)E(Y)\)

5）\(Cov(aX,bY)=abCov(X,Y),a,b\)是常数

6）\(Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_1,Y)\)

定义随机变量X与Y的相关系数：

\[
\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}
\] 有以下性质：\(|\rho_{XY}| \leq 1\)

\(\rho_{XY}\)是一个可以用来表征\(X,Y\)之间线性关系紧密程度的量。当\(|\rho_{XY}|\)较大时，就认为\(X,Y\)线性相关程度大；\(|\rho_{XY}|\)较小时，就认为\(X,Y\)线性相关程度小；\(|\rho_{XY}|\)为0时，就认为\(X,Y\)不相关；\(|\rho_{XY}|\)为1时，就认为\(X,Y\)完全线性相关。

\(X,Y\)相互独立时，一定不相关；\(X,Y\)不相关时，则不一定相互独立。

3-4.原点矩与中心矩

设\(X,Y\)是随机变量，

k阶原点矩：\(E(X^k),k=1,2,…\)

k阶中心矩：\(E([X-E(X)]^k),k=2,3,…\)

k+l阶混合矩：\(E({X^k}{Y^l}),k,l=1,2,…\)

k+l阶混合中心矩：\(E({[X-E(X)]^k}{[Y-E(Y)]^l}),k,l=1,2,…\)

可以看出：期望E(X)是一阶原点矩，方差D(X)是而阶中心距，协方差Cov(X,Y)是X和Y的二阶混合中心矩。

3-5.协方差矩阵

对于二维随机变量\((X_1,X_2)\)，如果它的四个二阶中心矩都存在，记为：

\(c_{11}=E\{[X_1-E(X_1)]^2\}\)

\(c_{12}=E\{[X_1-E(X_1)][X_2-E(X_2)]\}\)

\(c_{21}=E\{[X_2-E(X_2)][X_1-E(X_1)]\}\)

\(c_{22}=E\{[X_2-E(X_2)]^2\}\)

将它们排成矩阵形式：

\[
\begin{pmatrix} c_{11} & c_{12}\\ c_{21} & c_{22} \\ \end{pmatrix}
\]

这个矩阵就是随机变量\((X_1,X_2)\)的协方差矩阵。

推广到\(n\)维随机变量\((X_1,X_2,…,X_n)\)的二阶混合中心矩，如果：

\(c_{ij}=Cov(X_i,Y_j)=E\{[X_i-E(X_i)][X_j-E(X_j)]\},i,j=1,2,…\)

都存在，则称矩阵：

\[
\begin{pmatrix}
\begin{array}{cccc}
c_{11} & c_{12} & \dots & c_{1n}\c_{21} & c_{22} & \dots & c_{2n}\\vdots & \vdots & &\vdots\c_{n1} & c_{n2} & \dots & c_{nn}\\end{array}
\end{pmatrix}
\] 为\(n\)维随机变量\((X_1,X_2,…,X_n)\)的协方差矩阵。

3-5.重要分布的数学特征

0-1分布：期望\(p\)、方差\(p(1-p)\)

二项分布：期望\(np\)、方差\(np(1-p)\)

几何分布：期望\(\frac{1}{p}\)、方差\(\frac{1-p}{p^2}\)

泊松分布：期望\(\lambda\)、方差\(\lambda\)

均匀分布：期望\(\frac{a+b}{2}\)、方差\(\frac{(b-a)^2}{12}\)

指数分布：期望\(\theta\)、方差\({\theta}^2\)

正态分布：期望\(\mu\)、方差\({\sigma}^2\)

原文地址：https://www.cnblogs.com/hbsygfz/p/9282709.html