第一章 引论
1.1 引言
1.1.1 基本概念和例子
定义1.1: 随机过程就是一族随机变量${X(t), t \in T}$, 其中$t$ 是参数, 属于某个指标集$T$, $T$ 称为参数集.
$t$ 一般代表时间. 当$T={0, 1, 2, ,...}$ 也称随机过程为随机序列.
随机变量定义在空间$\Omega$ 上, 所以是随$t$ 与$\omega \in \Omega$ 而变化的, 可以记作$X(t , \omega)$ .
- 固定一次随机实验, 即取定$\omega_0 \in \Omega$ 时, $X(t , \omega_0)$ 就是一条样本路径. 它是$t$ 的函数.
- 固定时间$t = t_0$ , $X(t_0 , \omega)$ 就是一个随机变量, 其取值随着随机试验的结果而变化, 变化的规律叫做概率分布.
随机过程在$t$ 所处的值称作是过程所处的状态, 状态的全体称为状态空间.
1.1.2 有限维分布和数学特征
随机过程${X(t), t \in T}$ 的一维分布: $F_t(x) = P {X(t) \le x}$ .
随机过程$X(t)$ 的均值函数: 期望$E[X(t)]$ , 记作$\mu_X (t)$ .
随机过程$X(t)$ 的方差函数: 方差$Var[X(t)]$ .
随机过程$X(t)$ 的联合二维分布: $F_{t_1, t_2} (x_1, x_2) = P{X(t_1) \le x_1, X(t_2) \le x_2}$ .
随机过程$X(t)$ 的自相关函数: $r_X(t_1, t_2) = E[X(t_1) X(t_2)]$ .
随机过程$X(t)$ 的协方差函数: $R_X(t_1, t_2) = Cov(X(t_1), X(t_2)) = E{(X(t_1) - \mu_X (t_1))(X(t_2) - \mu_X (t_2))}$ .
自相关函数和协方差函数都具有对称性, 且都是非负定的.
随机过程$X(t)$ 的有限维分布族: $F_{t_1,...,t_n} (x_1,...,x_n) = P{X(t_1) \le x_1, ..., X(t_n) \le x_n}, t_1,...,t_n \in T$ .
知道了随机过程的有限维分布族就知道了过程${X(t), t \in T}$ 中任意n个随机变量的联合分布, 也就完全了解了这些变量之间的相互依赖关系.
有限维分布有对称性, 与变量$X(t_1), ..., X(t_n)$ 的排序无关.
有限维分布有相容性: $F_{t_1, ..., t_m, t_{m+1}, ..., t_n}(x_1, ..., x_m, \infty, ..., \infty) = F_{t_1, ..., t_m}(x_1, ..., x_m), m \lt n$.
相容性基本定理: 若一族给定的分布函数上有对称性和相容性, 则存在一个随机过程${X(t), t \in T}$ , 使它的有限维分布族正好就是给定的分布函数族.
1.1.3 平稳过程和独立增量过程
同分布: 若两个随机变量$X_1, X_2$ 的分布函数$与F_{X_1}(x) 与 F_{X_2}(x)$ 对任何$x$ 都是相等的, 则称它们是同分布的, 记作$X_1 =^d X_2$ ; 类似地, 若两个随机向量有相同的联合分布, 也称它们是同分布的.
定义1.2 : 如果随机过程$X(t)$ 对任意的$t_1, ..., t_n \in T$ 和任何$h$ 有$(X(t_1+h), ..., X(t_n+h))=^d (X(t_1), ..., X(t_n))$ , 则称为严格平稳的.
严格平稳的含义是, 处于某种概率平衡状态, 主要性质只与变化量$X(t)$ 之间的时间间隔有关, 而与考察的起始点无关.
定义1.3 : 如果随机过程的所有二阶矩存在, 且有
- $EX(t) = m$
- $R_X(t,s)$ 只与时间差$t - s$ 有关.
则称该随机过程为宽平稳的或二阶矩平稳的.
对于宽平稳过程, 由于$R_X(s, t) = R_X(0, t-s)$ , 可以记为$R_X(t-s)$ .
对宽平稳过程, $R_X(t)$ 是偶函数, 且$R_X(0) = VarX(t)$ .
定义1.4 : 如果对任意$t_1 \lt t_2 \lt ... \lt t_n, t_1, ..., t_n \in T$ , 随机变量$X(t_2) - X(t_1), X(t_3) - X(t_2), ..., X(t_n) -X(t_{n-1})$ 是相互独立的, 则$X(t)$ 称为独立增量过程.
如果进一步有对任意$t_1, t_2, X(t_1+h) - X(t_1) =^d X(t_2+h) - X(t_2)$ , 则过程称为有平稳独立增量的过程.
平稳独立增量过程的均值函数一定是$t$ 的线性函数.
1.2 条件期望和矩母函数
1.2.1 条件期望
离散型随机变量$X,Y$ , 对所有使$P{Y=y}\gt0$ 的$y$ , 定义:
- 给定$Y=y$ 时, $X$ 取$x$ 的条件概率为$P{X=x|Y=y} = \frac{P(X=x,Y=y)}{P(Y=y)}$
- 给定$Y=y$ 时, $X$ 的条件分布函数为$F(x|y) = P{X \le x | Y = y}$
连续型随机变量$X, Y$ , 定义:
- 给定$Y=y$ 时, $X$ 的条件分布函数为$F(x|y) = P{X \le x | Y = y} = \lim_{\Delta y \to 0} P(X \le x | Y \in \Delta y)$
- 如果存在一个非负函数$f(x|y)$ , 使得对任何集合$A$ 恒有$P(X \in A | Y = y) = \int_{A}f(x|y)dx$ , 且$\int f(x|y)dx = 1$ , 则$f(x|y)$ 称为在给定$Y=y$ 时$X$ 的条件密度.
条件密度与联合密度的关系: $f(x,y) = f(x|y)f(y)$ , 其中$f(y)$ 称为随机变量$Y$ 的边缘密度.
给定$Y=y$ , $X$ 的条件期望定义为: $E(X|Y=y) = \int x f(x|y)dx = \int xdF(x|y)$ .
命题1.1 : 条件期望的重要性质:
- 若$X$ 与$Y$ 独立, 则$E(X|Y=y) = EX$ .
- 平滑性: $EX = \int E(X|Y=y)dF_Y(y) = E[E(X|Y)]$ .
- 对随机变量$X,Y$ 的函数$\phi(X,Y)$ 恒有$E[\phi(X,Y) | Y=y] = E[\phi(X,y) | Y=y]$ .
1.2.2 矩母函数及生成函数
定义1.5 : 随机变量$X$ 的矩母函数定义为随机变量$exp(tX)$ 的期望, 记作$g(t) = E(exp(tX)) = \int exp{tx} dF(x)$ .
矩母函数存在时, 它唯一确定了$X$ 的分布.
通过矩母函数易求出$X$ 的各阶矩$E[X^n] = g^{(n)}(0), n \ge 1$ .
定义1.6 : 若$X$ 为离散随机变量, 则期望$E(s^X)$ 为其概率生成函数, 记作$\phi_X(s)$ . 特别地, 若$P(X=k)=p_k, k=0,1,2,...$ , 则$\phi_X(s)=\sum_{k=0}^{\infty}{p_k s^k}$ .
概率生成函数时以概率$p_k$ 为系数的幂级数, 其与$X$ 的概率分布也是一一对应的, 且有$p_0 = \phi_X(0), p_k = \frac{1}{k!}\frac{d^k}{ds^k} \phi_X(s)|_{s=1}, k=1,2,...$ .
通过概论生成函数易求出$X$ 的期望和有关高阶矩$E{X(X-1)...(X-r+1)} = \frac{d^r}{ds^r}\phi_X(s)|_{s=1}$ .
对互相独立的随机变量$X, Y$ , $g_{X+Y}(t) = g_X(t) g_Y(t)$ , $\phi_{X+Y}(s) = \phi_X(s) \phi_Y(s)$ .
1.3 收敛性
三种收敛:
- 设${X_n, n \ge 1}$ 是一列随机变量, 若存在随机变量$X$ , 使得$\forall \epsilon \gt 0, \lim_{n \to \infty}{P(|X_n - X| \ge \epsilon)} = 0$ , 则称随机变量序列${X_n, n \ge 1}$ 依概率收敛于$X$, 记为$X_n \to^p X$ .
- 若事件 ${\omega: \lim_{n \to \infty}{(X_n(\omega) - X(\omega))} = 0}$ 的概率为1, 即$P(\lim_{n \to \infty}{(X_n = X)} = 0) = 1$ , 则称随机变量序列${X_n, n \ge 1}$ 几乎必然收敛于$X$ , 记为$X_n \to X, a.s.$ , 也称随机变量序列以概率1收敛于$X$.
- 设随机变量$X$ 和$X_n, n \ge 1$ , 都有有限的二阶矩, 如果$\lim_{n \to \infty}{E(X_n - X)^2} = 0$ , 则称$X_n$ 均方收敛于$X$ , 记为$X_n \to^{L_2} X$ .
以上三种收敛的关系:
- 均方收敛和几乎必然收敛都蕴涵依概率收敛, 反之不成立.
- 均方收敛和几乎必然收敛互不包含.