随机过程：一、随机过程的分布及其特征

本文并非对概率论进行专业的介绍，而是学习计算机图形学的数学笔记，主要参考浙大版《概率论与数理统计》第四版，在内容上有所取舍。

在现实生活中还有这样一种不确定现象，它每次随机试验会持续一段时间，其可能结果是一个关于时间的函数。比如，我们收集 t 时间段内，电子元件的热噪声电压。每次随机试验都可以得到一个 U(t) 的函数，而且每次试验的函数曲线都不一样。我们把试验结果画到同一个坐标系中，可以看到在 t_0 时刻， U(t_0) 的结果有无数个且服从某一分布，因此我们把这种不确定现象称为随机过程（Stochastic Process）。

随机过程是随机试验（random experiment）的延申，但与随机试验又有本质上的不同。下面是随机过程的定义。

随机过程：设 T 是一无限实数集。我们把依赖于参数 t\in T 的一族（无限多个）随机变量称为随机过程，记为 \{X(t), t\in T\} 。 X(t) 是随机变量， T 叫做参数集。 X(t_1) = x 称为 t_1 时刻的状态，全体 X(t) 的可能取值称为随机过程的状态空间。对随机过程 \{X(t), t\in T\} 进行一次试验，其结果是 t 的函数，记为 x(t),\ t\in T ，称为随机过程的一个样本函数或样本曲线。随机过程每次试验得到的样本函数可能都不一样。

随机过程可依其在任一时刻的状态是连续型随机变量或离散型随机变量而分成连续型随机过程和离散型随机过程。

比如上面电器元件的热噪声电压是连续型随机过程；比如某城市医院一天中， (0,t] 间隔内接到急求电话的次数 X(t) 是一个离散型随机过程，其状态空间是 \{1,2,3,4,\cdots\} 。

随机过程可依参数 t 是连续或离散进行分类，当参数集 T 是有限或无限区间时，称 \{X(t),\ t\in T\} 为连续参数随机过程。如果 T 是离散集合，则称为离散参数随机过程或随机序列。

比如上面电器元件的热噪声电压是连续参数随机过程；抛 n 次硬币，第 i 此出现的点数是 X(i) 是一个离散参数随机变量，这里参数集是 \{1,2,3,\cdots,n\}

一维随机过程的分布函数族：给定随机过程 \{X(t), t\in T\} 。对每个固定的 t\in T ，随机变量 X(t) 的分布函数一般与 t 有关，记为：

F_X(x,t) = P\{X(t)\le x\},\ x\in R

称它为随机过程 \{X(t), t\in T\} 的一维分布函数，而 \{F_X(x,t),t\in T\} 称为一维分布函数族。

一维随机过程的 n 维分布函数族：一维分布函数族刻画了随机过程在各个时刻的统计特征，为了描述随机过程在不同时刻状态之间的统计联系，一般可对任意 n\ (n=2,3,\cdots) 个不同的时刻 t_1,t_2,\cdots,t_n\in T ，引入 n 维随机变量 (X(t_1),X(t_2),\cdots,X(t_n)) ，它的分布函数记为：

F_X(x_1,x_2,\cdots,x_n;t_1,t_2,\cdots,t_n)=P\{X(t_1)\le x_1,X(t_2)\le x_2,\cdots,X(t_n)\le x_n\}

对于固定的 n ，我们称 \{F_X(x_1,x_2,\cdots,x_n;t_1,t_2,\cdots,t_n),t_i\in T\} 为随机过程 \{X(t), t\in T\} 的 n 维分布函数族。

科尔莫戈罗夫定理：有限维分布函数族，当 n 充分大时， n 维分布函数族能够近似地描述随机过程的统计特性。

随机过程的分类可以按其状态或时间的连续或离散进行分类，然而随机过程更本质的分类方法是按照其分布特征性进行分类。也就是说，按照随机过程在不同时刻的状态之间的关系进行分类。主要介绍独立增量过程、泊松过程、维纳过程，下一篇会单独介绍马尔可夫过程。

均值函数：给定随机过程 \{X(t), t\in T\} ，固定 t\in T, X(t) 是一维随机变量，它的均值一般与 t 有关，记为：

\mu_X(t)=E[X(t)]

我们称 \mu_X(t) 的随机过程 \{X(t),t\in T\} 的均值函数。这里的均值是随机过程所有样本函数在时刻 t 时的函数值的平均值，通常称这种平均为集平均或统计平均。

均方值函数和方差函数：把随机变量 X(t) 的二阶原点矩和二阶中心矩分别记为：

\Psi_X^2(t) = E[X^2(t)]\\ \sigma_X^2(t)=D_X(t)=Var[X(t)]=E\{[X(t)-\mu_X(t)]^2\}

并分别称它们为随机过程 \{X(t),t\in T\} 的均方值函数和方差函数。

把一随机过程的若干个样本函数，均值函数和方差函数画到同一个坐标系中：

可以看到，均值函数刻画了随机过程在各个时刻的摆动中心，方差函数刻画了随机过程在各个时刻对均值的偏离程度。

自相关函数和自协方差函数：设任意 t_1,t_2\in T ，把随机变量 X(t_1),\ X(t_2) 的二阶原点混合矩和二阶混合中心矩分别记作：

R_{XX}(t_1,t_2)=E[X(t_1)X(t_2)]\\ C_{XX}(t_1,t_2)=Cov[X(t_1),X(t_2)] = E\{[X(t_1)-\mu_X(t_1)][X(t_2)-\mu_X(t_2)]\}

并分别称它们为自相关函数和自协方差函数。由多维随机变量数字特征的知识可知，自相关函数和自协方差函数是刻画随机过程自身在两个不同时刻的状态之间统计依赖关系的数字特征。

上述数字特征具有如下关系：

\Psi^2_X(t)=R_{X}(t,t)\\ C_X(t_1,t_2)=R_X(t_1,t_2)-\mu_X(t_1)\mu_X(t_2)\\ \sigma^2_X(t)=C_X(t,t)=R_X(t,t)-\mu_X^2(t)

随机过程着重研究二阶矩过程。

二阶矩过程：如果对于每一个 t\in T ，随机过程 \{X(t),t\in T\} 的二阶矩 E[X^2(t)] 都存在，则称它为二阶矩过程。若二阶矩过程的相关函数总存在，有柯西-施瓦茨不等式：

\{E[X(t_1)X(t_2)]\}^2\le E\{X^2(t_1)\}E[X^2(t_2)],\quad t_1,t_2\in T

在实际中，有一种特殊的二阶矩过程 —— 正态过程：它的每个有限维分布都是正态分布，即对任意整数 n\ge 1 ，以及任意 t_1,t_2,\cdots,t_n\in T ， (X(t_1),X(t_2),\cdots,X(t_n)) 服从正态分布。正态过程的全部统计特征完全由它的均值函数和自协方差函数所确定。

有时我们需要研究多个随机变量依赖于同一参数的随机过程，称为多维随机过程，以二维随机过程为例。

二维随机过程： X(t),Y(t) 是依赖于同一参数 t\in T 的随机过程，对于不同的 t\in T ， (X(t),Y(t)) 是不同的二维随机变量，我们称 \{X(t),Y(t), t\in T\} 为二维随机过程。给定二维随机过程， t_{X1},t_{Y2},\cdots,t_{Xn},t_{Y1},t_{Y2},\cdots,t_{Ym} 是 T 中任意两组实数，我们称 n+m 维随机变量：

(X(t_{X1}),X(t_{X2}),\cdots,X(t_{Xn});Y(t_{Y1}),Y(t_{Y2}),\cdots,Y(t_{Ym}))

的分布函数

F(x_1,x_2,\cdots,x_n;t_{X1},t_{X2},\cdots,t_{Xn};y_1,y_2,\cdots,y_n;t_{Y1},t_{Y2},\cdots,t_{Ym})\\=P\{X(t_{X1})\le x_1,X(t_{X2})\le x_2,\cdots,X(t_{Xn})\le x_n;Y(t_{Y1})\le y_1,Y(t_{Y2})\le y_2,\cdots,Y(t_{Ym})\le y_m\}

称为二维随机过程的 n+m 维分布函数族。或随机过程 X(t) 和 Y(t) 的n+m 维联合分布函数。

独立性：如果对任意的正整数 n,m ，任意的数组 t_1,t_2,\cdots,t_n \in T ， t_1^{\prime},t_2^{\prime},\cdots,t_m^{\prime}\in T ，n 维随机变量 (X(t_{X1}),X(t_{X2}),\cdots,X(t_{Xn})) 与 m 维随机变量 (Y(t_{Y1}),Y(t_{Y2}),\cdots,Y(t_{Ym})) 相互独立，则称随机过程 X(t) 和 Y(t) 是相互独立的。

对于二维随机过程，除了可以分别研究随机过程 X(t),Y(t) 各自的均值和自相关函数外，常研究互相关函数和互协方差函数。

互相关函数和互协方差函数：二维随机过程 \{X(t),Y(t),t\in T\} ， \mu_X(t_1),\ \mu_Y(t_2) 是各自的均值函数，那么分别称 X(t),\ Y(t) 的二阶混合原点矩和二阶混合中心矩：

R_{XY}(t_1,t_2)=E[X(t_1)Y(t_2)]\\ C_{XY}(t_1,t_2)=E\{[X(t_1)-\mu_X(t_1)][Y(t_2)-\mu_Y(t_2)]\}\\ =R_{XY}(t_1,t_2)-\mu_X(t_1)\mu_Y(t_2)

为互相关函数和互协方差函数。

不相关：如果二维随机过程 (X(t),Y(t)) 对任意的 t_1,t_2\in T 恒有：

C_{XY}(t_1,t_2)=0

则称随机过程 X(t),Y(t) 是不相关的。两个随机过程如果是互相独立的，且它们的二阶矩存在，则它们必然不相关。反之，不相关不能推断出它们是相互独立。

独立增量过程是一个非常重要的随机过程，泊松过程和维纳过程都是两种具体的独立增量过程。

独立增量过程：给定二阶矩过程 \{X(t),t\ge 0\} ，我们称随机变量 X(t)-X(s),\ 0\le s \lambda > 0 是常数，是泊松分布的数学期望和方差。称 X 服从参数为 \lambda 的泊松分布，记为 X \sim \pi(\lambda) 。

计数过程：考虑随时间推移会随机重复出现的事件，这些事件都是瞬时发生的， N(t),\ t\ge 0 表示在时间间隔 (0,t] 内时间出现的次数。这是以状态非负、时间连续的随机过程，称为计数过程。其样本函数的图像如下：

泊松过程：将增量 N(t)-N(t_0) 记为 N(t_0,t),\ 0\le t_0 < t ，它表示时间间隔 (t_0,t] 内事件发生的次数。“在 (t_0,t] 内事件发生 k 次”，即 \{N(t_0,t)=k\} 是一事件，其概率记为：

P_k(t_0,t)=P\{N(t_0,t)=k\},\ k=0,1,2,\cdots

现假设计数过程 N(t) 满足如下条件：

我们把满足上述条件的计数过程称为强度为 \lambda 的泊松过程。相应的事件出现的随机时刻 t_1,t_2,\cdots 称作强度为 \lambda 的泊松流。泊松过程是离散型随机过程。

泊松过程的分布律： P_k(t_0,t)=P\{N(t_0,t)=k\}=\frac{[\lambda(t-t_0)]^k}{k!}e^{-\lambda(t-t_0)},\quad t>t_0,\ k=0,1,2,\cdots

由上式可知增量 N(t_0,t)=N(t)-N(t_0) 的概率分布是参数 \lambda(t-t_0) 的泊松分布，也即，

N(t)-N(t_0)\sim \pi(\lambda(t-t_0))

且只与时间差 t-t_0 有关，所以强度为 \lambda 的泊松过程是一齐次的独立增量过程。

由泊松分布可知，泊松过程的均值函数和方差函数为：

E[N(t)-N(t_0)]=D[N(t)-N(t_0)]=\lambda(t-t_0)

由独立增量过程协方差函数定理可得：

C_N(s,t)=\lambda\min\{s,t\},\quad s,t\ge 0

非齐次泊松过程：泊松过程的条件二中，当强度 \lambda 是时间 t 的函数 \lambda = \lambda(t),\ t\ge 0 ，则称泊松过程为非齐次的。对于非齐次泊松过程，其分布律为：

P\{N(t)-N(t_0)=k\}=\frac{[\Lambda(t)]^ke^{-\Lambda(t)}}{k!}

其中：

\Lambda(t) = \int^t_{t_0}\lambda(\tau)d\tau

所以非齐次泊松过程 N(t)-N(t_0)\sim \pi(\Lambda(t))

非齐次泊松过程的均值函数： E[N(t)]=\int^\tau_0\lambda(\tau)d\tau

非齐次泊松过程的自协方差函数： R_N(s,t)=\int^{\min(s,t)}_0\lambda(\tau)d\tau[1+\int^{\max(s,t)}_0\lambda(\tau)d\tau]

通过对布朗运动的研究，提出了维纳过程，W(t) 可以表示 [0,t) 间隔内，微粒的位移。

维纳过程：二阶矩过程 \{W(t),\ t\ge 0\} ，如果它满足：

则称此过程为维纳过程。维纳过程的分布只与时间差有关，所以它是齐次的独立增量过程。它也是正态过程。

维纳过程的均值函数为： E[W(t)] = 0

维纳过程的方差函数为： D_W(t) = \sigma^2t

维纳过程的自协方差函数为： C_W = R_W(s,t) = \sigma^2\min(s,t)

维纳过程不只是布朗运动的数学模型，而且电子元件在恒温下的热噪声也可归结为维纳过程。