【应用随机过程】07. 平稳过程

从通俗意义上去理解，平稳过程指的是统计特性不随时间的推移而改变的一类随机过程。随机过程的统计特性一般通过有限维分布和数字特征进行刻画。我们根据这些不变的特征，给出两种平稳过程的定义，即严平稳过程和宽平稳过程。

严平稳过程：对于随机过程 { X ( t ) ,   t ∈ T } \{X(t),\,t\in T\} {X(t),t∈T} ，如果对任意 k ≥ 1 k\geq1 k≥1 和 t 1 , t 2 , ⋯   , t k ∈ T t_1,t_2,\cdots,t_k\in T t1​,t2​,⋯,tk​∈T 以及 h ∈ T h\in T h∈T 都有 ( X ( t 1 + h ) , X ( t 2 + h ) , ⋯   , X ( t k + h ) ) = d ( X ( t 1 ) , X ( t 2 ) , ⋯   , X ( t k ) )   , \big(X(t_1+h),X(t_2+h),\cdots,X(t_k+h)\big)\xlongequal{d}\big(X(t_1),X(t_2),\cdots,X(t_k)\big) \ , (X(t1​+h),X(t2​+h),⋯,X(tk​+h))d (X(t1​),X(t2​),⋯,X(tk​)) , 则称该随机过程为严平稳过程或强平稳过程。

严平稳过程的任意有限维分布都不随时间的推移而改变。然而实际中随机过程的有限维分布往往很难确定，所以我们一般研究的平稳过程，都是在数字特征尤其是一阶矩和二阶矩中体现出的平稳性。

宽平稳过程：对于随机过程 { X ( t ) ,   t ∈ T } \{X(t),\,t\in T\} {X(t),t∈T} ，对任意的 t ∈ T t\in T t∈T ，都有 E [ X ( t ) ] 2 < ∞ {\rm E}[X(t)]^2{\rm E}[X(t)]^2{\rm E}[X(t+\tau)]^2}=r_X(0) \ . ∣rX​(τ)∣=∣E(X(t)X(t+τ))∣≤E[X(t)]2E[X(t+τ)]2 ​=rX​(0) . 性质 4 只需证对任意的 t 1 , t 2 , ⋯   , t n ∈ T t_1,t_2,\cdots,t_n\in T t1​,t2​,⋯,tn​∈T 和任意的 a 1 , a 2 , ⋯   , a n ∈ R a_1,a_2,\cdots,a_n\in\mathbb{R} a1​,a2​,⋯,an​∈R ，有 ∑ i = 1 n ∑ j = 1 n r X ( t i − t j ) a i a j ≥ 0   . \sum_{i=1}^n\sum_{j=1}^nr_X(t_i-t_j)a_ia_j\geq0 \ . i=1∑n​j=1∑n​rX​(ti​−tj​)ai​aj​≥0 . 将定义式代入，并对和式进行整理可得 ∑ i = 1 n ∑ j = 1 n r X ( t i − t j ) a i a j = ∑ i = 1 n ∑ j = 1 n E ( X ( t i ) X ( t j ) ) a i a j = E [ ∑ i = 1 n ∑ j = 1 n X ( t i ) X ( t j ) a i a j ] = E [ ∑ i = 1 n X ( t i ) a i ] 2 ≥ 0   . \begin{aligned} \sum_{i=1}^n\sum_{j=1}^nr_X(t_i-t_j)a_ia_j&=\sum_{i=1}^n\sum_{j=1}^n{\rm E}(X(t_i)X(t_j))a_ia_j\\ &={\rm E}\left[\sum_{i=1}^n\sum_{j=1}^nX(t_i)X(t_j)a_ia_j\right]={\rm E}\left[\sum_{i=1}^nX(t_i)a_i\right]^2\geq0 \ . \end{aligned} i=1∑n​j=1∑n​rX​(ti​−tj​)ai​aj​​=i=1∑n​j=1∑n​E(X(ti​)X(tj​))ai​aj​=E[i=1∑n​j=1∑n​X(ti​)X(tj​)ai​aj​]=E[i=1∑n​X(ti​)ai​]2≥0 .​ 如果忘记了非负定的含义，请自行复习线性代数关于二次型的相关内容。

我们习惯上把随机变量的数学期望称作随机变量的均值，这里我们简单解释一下其中的缘由。设 X X X 是一个随机变量，数学期望为 E ( X ) = μ {\rm E}(X)=\mu E(X)=μ 。如果 μ \mu μ 是未知的，我们可以通过反复试验或多次观测，收集一组简单随机样本 X 1 , X 2 , ⋯   , X n X_1,X_2,\cdots,X_n X1​,X2​,⋯,Xn​ ，计算样本均值 X ˉ \bar{X} Xˉ 作为 μ \mu μ 的估计。

根据辛钦大数定律，我们有 X 1 + X 2 + ⋯ + X n n → P μ   , n → ∞   . \frac{X_1+X_2+\cdots+X_n}{n}\xrightarrow{P}\mu \ , \quad n\to\infty \ . nX1​+X2​+⋯+Xn​​P ​μ ,n→∞ . 根据柯尔莫哥洛夫强大数定律，我们有 X 1 + X 2 + ⋯ + X n n → μ   , a . s . n → ∞   . \frac{X_1+X_2+\cdots+X_n}{n}\xrightarrow{}\mu \ , \quad {\rm a.s.} \quad n\to\infty \ . nX1​+X2​+⋯+Xn​​ ​μ ,a.s.n→∞ . 这就是极限意义下样本平均的概念。基于上述事实，数学期望 μ \mu μ 就可以被称为样本平均。

接下来我们考虑随机过程的情况。设 { X ( t ) ,   t ∈ T } \{X(t),\,t\in T\} {X(t),t∈T} 是一个随机过程，均值函数为 E ( X ( t ) ) = μ ( t ) {\rm E}(X(t))=\mu(t) E(X(t))=μ(t) 。如果 μ ( t ) \mu(t) μ(t) 是未知的，我们是否还能通过反复试验或多次观测，计算样本均值来估计 μ ( t ) \mu(t) μ(t) 呢？

需要注意，这里的观测需要针对同一时刻 t t t 进行。如果 t t t 发生改变，那么 X ( t ) X(t) X(t) 也不再是原来的随机变量。然而在真实世界里，时间是不可重复的。在指定时刻，所有事件只发生一次，我们无法实现反复试验或多次观测，更无法使用大数定律判断其收敛性。

为克服这一困难，我们考虑能否通过一次足够长时间的观测，用一条样本函数信息来估计均值函数和自相关函数呢？这就是时间平均的概念。对于平稳过程来说似乎是可行的，但我们需要给出类似于大数定律的极限条件，只有满足极限条件，才可以在极限意义下定义时间平均。

因此我们先引入均方可积的概念，再给出时间平均的定义。

在介绍均方可积之前，需要复习一下均方收敛的概念。

均方收敛：设 X , X 1 , X 2 , ⋯   , X n X,X_1,X_2,\cdots,X_n X,X1​,X2​,⋯,Xn​ 都是随机变量，且 E ( X 2 ) < ∞ ,   E ( X n 2 ) < ∞ ,   ∀ n ≥ 1 {\rm E}\left(X^2\right)X(t),t∈T} 是平稳过程，则对任何 [ a , b ] ⊂ T [a,b]\subset T [a,b]⊂T ， X ( t ) X(t) X(t) 在 [ a , b ] [a,b] [a,b] 上均方可积。

均方积分性质：设 X ( t ) X(t) X(t) 在 [ a , b ] [a,b] [a,b] 上均方可积，则有 E [ ∫ a b X ( t ) d t ] = ∫ a b E ( X ( t ) ) d t   . E [ ( ∫ a b X ( t ) d t ) 2 ] = ∫ a b ∫ a b r X ( t 1 , t 2 ) d t 1 d t 2   . \begin{aligned} &{\rm E}\left[\int_a^bX(t){\rm d}t\right]=\int_a^b{\rm E}(X(t)){\rm d}t \ . \\ \\ &{\rm E}\left[\left(\int_a^bX(t){\rm d}t\right)^2\right]=\int_a^b\int_a^br_X(t_1,t_2){\rm d}t_1{\rm d}t_2 \ . \end{aligned} ​E[∫ab​X(t)dt]=∫ab​E(X(t))dt .E⎣⎡​(∫ab​X(t)dt)2⎦⎤​=∫ab​∫ab​rX​(t1​,t2​)dt1​dt2​ .​

现在我们可以给出时间平均和时间相关函数的定义。这里我们考虑时间参数空间为全体实数 R \mathbb{R} R 上的情况。如果 { X ( t ) : t ∈ R } \{X(t):t\in\mathbb{R}\} {X(t):t∈R} 为平稳过程，对任意的 T > 0 T>0 T>0 ，定义 X ˉ T = 1 2 T ∫ − T T X ( t ) d t   , \bar{X}_T=\frac1{2T}\int_{-T}^TX(t){\rm d}t \ , XˉT​=2T1​∫−TT​X(t)dt , 由均方可积准则的推论知，一定有 X ( t ) X(t) X(t) 在 [ − T , T ] [-T,T] [−T,T] 上是均方可积，所以 X ˉ T \bar{X}_T XˉT​ 存在且有限，称 X ˉ T \bar{X}_T XˉT​ 为 [ − T , T ] [-T,T] [−T,T] 上的时间平均。进而，如果存在一个随机变量 η \eta η 使得 lim ⁡ T → ∞ E [ 1 2 T ∫ − T T X ( t ) d t − η ] 2 = 0   . \lim_{T\to\infty}{\rm E}\left[\frac{1}{2T}\int_{-T}^TX(t){\rm d}t-\eta\right]^2=0 \ . T→∞lim​E[2T1​∫−TT​X(t)dt−η]2=0 . 则称 η \eta η 为平稳过程 { X ( t ) : t ∈ R } \{X(t):t\in\mathbb{R}\} {X(t):t∈R} 的时间平均，记为 ⟨ X ( t ) ⟩ = η = lim ⁡ T → ∞ 1 2 T ∫ − T T X ( t ) d t   . \langle X(t)\rangle=\eta=\lim_{T\to\infty}\frac{1}{2T}\int_{-T}^TX(t){\rm d}t \ . ⟨X(t)⟩=η=T→∞lim​2T1​∫−TT​X(t)dt . 进而我们可以定义该平稳过程的时间相关函数为 ⟨ X ( t ) X ( t + τ ) ⟩ = lim ⁡ T → ∞ 1 2 T ∫ − T T X ( t ) X ( t + τ ) d t   . \langle X(t)X(t+\tau)\rangle=\lim_{T\to\infty}\frac{1}{2T}\int_{-T}^TX(t)X(t+\tau){\rm d}t \ . ⟨X(t)X(t+τ)⟩=T→∞lim​2T1​∫−TT​X(t)X(t+τ)dt . 类似地，我们给出如下三种参数空间的平稳过程的时间平均。如果时间参数空间是离散型的，我们可以用级数代替均方积分。

如果 { X ( t ) : t ≥ 0 } \{X(t):t\geq0\} {X(t):t≥0} 为平稳过程，我们可以定义该过程的时间平均为 ⟨ X ( t ) ⟩ = lim ⁡ T → ∞ 1 T ∫ 0 T X ( t ) d t   , ⟨ X ( t ) X ( t + τ ) ⟩ = lim ⁡ T → ∞ 1 T ∫ 0 T X ( t ) X ( t + τ ) d t   . \langle X(t)\rangle=\lim_{T\to\infty}\frac{1}{T}\int_0^TX(t){\rm d}t \ , \quad \langle X(t)X(t+\tau)\rangle=\lim_{T\to\infty}\frac{1}{T}\int_{0}^TX(t)X(t+\tau){\rm d}t \ . ⟨X(t)⟩=T→∞lim​T1​∫0T​X(t)dt ,⟨X(t)X(t+τ)⟩=T→∞lim​T1​∫0T​X(t)X(t+τ)dt . 如果 { X n : n ≥ 0 } \{X_n:n\geq0\} {Xn​:n≥0} 是平稳过程，我们可以定义该过程的时间平均为 ⟨ X n ⟩ = lim ⁡ N → ∞ 1 N ∑ n = 1 N X n   , ⟨ X n X n + k ⟩ = lim ⁡ N → ∞ 1 N ∑ n = 1 N X n X n + k   . \langle X_n\rangle=\lim_{N\to\infty}\frac{1}{N}\sum_{n=1}^NX_n \ , \quad \langle X_nX_{n+k}\rangle=\lim_{N\to\infty}\frac{1}{N}\sum_{n=1}^NX_nX_{n+k} \ . ⟨Xn​⟩=N→∞lim​N1​n=1∑N​Xn​ ,⟨Xn​Xn+k​⟩=N→∞lim​N1​n=1∑N​Xn​Xn+k​ . 如果 { X n : n ∈ Z } \{X_n:n\in\mathbb{Z}\} {Xn​:n∈Z} 是平稳过程，我们可以定义该过程的时间平均为 ⟨ X n ⟩ = lim ⁡ N → ∞ 1 2 N + 1 ∑ n = − N N X n   , ⟨ X n X n + k ⟩ = lim ⁡ N → ∞ 1 2 N + 1 ∑ n = − N N X n X n + k   . \langle X_n\rangle=\lim_{N\to\infty}\frac{1}{2N+1}\sum_{n=-N}^NX_n \ , \quad \langle X_nX_{n+k}\rangle=\lim_{N\to\infty}\frac{1}{2N+1}\sum_{n=-N}^NX_nX_{n+k} \ . ⟨Xn​⟩=N→∞lim​2N+11​n=−N∑N​Xn​ ,⟨Xn​Xn+k​⟩=N→∞lim​2N+11​n=−N∑N​Xn​Xn+k​ . 关于时间平均和样本平均的概念，我们需要注意一点：对于平稳过程 { X ( t ) : t ∈ T } \{X(t):t\in T\} {X(t):t∈T} 而言，如果设样本平均为 E ( X ( t ) ) = μ {\rm E}(X(t))=\mu E(X(t))=μ ，时间平均为 ⟨ X ( t ) ⟩ = η \langle X(t)\rangle=\eta ⟨X(t)⟩=η ，则有 μ \mu μ 是一个常数，而 η \eta η 是一个随机变量。

有了时间平均和时间相关函数的概念，我们回到之前的问题：是否可以用一条样本函数信息来估计均值函数和自相关函数。

对于平稳过程 { X ( t ) : t ∈ T } \{X(t):t\in T\} {X(t):t∈T} ，如果时间平均几乎处处等于样本平均，即 ⟨ X ( t ) ⟩ = E ( X ( t ) ) = μ X   , a . s .   , \langle X(t)\rangle={\rm E}(X(t))=\mu_X \ , \quad {\rm a.s.} \ , ⟨X(t)⟩=E(X(t))=μX​ ,a.s. , 则称过程的均值具有各态历经性。

对任意的实数 τ \tau τ ，如果时间相关函数几乎处处等于自相关函数，即 ⟨ X ( t ) X ( t + τ ) ⟩ = E ( X ( t ) X ( t + τ ) ) = R X ( τ )   , a . s .   , \langle X(t)X(t+\tau)\rangle={\rm E}(X(t)X(t+\tau))=R_X(\tau) \ , \quad {\rm a.s.} \ , ⟨X(t)X(t+τ)⟩=E(X(t)X(t+τ))=RX​(τ) ,a.s. , 则称过程的自相关函数具有各态历经性。

若平稳过程的均值函数和自相关函数都具有各态历经性，则称该平稳过程是各态历经过程。

首先考虑连续时间平稳过程的情况，设 { X ( t ) : t ∈ T } \{X(t):t\in T\} {X(t):t∈T} 的时间参数空间为 R \mathbb{R} R 或 [ 0 , ∞ ) [0,\infty) [0,∞) 。

定理：设 { X ( t ) : t ∈ R } \{X(t):t\in\mathbb{R}\} {X(t):t∈R} 是平稳过程，则 { X ( t ) } \{X(t)\} {X(t)} 的均值具有各态历经性当且仅当 lim ⁡ T → ∞ 1 T 2 ∫ − T T ( T − ∣ τ ∣ ) ( r X ( τ ) − μ X 2 ) d τ = 0   . \lim_{T\to\infty}\frac{1}{T^2}\int_{-T}^T(T-|\tau|)\left(r_X(\tau)-\mu_X^2\right){\rm d}\tau=0 \ . T→∞lim​T21​∫−TT​(T−∣τ∣)(rX​(τ)−μX2​)dτ=0 . 定理：设 { X ( t ) : t ≥ 0 } \{X(t):t\geq0\} {X(t):t≥0} 是平稳过程，则 { X ( t ) } \{X(t)\} {X(t)} 的均值具有各态历经性当且仅当 lim ⁡ T → ∞ 1 T 2 ∫ 0 T ( T − τ ) ( r X ( τ ) − μ X 2 ) d τ = 0   . \lim_{T\to\infty}\frac{1}{T^2}\int_{0}^T(T-\tau)\left(r_X(\tau)-\mu_X^2\right){\rm d}\tau=0 \ . T→∞lim​T21​∫0T​(T−τ)(rX​(τ)−μX2​)dτ=0 . 推论：设 { X ( t ) : t ∈ T } \{X(t):t\in T\} {X(t):t∈T} 的时间参数空间为 R \mathbb{R} R 或 [ 0 , ∞ ) [0,\infty) [0,∞) ，则 { X ( t ) } \{X(t)\} {X(t)} 的均值具有各态历经性当且仅当 lim ⁡ T → ∞ 1 T ∫ 0 T ( r X ( τ ) − μ X 2 ) d τ = 0   . \lim_{T\to\infty}\frac{1}{T}\int_{0}^T\left(r_X(\tau)-\mu_X^2\right){\rm d}\tau=0 \ . T→∞lim​T1​∫0T​(rX​(τ)−μX2​)dτ=0 . 推论：若 lim ⁡ τ → ∞ r X ( τ ) \lim\limits_{\tau\to\infty}r_X(\tau) τ→∞lim​rX​(τ) 存在，则 { X ( t ) } \{X(t)\} {X(t)} 的均值具有各态历经性当且仅当 lim ⁡ τ → ∞ r X ( τ ) = μ X 2 \lim\limits_{\tau\to\infty}r_X(\tau)=\mu_X^2 τ→∞lim​rX​(τ)=μX2​ 。

该推论是平稳过程均值具有各态历经性的充分条件，说明当时间间隔充分大时，若状态呈现不相关性，则均值具有各态历经性。

反之不一定成立，如随机相位正弦波过程的 lim ⁡ τ → ∞ r X ( τ ) \lim\limits_{\tau\to\infty}r_X(\tau) τ→∞lim​rX​(τ) 不存在，但它的均值是各态历经的。

接下来考虑离散时间平稳过程的情况，设 { X n : n ∈ T } \{X_n:n\in T\} {Xn​:n∈T} 的时间参数空间为 Z \mathbb{Z} Z 或 N ∗ \mathbb{N^*} N∗ 。

定理：设 { X n : n ∈ Z } \{X_n:n\in\mathbb{Z}\} {Xn​:n∈Z} 是平稳过程，则 { X n } \{X_n\} {Xn​} 的均值具有各态历经性当且仅当 lim ⁡ N → ∞ 1 N 2 ∑ k = − N N ( N − ∣ k ∣ ) ( r X ( k ) − μ X 2 ) = 0   . \lim_{N\to\infty}\frac{1}{N^2}\sum_{k=-N}^N(N-|k|)\left(r_X(k)-\mu_X^2\right)=0 \ . N→∞lim​N21​k=−N∑N​(N−∣k∣)(rX​(k)−μX2​)=0 . 定理：设 { X n : n ≥ 0 } \{X_n:n\geq0\} {Xn​:n≥0} 是平稳过程，则 { X n } \{X_n\} {Xn​} 的均值具有各态历经性当且仅当 lim ⁡ N → ∞ 1 N 2 ∑ k = 1 N ( N − k ) ( r X ( k ) − μ X 2 ) = 0   . \lim_{N\to\infty}\frac{1}{N^2}\sum_{k=1}^N(N-k)\left(r_X(k)-\mu_X^2\right)=0 \ . N→∞lim​N21​k=1∑N​(N−k)(rX​(k)−μX2​)=0 . 推论：设 { X n : n ∈ T } \{X_n:n\in T\} {Xn​:n∈T} 的时间参数空间为 Z \mathbb{Z} Z 或 N ∗ \mathbb{N^*} N∗ ，则 { X n } \{X_n\} {Xn​} 的均值具有各态历经性当且仅当 lim ⁡ N → ∞ 1 N ∑ k = 1 N ( r X ( k ) − μ X 2 ) = 0   . \lim_{N\to\infty}\frac{1}{N}\sum_{k=1}^N\left(r_X(k)-\mu_X^2\right)=0 \ . N→∞lim​N1​k=1∑N​(rX​(k)−μX2​)=0 . 推论：若 lim ⁡ k → ∞ r X ( k ) \lim\limits_{k\to\infty}r_X(k) k→∞lim​rX​(k) 存在，则 { X n } \{X_n\} {Xn​} 的均值具有各态历经性当且仅当 lim ⁡ k → ∞ r X ( k ) = μ X 2 \lim\limits_{k\to\infty}r_X(k)=\mu_X^2 k→∞lim​rX​(k)=μX2​ 。

以上定理和推论的证明我们就不予讨论了。

将均值各态历经性定理中的 X ( t ) X(t) X(t) 换成 X ( t ) X ( t + h ) X(t)X(t+h) X(t)X(t+h) 就可得到自相关函数各态历经性定理。

定理：设 { X ( t ) : t ∈ R } \{X(t):t\in\mathbb{R}\} {X(t):t∈R} 是平稳过程，对任意给定的 h h h ， { X ( t ) X ( t + h ) : t ∈ R } \{X(t)X(t+h):t\in\mathbb{R}\} {X(t)X(t+h):t∈R} 也是平稳过程，

则 { X ( t ) } \{X(t)\} {X(t)} 的自相关函数具有各态历经性当且仅当 lim ⁡ T → ∞ 1 T ∫ 0 T ( B h ( τ ) − r X 2 ( h ) ) d τ = 0   , \lim_{T\to\infty}\frac1T\int_0^T\left(B_h(\tau)-r_X^2(h)\right){\rm d}\tau=0 \ , T→∞lim​T1​∫0T​(Bh​(τ)−rX2​(h))dτ=0 , 其中 B h ( τ ) = E [ X ( t ) X ( t + h ) X ( t + τ ) X ( t + h + τ ) ] B_h(\tau)={\rm E}\left[X(t)X(t+h)X(t+\tau)X(t+h+\tau)\right] Bh​(τ)=E[X(t)X(t+h)X(t+τ)X(t+h+τ)] 。