对于零均值化后的平稳观测数据\(x_1,x_2,\cdots,x_N\), 如果拟合AR(\(p\))和MA(\(q\))模型的效果都不理想, 就要考虑ARMA(\(p,q\))模型的拟合. 这时可以假设\(x_1,x_2,\cdots,x_N\)满足如下的可逆ARMA(\(p,q\))模型 \[\begin{align} X_t = \sum_{j=1}^p a_j X_{t-j} + \varepsilon_t +\sum_{j=1}^q b_j\varepsilon_{t-j}, t=1,2,\dots \tag{21.1} \end{align}\] 其中\(\{\varepsilon_t\}\) 是WN(0,\(\sigma^2\)), 未知参数\(\boldsymbol{a}=(a_1,a_2,\cdots,a_p)^T\)和\(\boldsymbol{b} =(b_1,b_2,\cdots,b_q)^T\)使得多项式 \[\begin{align} A(z)= 1- \sum_{j=1}^p a_j z^j , \ \ B(z)=1+\sum_{j=1}^q b_j z^j \tag{21.2} \end{align}\] 互素, 并且满足 \[\begin{align} A(z)B(z) \neq 0,\ |z|\leq 1. \tag{21.3} \end{align}\]

以下仍然用 \(\hat \gamma_k\)表示由(19.2)定义的样本自协方差函数. 我们先设\(p,q\)是已知的.

利用§13.4的(13.11)知道 ARMA(\(p,q\))序列的自协方差函数满足延伸的Yule-Walker方程 \[\begin{align} \left ( \begin{array}{llll} \gamma_{q+1}\\ \gamma_{q+2}\\ \vdots \\ \gamma_{q+p} \end{array} \right ) = \left ( \begin{array}{llll} \gamma_{q} \ & \gamma_{q-1} \ &\cdots& \gamma_{q-p+1}\\ \ \gamma_{q+1}\ & \gamma_{q} \ &\cdots& \gamma_{q-p+2}\\ \vdots & \vdots & \cdots & \vdots \\ \ \gamma_{q+p-1}\ & \gamma_{q+p-2} \ &\cdots& \gamma_q\\ \end{array} \right ) \left ( \begin{array}{llll} a_1\\ a_2\\ \vdots \\ a_p \end{array} \right ) \tag{21.4} \end{align}\] 这是参数\(\boldsymbol a\) 的估计方程, 从它得到\(\boldsymbol a\)的矩估计 \[\begin{align} \left ( \begin{array}{llll} \hat a_1\\ \hat a_2\\ \vdots \\ \hat a_p \end{array} \right ) = \left ( \begin{array}{llll} \hat \gamma_{q} \ &\hat \gamma_{q-1} \ &\cdots&\hat \gamma_{q-p+1}\\ \hat \gamma_{q+1}\ & \hat \gamma_{q} \ &\cdots&\hat \gamma_{q-p+2}\\ \vdots & \vdots & \cdots & \vdots \\ \hat \gamma_{q+p-1}\ &\hat \gamma_{q+p-2} \ &\cdots&\hat \gamma_q\\ \end{array} \right ) ^{-1} \left ( \begin{array}{llll} \hat \gamma_{q+1}\\ \hat \gamma_{q+2}\\ \vdots \\ \hat \gamma_{q+p} \end{array} \right ). \tag{21.5} \end{align}\]

利用§13.4的定理13.2知道(21.4)中的\(p\times p\)矩阵\(\Gamma_{p,q}\)是可逆的. 用\(\hat \Gamma_{p,q}\)表示(21.5)中的\(p\times p\)矩阵. 当ARMA(\(p,q\))模型中的白噪声\(\{\varepsilon_t\}\)独立同分布时, \(\hat\gamma_k\) a.s.收敛到\(\gamma_k\). 于是当\(N\to \infty\), \[ \det(\hat \Gamma_{p,q})\to \det(\Gamma_{p,q}) \neq 0. \] 所以当\(N\)充分大后, (21.5)中的 矩阵 \(\hat \Gamma_{p,q}\)也是可逆的. 这时矩估计是惟一的. 还可以看出, 在上述的条件下, 矩估计(21.5)是强相合的: \[\begin{align} \lim_{N\to \infty} \hat a_j =a_j, \ a.s., \ 1\leq j\leq p. \tag{21.6} \end{align}\]

这种相合性要求大样本， 在中小样本情形有很大可能误差较大， 且不一定满足最小相位条件。 在中小样本， 矩估计不是一种实用的方法， 即使作为最大似然估计的初值也不太合适。

下面估计MA\((q)\)部分的参数. 由于 \[ z_t \stackrel{\triangle}{=} x_t- \sum_{j=1}^p a_j x_{t-j}, \ t=p+1,p+2,\dots,N \] 满足MA(\(q\))模型 \[ z_t=B(\mathscr B)\varepsilon_t, \] 所以得到\(\hat a_1, \hat a_2,\dots,\hat a_p\)后, \[\begin{align} y_t = x_t - \sum_{j=1}^p \hat a_j x_{t-j}, \ t=p+1,p+2,\dots,N. \tag{21.7} \end{align}\] 是一个MA(\(q\))序列的近似观测数据. 它的样本自协方差函数由 \[\begin{align} \hat \gamma_y(k) = \sum_{j=0}^p \sum_{l=0}^p \hat a_j \hat a_l \hat \gamma_{k+j-l}, k=0,1,\cdots, q \tag{21.8} \end{align}\] 定义, 其中\(\hat a_0=-1\). 现在将(21.8)看成一个MA\((q)\)序列的样本自协方差函数, 利用第20章的方法就可以估计出MA\((q)\)部分的参数\(\boldsymbol b\)和\(\sigma^2\).

矩估计法，其中MA部分用逆相关函数法的R程序：