ACVF of ARMA(1, 1)

\(ARMA(1, ~ 1)\) process is a time series \(\left\{ X_{t} \right\}\) defined as:

\[X_{t} - \phi X_{t-1} = Z_{t} + \theta Z_{t-1}
\]

where \(|\phi| < 1\) and \(\left\{ Z_{t} \right\} \sim WN(0, ~ \sigma^{2})\)。

---

它的 ACVF (autocovariance function) 可以通过改写为 linear process 的形式的方法求出，其中 linear process 定义为一个 time series \(\left\{ X_{t} \right\}\) which can be written as:

\[X_{t} = \sum\limits^{\infty}_{j = -\infty} \varphi_{j} Z_{t - j}
\]

其中对于\(\forall j \in \mathbb{Z}\)，系数 \(\varphi_{j}\) 为常数，并且\(\left\{ Z_{t} \right\} \sim WN(0, ~ \sigma^{2})\)。

---

对于上述的一个 linear process，它的 ACVF 为：

\[\gamma (h) = \sigma^2 \sum\limits^{\infty}_{j = -\infty} \varphi_{j}\varphi_{j+h}
\]

这是因为：

\[\begin{align*}
\gamma(h) & = Cov(X_{t+h}, ~ X_{t})\\
& = Cov(\sum\limits^{\infty}_{j = -\infty} \varphi_{j} Z_{t + h - j}, ~ \sum\limits^{\infty}_{j = -\infty} \varphi_{j} Z_{t - j}) \\
& = Cov(\sum\limits^{\infty}_{i = -\infty} \varphi_{i} Z_{t + h - i}, ~ \sum\limits^{\infty}_{j = -\infty} \varphi_{j} Z_{t - j})
\end{align*}
\]

由于 \(Z_{t} \sim WN(0, ~ \sigma^2)\)，那么：

\[Cov(Z_{t}, ~ Z_{t}) = Var(Z_{t}) = \sigma^2
\]

并且对于 \(\forall s \neq t\)：

\[Cov(Z_{s}, ~ Z_{t}) = 0
\]

因此观察 \(Cov(\sum\limits^{\infty}_{i = -\infty} \varphi_{i} Z_{t + h - i}, ~ \sum\limits^{\infty}_{j = -\infty} \varphi_{j} Z_{t - j})\)，将它逐项展开后，当且仅当 \(Z_{t+h-i}\) 和 \(Z_{t-j}\) 为同一个随机变量时，有：

\[Cov(Z_{t+h-i}, ~ Z_{t-j}) = \sigma^{2}
\]

否则：

\[Cov(Z_{t+h-i}, ~ Z_{t-j}) = 0
\]

也就是说，当且仅当下标满足 \(t + h - i = t - j \implies i = j + h\) 时，展开后的该项不为 \(0\)。那么不为零的各项前面的系数应是 \(\varphi_{j}\) 和 \(\varphi_{j+h}\)，且值为 \(\sigma^{2}\)，即：

\[\gamma (h) = \sigma^2 \sum\limits^{\infty}_{j = -\infty} \varphi_{j}\varphi_{j+h}
\]

---

推导如下：

\(ARMA(1, 1)\) 的 LHS：

\[\begin{align*}
X_{t} - \phi X_{t-1} & = X_{t} - \phi B X_{t}\\
& = (1 - \phi B) X_{t}
\end{align*}
\]

其中 \(B\) 为 backward shift operater，那么 \(ARMA(1, ~ 1)\) process 可以继续做如下变换：

\[\begin{align*}
X_{t} & = \frac{1}{1 - \phi B} (Z_{t} + \theta Z_{t-1})\\
& = (1 + \phi B + \phi^{2} B^{2} + \phi^{3} B^{3} + \cdots) (Z_{t} + \theta Z_{t-1})\\
& = (Z_{t} + \phi B Z_{t} + \phi^{2} B^{2} Z_{t} + \phi^{3} B^{3} Z_{t} + \cdots) + (\theta Z_{t-1} + \theta \phi B Z_{t-1} + \theta \phi^{2} B^{2} Z_{t-1} + \theta \phi^{3} B^{3} Z_{t-1} +\cdots)\\
& = (Z_{t} + \phi Z_{t-1} + \phi^{2} Z_{t-2} + \phi^{3}Z_{t-3} + \cdots) + (\theta Z_{t-1} + \theta \phi Z_{t-2} + \theta \phi^{2} Z_{t-3} + \cdots)\\
& = Z_{t} + (\phi + \theta) Z_{t-1} + \phi (\phi + \theta) Z_{t-2} + \phi^{2} (\phi + \theta) Z_{t-3} + \cdots
\end{align*}
\]

因此它可以写作 linear process 的形式：

\[X_{t} = \sum\limits^{\infty}_{j = 0} \varphi_{j} Z_{t - j}
\]

其中，\(\varphi_{0} = 1\)，\(\varphi_{j} = \phi^{j-1}(\phi + \theta)\) for \(j \geq 1\)。

因此它的 ACVF 为：

• 当 \(h \geq 1\)：

  \[\begin{align*}
  \gamma (h) & = \sigma^2 \sum\limits^{\infty}_{j = 0} \varphi_{j}\varphi_{j+h}\\
  & = \sigma^{2} \left(\sum\limits^{\infty}_{j = 1} \varphi_{j}\varphi_{j+h} + \varphi_{0}\varphi_{h} \right)\\
  & = \sigma^{2} \left(\sum\limits^{\infty}_{j = 1} \phi^{j+h-1}(\phi+\theta)\phi^{j-1}(\phi+\theta) + \varphi_{h} \right)\\
  & = \sigma^{2} \left( \phi^{h-1} (\phi + \theta) + (\phi + \theta)^{2} \phi^{h} \sum\limits^{\infty}_{j=1}\phi^{2j-2} \right)\\
  & = \sigma^{2} \left( \phi^{h-1}(\phi+\theta) + \frac{(\phi+\theta)^{2}\phi^{h}}{1 - \phi^{2}} \right)
  \end{align*}
  \]

• 当 \(h = 0\)：

  \[\gamma(h) = \sigma^{2}\left( 1 + \frac{(\phi+\theta)^{2}}{1-\phi^{2}}\right)
  \]