时间序列分析

Knowledge sharing by FC

1 基本概念

1.1 随机过程

设 $X_0, X_1,X_2…$ 是一列独立同分布的随机变量序列，令
$$
S_n = S_0+X_1+X_2+…+X_n
$$
则随机变量序列 $$S_n$$ 为随机过程。

1.2 均值／协方差／方差函数

对于序列${X_t}$：

• 均值函数：
  $$
  \mu_X(t)=E[X(t)]
  $$
  ​

• 协方差函数：
  $$
  \gamma_X(s,t)=E[(X(s)-\mu_X(s))(X(t)-\mu_X(t))]
  $$
  ​

• 方差函数：
  $$
  D_X(t)=r_X(t,t)=E[(X(s)-\mu_X(s))^2]
  $$
  Note:
  为弱平稳的描述做准备。

1.3 平稳性

平稳性：时间序列的行为不随时间改变。

Why stationary?

简化问题的假设。

• 强平稳：对于一个时间序列${Zt}$与任意整数k，如果
  $$
  Z\{t1}, Z_{t2},…,Z_{tn}
  $$
  与
  $$
  Z_{t1-k}, Z_{t2-k},…,Z_{tn-k}
  $$
  的联合分布一致，那么称该序列强平稳。
• 弱平稳：对于一个序列，若其均值函数是常数，协方差函数仅与时间差相关，那么称该序列弱平稳。
  Note:
  强弱平稳并不相互包含。满足假设则预测结果好。ADF检验等，对不平稳的序列可做差分。

1.4 差分方程

一阶差分方程：

一个变量在$t$时刻的值记作$y_t$，$t$时刻和$t-1$时刻的值可以由以下一阶线性差分方程刻画：
$$
y_t=\phi y_{t-1+w_t}
$$
差分方程表达一个变量与他前期值的关系。

p阶差分方程

$$
y_t=\phi_ty_{t-1}+\phi_2y_{t-2}+…+\phi_py_{t-p}+w_t
$$

差分方程的递归解

$$
y_t=\phi^{t+1}y_{-1}+(w_t+\phi w_{t-1}+\phi^2w_{t-2}+…+\phi^{t-1}w_1＋\phi^tw_0)
$$

动态乘子

$$
\frac{\partial y_t}{\partial w_0}=\phi^t,\frac{\partial y_{t+j}}{\partial w_t}=\phi^j
$$
Note:
描述t时刻的扰动wt对于j时刻后的影响。
phi的取值以1为界对于过程的影响（消散，放大）

1.5 延迟算子

令B为一步延迟算子，如果当前序列乘以一个延迟算子，表示把当前序列值的时间向过去拨一个时刻。
使用延迟算子表示的一阶差分方程:
$$
y_t=\phi y_{t-1}+w_t\\
y_t=\phi By_t+w_t\\
(1-\phi B)y_t=w_t
$$

延迟算子性质

$$
\begin{align}
BX_t&=X_{t-1}\\
B^2X_t&=X_{t-2}\\
&…\\
B^nX_t&=X_{t-n}\\
\end{align}
$$
$$
\begin{align}
&(1)B^0=1\\
&(2)若c为任意常数，则B(cX_t)=cB(X_t)=cX_{t-1}\\
&(3)(1-B)^n=\sum_{i=0}^n \frac{(-1)^n n!}{i!(n-i)!}B^i
\end{align}
$$

2 线性平稳时间序列

2.1 自回归过程（AR）

一阶自回归过程AR(1)：

如${X_t}$为平稳序列，且满足如下差分方程：
$$
X_t=c+\phi X_{t-1}+\varepsilon_t
$$
其中系数表示对前一项的依赖程度，扰动为白噪声序列，则称${X_t}$满足一阶自回归模型。
Note:
WN: mean=0 方差sigma，不少分析中会先把序列中心化，即减均值。认为序列与前期值有关。

平稳条件：

特征方程：$\lambda-\phi=0$的根的绝对值小于1，即
$$
|\phi|<1
$$
Note:
这与差分方程中动态乘子的意义一致。

方差与均值

$$
E(X_t)=\frac{c}{1-\phi}\\
E(X_t-\mu)^2=\frac{\sigma^2}{1-\phi^2}
$$

利用延迟算子，一阶自回归模型可以表示为：
$$
(1-\phi B)X_t=c+\varepsilon_t\\
\begin{align}
X_t&=(1-\phi B)^{-1}(c+\varepsilon_t)\\
&=\frac{c}{1-\phi}+(1-\phi B)^{-1}\varepsilon_t
\end{align}
$$
如果满足平稳条件，则可表示为：
$$
\begin{align}
X_t&=\frac{c}{1-\phi}+(1+\phi B+…+\phi^j B^j+…)\varepsilon_t\\
&=\frac{c}{1-\phi}+\varepsilon_t+\phi\varepsilon_{t-1}+…+\phi^j\epsilon_{t-j}…
\end{align}
$$
Note:
类似于一个数列极限。平稳则扰动项必须收敛，否则与影响无限扩大。AR1是一个无限阶的移动平均过程。

2.2 移动平均过程

一阶移动平均过程MA(1)：

${X_t}$若满足如下方程：
$$
X_t=\mu+\varepsilon_t-\theta\varepsilon_{t-1}
$$
其中$\mu$为常数，$\theta$为移动平均系数，$\varepsilon$为白噪声过程，则称${X_t}$满足一阶移动平均模型。
Note:
认为序列和前一时刻的扰动有关。

MA(1)的均值与方差

$$
E(X_t)=\mu
$$
$$
E(X_t-\mu)^2=E(\varepsilon_t-\theta\varepsilon_{t-1})^2=(1+\theta^2)\sigma^2
$$

2.3 自回归移动平均过程

ARMA(p,q)模型的一般表达式为：
$$
X_t=c+\phi_1 X_{t-1}+…+\phi_p X_{t-p}+\\
\varepsilon_t-\theta_1\varepsilon_{t-1}-…-\theta_q\varepsilon_{t-q}\\
\forall s<t, E(X_s\varepsilon_t)=0
$$

2.4 相关系数

2.4.1 自相关系数ACF

AR(1)的自协方差与自相关系数：
$$
\gamma_k=E(x_tx_{t-k})=\phi_1E(x_{t-1}x_{t-k})+E(\varepsilon_tx_{t-k})=\phi_1\gamma_{k-1}\\
\gamma_k=\phi_1^k\gamma_0
$$
$$
\rho_k=\frac{\gamma_k}{\gamma_0}=\phi_1^k
$$
Note:
这里是中心化后的序列，自协方差受幅度影响，相关系数去除幅度影响。

AR(p)的自协方差与自相关系数：
$$
\gamma_k=\phi_1\gamma_{k-1}+…+\phi_p\gamma_{k-p}, k>0\\
\rho_k=\phi_1\rho_{k-1}+…+\phi_p\rho_{k-p}, k>0
$$
（Yule-Walker方程，系数阵正定，可解回归系数）
Note:
p1=1，自己和自己的相关系数。模型定阶后可以求p阶协方差，解方程组。

MA(1)的自协方差与自相关系数：
$$
\gamma=E(x_t-\mu)(x_{t-k}-\mu)=E(\varepsilon-\theta\varepsilon_{t-1})(\varepsilon_{t-k}-\theta\varepsilon_{t-k-1})\\
\gamma_0=(1+\theta^2)\sigma^2\\
\gamma_1=\theta\sigma^2\\
\gamma_k=0,k>1\\
\rho_1=\frac{\theta\sigma^2}{(1+\theta^2)\sigma^2}=\frac{\theta}{1+\theta^2}
$$
高阶自相关系数均为0。

MA(q)的自协方差与自相关系数：
$$
\gamma_j=(\theta_j+\theta_{j+1}\theta_1+\theta_{j+2}\theta_2+…+\theta_q\theta_{q-j})\sigma^2, j=1,2,…,q\\
\rho_j=\frac{\theta_j+\theta_1\theta_{j+1}+…+\theta_{q-j}\theta_{q}}{1+\theta_1^2+…+\theta_q^2}, j=1,2,…,q
$$
解非线性方程，可得滑动平均系数。
Note:
for j>q, gamma=0,p=0，解非线性方程，可得滑动平均系数

ARMA(p,q)的自协方差与自相关系数：
$$
X_t=c+\phi_1 X_{t-1}+…+\phi_p X_{t-p}+\\
\varepsilon_t-\theta_1\varepsilon_{t-1}-…-\theta_q\varepsilon_{t-q}
$$

先同乘以$X_{t-k}$，求均值得自协方差，得到Yule-Walker方程，求回归系数，然后构造：

$$
X_t^*=X_t-(\phi_1 X_{t-1}-…-\phi_p X_{t-p})
$$
$X_t^*$为MA(q)序列，按MA(q)序列计算自协方差／自相关系数，解非线性方程得滑动回归系数。

2.4 相关系数

2.4.2 偏自相关系数PACF

$$
\begin{align}
\varphi_{11}&=\rho_1\\
\varphi_{k+1,k+1}&=(\rho_{k+1}-\sum_{j=1}^k\rho_{k+1-j}\varphi_{k,j})(1-\sum_{j=1}^k\rho_j\varphi_{k,j})\\
\varphi_{k+1,j}&=\varphi_{k,j}-\varphi_{k+1,k+1}\varphi_{k+1,k+1-j}, j=1,2,…k
\end{align}
$$
Note:
用于定阶。

$$
D=
\begin{vmatrix}
1 & \rho_1 & \cdots & \rho_{k-1}\\
\rho_1 & 1 & \cdots & \rho_{k-2}\\
\vdots & \vdots & &\vdots\\
\rho_{k-1} & \rho_{k-2} & \cdots & 1\\
\end{vmatrix}
$$
$$
D_k=
\begin{vmatrix}
1 & \rho_1 & \cdots & \rho_{k-1}\\
\rho_1 & 1 & \cdots & \rho_{k-2}\\
\vdots & \vdots & &\vdots\\
\rho_{k-1} & \rho_{k-2} & \cdots & \rho_k\\
\end{vmatrix}
$$
$$
\varphi_{kk}=\frac{D_k}{D}
$$

3 实际应用

3.1 模型（阶数）识别

ACF/PACF定阶

AIC／BIC准则：
$$
AIC(p,q)=ln\hat\sigma_k^2+\frac{2(p+q+1)}{N}\\
BIC(p,q)=log\hat\sigma_k^2+\frac{p+q+1}{N}logN
$$
选择最大阶数（$N^\frac{1}{2},logN,\frac{N}{10}$），

计算使AIC or BIC最小的p，q，作为模型阶数。
Note:
耗时，每次要计算出模型，再计算拟合残差，MAXLAG^2次计算。

3.2 参数估计

• 矩估计
• 极大似然估计
  Note:
  矩估计：Yuler-Walker方程等。

极大似然估计

以AR(1)为例：
$$
X_t=c+\phi X_{t-1}+\varepsilon_t
$$
序列观测值：$x_1,…x_T$
$\varepsilon_t$为白噪声，参数为$\theta=(\phi, \sigma^2)$
对于第一个样本，$X_1:N(\frac{c}{1-\phi},\frac{\sigma^2}{1-\phi^2})$，即$X1$的概率分布：
$$
f\{X_1}(x_1;\phi,\sigma^2)=\frac{1}{\sqrt{2\pi}\sqrt{\sigma^2/(1-\phi^2)}}exp[-\frac{x_1^2}{2\sigma^2/(1-\phi^2)}]
$$
Note:
假设X1的期望与方差，与2.3中分析的一致。如果认为初始值也服从N(0,\sigma^2)，则忽略了初始值之前的影响。

考察，第二个样本$X_2$在$X_1=x_1$已知条件下的概率分布，由于
$$
X_2=c+\phi X_1+\varepsilon_2
$$
$$
f_{X_2|X_1}(x_2|x_1;\phi,\sigma^2)=\frac{1}{\sqrt{2\pi}\sigma}exp[-\frac{(x_2-\phi x_1)^2}{2\sigma^2}]
$$
根据贝叶斯公式，$X_1,X2$的联合分布为：
$$
f\{X_1,X_2}(x_1,x_2;\phi,\sigma^2)=f_{X_1}(x_1;\phi,\sigma^2)f_{X_2|X_1}(x_2|x_1;\phi,\sigma^2)
$$
Note:
X2~N((c+\phi x_1), \sigma^2)。常数+\varepsilon_t。

在前t－1个值已知的条件下，实际上$Xt$仅与$X{t-1}$有关：
$$
f_{X_t|X_{t-1},…,X_1}(x_t|x_{t-1},…,x_1;\phi,\sigma^2)=\frac{1}{\sqrt{2\pi}\sigma}exp[-\frac{(x_t-\phi x_{t-1})^2}{2\sigma^2}]
$$
则$X_T…X1$的联合分布为：
$$
f\{X_T,…,X_1}(x_T,…,x_1;\phi,\sigma^2)=f_{X_1}(x_1;\phi,\sigma^2)\prod_{t=2}^{T}f_{X_t|X_{t-1}}(x_t|x_{t-1};\phi,\sigma^2)
$$

对数似然函数为：
$$
L(\phi,\sigma^2)＝-\frac{T}{2}log(2\pi)-\frac{1}{2}log[\sigma^2/(1-\phi^2)]-\frac{1}{2\sigma^2/(1-\sigma^2)}x_1^2\\
-[(T-1)/2]log(\sigma^2)-\frac{1}{2\sigma^2}\sum_{t=2}^{T}(x_t-\phi x_{t-1})^2
$$
Note:
求偏导数＝0的点。

向量形式：
$$
x = (x_1,x_2,…,x_T)^T\\
\Omega=\\
\begin{vmatrix}
E(X_1-\mu)^2 & E(X_1-\mu)(X_2-\mu) & \cdots & E(X_1-\mu)(X_T-\mu)\\
E(X_2-\mu)(X_1-\mu) & E(X_2-\mu)^2 & \cdots & E(X_2-\mu)(X_T-\mu)\\
\vdots & \vdots & &\vdots\\
E(X_T-\mu)(X_1-\mu) & E(X_T-\mu)(X_2-\mu) & \cdots & E(X_T-\mu)^2\\
\end{vmatrix}
$$

$$
\Omega=\sigma^2 V\\
V=\frac{1}{1-\phi^2}
\begin{vmatrix}
1 & \phi & \cdots & \phi^{T-1}\\
\phi & 1 & \cdots & \phi^{T-2}\\
\vdots & \vdots & &\vdots\\
\phi^{T-1} & \phi^{T-2} & \cdots & 1\\
\end{vmatrix}
$$
$$
f_X(x;\phi,\sigma)=(2\pi)^{-T/2}|\Omega^{-1}|^{1/2}exp[-\frac{1}{2}(x-\mu)^t\Omega^{-1}(x-\mu)]
$$

MA(1)的似然函数：
$$
x_t=\mu+\varepsilon_t-\theta\varepsilon_{t-1}\\
L(\theta)=-\frac{T}{2}-\frac{T}{2}log(\sigma^2)-\sum_{t=1}^T\frac{\varepsilon_t^2}{2\sigma^2}
$$
$$
\varepsilon_t=(x_t-\mu)-\theta(x_{t-1}-\mu)+\theta^2(x_{t-2}-\mu)+…+(-1)^t\theta^t\varepsilon_0
$$
Note:
epsilon序列可表示为\theta的函数，非线性函数。

向量形式：
$$
\Omega=\sigma^2
\begin{vmatrix}
(1+\theta^2) & \theta & 0 & \cdots & 0\\
\theta &(1+\theta^2) & \theta & \cdots & 0\\
0 & \theta & (1+\theta^2) & \cdots & 0\\
\vdots & \vdots & \vdots & &\vdots\\
0 & 0 & 0 & \cdots & (1+\theta^2)\\
\end{vmatrix}
$$
$$
f_X(x;\theta)=(2\pi)^{-T/2}|\Omega|^{-1/2}exp[-\frac{1}{2}(x-\mu)^t\Omega^{-1}(x-\mu)]
$$

ARMA(p,q)的极大似然估计：
令$\beta=(\phi_1,…,\phi_p,\theta_1,…,\theta_q)$，

似然函数为：
$$
L(\beta)=-\frac{T}{2}log(2\pi)-\frac{T}{2}log(\sigma^2)-\sum_{t=1}^{T}\frac{\varepsilon_t^2}{2\sigma^2}
$$
$$
\varepsilon_t=x_t-c-\phi_1x_{t-1}-…-\phi_px_{t-p}\\
-\theta_1\varepsilon_{t-1}-…-\theta_q\varepsilon_{t-q}
$$
Note:
参数包含在epsilon序列中

4 一个实验

data：601000.ss, from 2014-8-9 to 2017-4-20，BIC准则定阶，前300个作为训练集，ARMA(4,0)。结果：RMSE:
0.30651974757
MAPE
0.0123583871228

That’s all