arma模型参数估计

# R语言 ARMA 参数模型数学公式在时间序列分析中，自回归移动平均模型（ARMA模型）是一种常见的方法。

ARMA模型结合了自回归（AR）和移动平均（MA）部分来拟合时间序列数据。

## 数学公式一个ARMA(p, q)模型可以表示为：Xt=c+∑i=1pϕiXt−i+∑j=1qθjεt−j+εtXt = c + \sum_{i=1}^{p} \phi_i X_{t-i} + \sum_{j=1}^{q} \theta_j \varepsilon_{t-j} + \varepsilon_tXt=c+∑i=1pϕiXt−i +∑j=1qθjεt−j+εt其中：* XtXXt是时间序列在时刻 ttt 的值。

* ccc 是常数项。

* ϕi\phi_iϕi 是自回归部分的参数，表示时间序列对过去值的依赖程度。

* θj\theta_jθj是移动平均部分的参数，表示时间序列对当前和过去噪声项（误差）的依赖程度。

* εt\varepsilon_tεt是白噪声过程，通常假设为独立同分布（iid）的正态分布，均值为0，方差为σ2\sigma^2σ2。

* ppp 是自回归部分的阶数，表示模型考虑的过去值的数量。

* qqq 是移动平均部分的阶数，表示模型考虑的过去噪声项的数量。

## ARMA模型的特性* **平稳性**：ARMA模型通常应用于平稳时间序列，即时间序列的统计特性（如均值和方差）不随时间变化。

* **预测**：ARMA模型可用于预测时间序列的未来值。

通过拟合模型参数，我们可以使用过去的观测值来预测未来的点。

* **自相关函数（ACF）和偏自相关函数（PACF）**：这些函数用于诊断ARMA模型的阶数。

自相关函数衡量时间序列与其自身过去值之间的相关性，而偏自相关函数衡量在给定中间值时这种相关性的程度。

## 在R中实现ARMA模型在R语言中，可以使用`forecast`或`TSA`包来拟合ARMA模型。

下面是一个简单的例子，展示如何使用`arima()`函数来拟合一个ARMA(1, 1)模型：```R# 加载必要的包install.packages("TSA")library(TSA)# 生成一些模拟数据set.seed(123) # 设置种子以保证结果可复现data <- arima.sim(n = 100, list(ar = c(0.6), ma = c(0.4))) # 模拟ARMA(1, 1)数据# 拟合ARMA(1, 1)模型fit <- arima(data, order = c(1, 0, 1))# 输出模型结果fit```这将拟合一个ARMA(1, 1)模型到模拟数据，并输出模型的参数估计和其他统计信息。

arma模型的数学表达式摘要：一、arma模型的简介- 自回归滑动平均模型(ARMA)的概念- ARMA模型在时间序列分析中的应用二、arma模型的数学表达式- ARMA模型的数学定义- 典型ARMA模型的数学表达式三、arma模型的性质与特点- ARMA模型的稳定性- ARMA模型的自相关函数和偏自相关函数四、arma模型的参数估计与预测- 矩估计方法- 极大似然估计方法- ARMA模型的预测方法正文：一、ARMA模型的简介自回归滑动平均模型，简称ARMA模型，是一种常用的时间序列分析模型。

它由自回归模型(AR)和滑动平均模型(MA)组合而成，能够同时考虑时间序列的自相关性和滑动平均性。

ARMA模型广泛应用于经济学、金融学、气象学等领域，用于预测和分析具有线性趋势的时间序列数据。

二、ARMA模型的数学表达式ARMA模型的数学定义如下：Y_t = c + Φ1Y_(t-1) + Φ2Y_(t-2) + ...+ Φpy_(t-p) + θ1X_(t-1) +θ2X_(t-2) + ...+ θqx_(t-q) + ε_t其中，Y_t表示需要分析的时间序列数据，c为常数项，Φi和θj为自回归和滑动平均系数，p和q分别为自回归和滑动平均的阶数，X_t为解释变量，ε_t为误差项。

典型的ARMA模型有：- AR(p)模型：当q=0时，ARMA模型退化为自回归模型。

- MA(q)模型：当p=0时，ARMA模型退化为滑动平均模型。

- ARMA(p,q)模型：当p≠0且q≠0时，为一般ARMA模型。

三、ARMA模型的性质与特点ARMA模型的稳定性主要取决于其系数Φ和θ的取值。

当|Φ(1+jω)|<1和|θ(1+jω)|<1时，ARMA模型是稳定的。

此外，ARMA模型的自相关函数(ACF)和偏自相关函数(PACF)可以用来分析时间序列的序列相关性和平均相关性。

四、ARMA模型的参数估计与预测ARMA模型的参数估计方法有矩估计和极大似然估计。

ARMA模型的参数估计主要内容ARMA模型是一种时间序列分析模型，用于预测和建模时间序列数据。

它结合了自回归模型（AR）和移动平均模型（MA），以描述时间序列数据中的自相关和随机误差。

ARMA模型的参数估计是建立一个最佳拟合模型的重要步骤，它涉及到估计AR和MA参数的值。

参数估计的主要内容如下：1.数据预处理：在进行参数估计之前，需要对时间序列数据进行预处理。

这包括去除趋势和季节性成分，以及对数据进行平稳性检验。

2.模型选择：首先，需要选择适当的ARMA模型来拟合时间序列数据。

模型选择可以通过观察自相关函数（ACF）和偏自相关函数（PACF）的图形来进行。

它们提供了关于时间序列数据中存在的自相关和部分自相关关系的信息。

根据这些图形，可以选择合适的AR和MA的阶数。

3.参数估计方法：有多种方法可以用来估计ARMA模型的参数。

最常用的是最大似然估计（MLE）方法，它通过最大化给定模型下样本数据的似然函数来估计参数。

另外，还可以使用最小二乘法（LS）方法和广义矩估计法（GMM）等。

4.AR和MA参数的估计：在估计AR和MA参数之前，需要对模型进行初始化。

一般情况下，初始参数可以设置为0。

然后，通过迭代算法（如牛顿拉夫逊算法）或优化算法（如梯度下降法）来估计AR和MA参数。

迭代算法逐步改进参数的值，直到找到最佳拟合模型。

5. 参数估计的评估：在估计完参数之后，需要对拟合模型进行评估。

这可以通过检查残差序列的自相关和偏自相关函数图形，以及进行统计检验（如Ljung-Box检验）来完成。

如果残差序列不具有自相关性，则可以认为模型已成功拟合数据。

6.模型诊断：最后，还需要对拟合模型进行诊断，以确定模型是否满足模型假设和统计性质。

这可以通过检查模型残差的分布是否为正态分布，以及是否存在异方差性和残差的齐性来完成。

如果模型不满足假设，则需要重新调整模型参数。

总之，ARMA模型的参数估计是建立合适模型的关键步骤。

通过对时间序列数据进行预处理，选择合适的模型，以及使用估计方法对参数进行估计和评估，可以找到最佳拟合模型，并进行预测和分析时间序列数据。

Arma模型是一种广泛应用于时间序列分析和预测的统计模型，它由自回归部分（AR）和移动平均部分（MA）组成。

在ARMA模型中，平稳时间序列可以表示为自回归部分的线性组合加上移动平均部分的线性组合。

对于ARMA模型的均值和方差的计算，有以下公式：1. ARMA模型的均值计算：ARMA(p,q)模型的均值为0，其中p和q分别代表自回归部分和移动平均部分的阶数。

2. ARMA模型的方差计算：ARMA(p,q)模型的方差由自回归部分的系数、移动平均部分的系数和误差项的方差共同决定。

假设ARMA(p,q)模型的自回归部分的系数为φ1，φ2，…，φp，移动平均部分的系数为θ1，θ2，…，θq，误差项的方差为σ^2，则ARMA模型的方差可以由以下公式计算得出：Var(Xt) = σ^2 * (1 + φ1^2 + φ2^2 + … + φp^2 + θ1^2 + θ2^2 + … + θq^2)其中，Var(Xt)代表时间序列Xt的方差。

3. ARMA模型的参数估计：在实际应用中，通常需要通过样本数据估计ARMA模型的参数。

常用的方法包括最大似然估计、最小二乘估计等。

通过参数估计得到ARMA模型的参数后，可以根据上述公式计算出模型的均值和方差。

ARMA模型的均值和方差是对时间序列特征的重要描述，对于理解时间序列数据的特性和进行预测具有重要意义。

对ARMA模型的均值和方差的计算公式有一定的了解，对于进行时间序列分析和预测具有一定的帮助。

ARMA模型的均值和方差计算公式是时间序列分析中的重要内容，对于了解时间序列数据的特性和进行预测具有重要意义。

在实际的时间序列分析和建模过程中，除了对ARMA模型的均值和方差进行计算外，还需要对ARMA模型的参数进行估计，并且需要考虑模型的拟合优度和预测效果，下文将进一步探讨ARMA模型的参数估计、拟合优度检验和预测应用。

4. ARMA模型参数估计方法在实际应用中，常用的ARMA模型参数估计方法包括最大似然估计、最小二乘估计等。

arma模型参数估计的格林函数法ARMA模型是时间序列分析中应用广泛的一种模型。

尤其在金融、经济等领域，ARMA模型被广泛应用。

该模型可以表示为一个自回归模型和一个移动平均模型的组合。

在实际应用中，常常需要估计ARMA模型的参数，以便进行后续的预测和分析。

本文将介绍一种利用格林函数法估计ARMA模型参数的方法。

一、ARMA模型的基本结构ARMA模型可以表示为下面的式子：$$y_t=a_0+\sum_{i=1}^p a_i y_{t-i}+\sum_{j=1}^q b_j\varepsilon_{t-j}+\varepsilon_t$$其中，$y_t$表示时间序列在$t$时刻的取值；$a_0$是一个常数项；$a_i$是自回归模型的系数，$p$表示自回归模型的阶数；$b_j$是移动平均模型的系数，$q$表示移动平均模型的阶数；$\varepsilon_t\sim N(0,\sigma^2)$表示白噪声误差。

在ARMA模型中，自回归模型描述了当前时刻的值与之前的若干个时刻值的关系，而移动平均模型则描述了当前时刻的值与前面的若干个随机噪声的关系。

二、格林函数法基本原理格林函数法是一种线性时不变系统的参数估计方法，主要用于一维离散系统的建模。

对于ARMA模型的参数估计，格林函数法可以看作是将ARMA模型在离散频域上拓展成一维离散系统，并构造出相应的状态转移矩阵。

具体地，ARMA模型在频域上可以表示为：$$Y(z)=\frac{\Theta(z)}{\Phi(z)}E(z)$$其中，$Y(z)$是时间序列的$z$变换，$\Theta(z)$和$\Phi(z)$分别是自回归模型和移动平均模型的$z$变换，$E(z)$是白噪声误差的$z$变换。

格林函数法的核心思想是，将这个离散系统映射到一维空间中，并构造出相应的状态转移矩阵。

具体地，假设$g_k$是该离散系统在状态$k$时的输出，$g_{k+1}$是该离散系统在下一个状态$k+1$时的输出。

自回归滑动平均模型（ARMA 模型，Auto-Regressive and Moving Average Model）是研究时间序列的重要方法，由自回归模型（简称AR模型）与滑动平均模型（简称MA模型）为基础“混合”构成。

在市场研究中常用于长期追踪资料的研究，如：Panel研究中，用于消费行为模式变迁研究；在零售研究中，用于具有季节变动特征的销售量、市场规模的预测等。

定义ARMA模型(auto regressive moving average model)自回归滑动平均模型，模型参量法高分辨率谱分析方法之一。

这种方法是研究平稳随机过程有理谱的典型方法，适用于很大一类实际问题。

它比AR模型法与MA模型法有较精确的谱估计及较优良的谱分辨率性能，但其参数估算比较繁琐。

ARMA模型参数估计的方法很多：如果模型的输入序列{u(n)}与输出序列{a(n)}均能被测量时，则可以用最小二乘法估计其模型参数，这种估计是线性估计，模型参数能以足够的精度估计出来；许多谱估计中，仅能得到模型的输出序列{x(n）}，这时，参数估计是非线性的，难以求得ARMA 模型参数的准确估值。

从理论上推出了一些ARMA模型参数的最佳估计方法，但它们存在计算量大和不能保证收敛的缺点。

因此工程上提出次最佳方法，即分别估计AR和MA参数，而不像最佳参数估计中那样同时估计AR和MA参数，从而使计算量大大减少。

基本原理将预测指标随时间推移而形成的数据序列看作是一个随机序列，这组随机变量所具有的依存关系体现着原始数据在时间上的延续性。

一方面，影响因素的影响，另一方面，又有自身变动规律，假定影响因素为x1，x2，…，xk，由回归分析，其中Y是预测对象的观测值，Z为误差。

作为预测对象Yt受到自身变化的影响，其规律可由下式体现，误差项在不同时期具有依存关系，由下式表示，由此，获得ARMA模型表达式：基本形式ARMA模型分为以下三种：自回归模型（AR：Auto-regressive）如果时间序列满足其中是独立同分布的随机变量序列，且满足：以及E() = 0则称时间序列为服从p阶的自回归模型。

Abstract With the progress of society, a large amount of data is produced every day. Therefore, how to find important information from a lot of data becomes very important.Time series is a series that the variables are arranged in a chronological order, and the observation sequences can be found anywhere in the daily life.Through the analysis of the observation sequence, we can find its law of development , and by extracting the information from it, we can predict the future tendency. What is said above is the time series analysis. The time series can be divided into stationary and non-stationary time sequences, and the suitable models can be selected for the fitting prediction according to different types of time series. For stationary time series, autoregressive moving average model is usually used for fitting, whilefor non-stationary time series, the autoregressive integrated moving average model, residual autoregressive model, autoregressive conditional heteroskedastic model or generalized autoregressive conditional heteroscedastic model are generally used in fitting prediction.Artificial neural network is a burgeoning binoic subject which imitates human brain neural network structure and function. Due to its functions of nonlinear mapping , recognition, associative memory, optimal computation, knowledge processing, etc., it is widely used in various areas, such as information processing, pattern recognition, medical expert system, market price forecasting, risk assessment.Nowadays, the parameter estimation of time series analysis model generally uses the conventional parameter estimation methods, such as least square method, maximum likelihood estimation method, square estimation method. However, using the artificial neural network to estimate the parameters of time series analysis model is not common. In view of the advantages of artificial neural network, this paper establishes the BP neural network parameter estimation structure of the ARMA model and the GARCH model, and deduces the calculation procedure of parameter estimation. Through the analysis of examples, the corresponding time series model was established, and through the least square method and BP neural network method, the parameters of the model are respectively estimated. By comparing the BP neural network method with the least-square method, this paper draws conclusion that two methods have got similar accuracy of parameter estimation in time series model, but the BP neural network method needs a smaller amount of calculation and is more convenient than the least square method.Keywords, Time Series Analysis, ARMA Model, GARCH Model, Artificial Neural Network, Parameter Estimation目录1 前言 (1)1.1 研究背景 (1)1.1.1 时间序列分析发展史 (1)1.1.2 人工神经网络发展史 (2)1.2 选题意义 (3)2 时间序列分析与人工神经网络 (4)2.1 时间序列分析 (4)2.2 时间序列分析准备 (7)2.3 平稳时间序列分析 (7)2.4 非平稳时间序列分析 (12)2.5 传统参数估计方法 (16)2.6 人工神经网络简介 (17)2.7 人工神经网络模型 (18)3 神经网络估计时间序列模型参数 (23)3.1 ARMA模型参数估计的BP神经网络方法 (23)3.2 GARCH模型参数估计的BP神经网络方法 (28)3.3 ARMA/GARCH模型参数估计的BP神经网络方法优化 (31)4 应用实例 (34)4.1 平稳时间序列应用实例 (34)4.1.1 北京市报纸出版总印数时间序列 (34)4.1.2 澳大利亚季度常住人口时间序列 (42)4.2 非平稳时间序列应用实例 (45)4.2.1 北京市城镇单位在岗职工人数时间序列 (45)5 总结 (53)5.1 结论 (53)5.2 本文亮点 (53)5.3 不足与改进思路 (54)致谢 (55)参考文献 (56)附录 (58)1 前言1.1研究背景1.1.1 时间序列分析发展史早到公元前7000年，古埃及人已经开始通过观察尼罗河泛滥规律的方式来发展农业生产，记录了河流每天的涨落情况，从中发现了相关的规律，并得到天狼星和太阳同时升起那天之后的200天左右，尼罗河就会开始泛滥，再过70-80天后洪水就会退去，在这个时候进行播种在丰收时成果往往不错的结论。

ARMA模型介绍ARMA模型（Autoregressive Moving Average model）是时间序列分析中常用的一种模型，用于描述和预测随时间变化的数据。

ARMA模型结合了自回归（AR）和移动平均（MA）两种模型的特点，可以较好地描述时间序列数据的变化趋势。

ARMA模型的核心思想是：当前时刻的观测值可以通过历史观测值和随机误差的线性组合来表示。

具体地说，AR部分考虑了当前时刻和过去几个时刻的观测值之间的关系，而MA部分则考虑了当前时刻和过去几个时刻的随机误差之间的关系。

在AR模型中，当前时刻的观测值与过去几个时刻的观测值之间存在线性关系。

AR模型的阶数(p)表示过去几个时刻的观测值被考虑进来。

对于AR(p)模型，数学表达式如下：yt = c + φ1 * yt-1 + φ2 * yt-2 + ... + φp * yt-p + et其中，yt表示当前时刻的观测值，c表示常数项，φ1, φ2, ... ,φp表示对应的回归系数，et表示当前时刻的随机误差。

在MA模型中，当前时刻的观测值与过去几个时刻的随机误差之间存在线性关系。

MA模型的阶数(q)表示过去几个时刻的随机误差被考虑进来。

对于MA(q)模型，数学表达式如下：yt = c + et + θ1 * et-1 + θ2 * et-2 + ... + θq * et-q其中，yt表示当前时刻的观测值，c表示常数项，θ1, θ2, ... ,θq表示对应的回归系数，et表示当前时刻的随机误差。

yt = c + φ1 * yt-1 + φ2 * yt-2 + ... + φp * yt-p + et + θ1 * et-1 + θ2 * et-2 + ... + θq * et-qARMA模型可以用于时间序列的拟合和预测。

通过将模型与已有数据进行拟合，可以得到模型的参数估计值。

然后，利用这些参数估计值，可以预测未来的观测值。

ARMA模型适用于没有明显趋势和季节性的时间序列数据。

麻省理工 Guido Kuersteiner 经济系时间序列14.384第五讲笔记 ARMA 模型的估计与规范表达首先考虑AR （p ）模型的估计量。

假设t x 可由下式得到：这里t ε是一个鞅的差分序列，即（或白噪声加混合值加动差限制）10t t E ε−Μ=。

这里t Μ包括了{},s x s t ≤的所有可度量方程。

这一假设比先前作出的WN 假设更为有力。

叠加'1(,...,)t t t p z x x −−=，则φ的OLS 估计量就为假设WLLN 成立，则有这里如果t z 是严格平稳的，'t t Ez z =Γ且一个称为各态历经性的附加技术条件成立，则WLLN 成立。

下面我们将转向渐进分布。

首先请注意t t z ε也是一个鞅的差分序列。

那么，如果2sup t t tE z δε+<∞，且'2'21()0pt t t t t t z z Ez z Tεε−→∑，则我们可以运用一个鞅的差分CLT来表示如果另外有122t tE εσ−Μ=，则'22t t tEz z εσ=Γ，。

因此φ:的渐进分布就为21)(0,)dN φφσ−−→Γ:5.1.ML 估计极大似然估计量就是对ψ求的最大值，这里(.|)f ψ为1{,...,}T x x 的联合分布。

如果'1(,...,)T T X x x =是一个Gaussian 时间序列，则似然方程就为这里'()T T T EX X ψΓ=就是T X 的T T ×协方差矩阵。

该协方差矩阵是下列参数的非线形方程。

因此，直接对（5.1）求最大值就是一个高度非线形最优化问题。

考虑t x 的条件密度，该问题可以得到简化。

我们可以将联合密度写为条件密度的表达式如果t x 是一个高斯序列，则条件密度都是正态的，且有条件均值为1t t t x P x −Μ=l ，t x 的条件方差为122t tt tx P x σ−Μ=−l 。

ARMA模型的定阶与参数估计的一种方法ARMA（AutoRegressive Moving Average）模型是一种经典的时间序列分析方法，常用于对随时间变化的数据进行建模和预测。

ARMA模型的定阶和参数估计是在建立模型时非常关键的步骤。

下面将介绍一种常用的方法，自相关函数（ACF）和偏自相关函数（PACF）分析法，来确定ARMA模型的阶数，并通过最大似然估计法来估计模型的参数。

首先，我们需要观察原始时间序列数据的自相关系数函数（ACF）和偏自相关系数函数（PACF）的图形，以找到最适合的AR和MA的阶数。

自相关函数（ACF）是观察时间序列与其滞后版本之间的线性相关性，而偏自相关函数（PACF）是在控制了其他滞后版本的影响后，独立测量时间序列与其滞后版本之间的相关性。

这些函数的图形能够提供一些信息，帮助我们确定ARMA模型的阶数。

首先，我们可以绘制时间序列的自相关函数（ACF）图。

在这个图上，我们将研究滞后版本的自相关系数是否显著不为零。

如果滞后版本的自相关系数在几个滞后版本中都显著不为零，那么这可以指示AR部分的阶数。

接下来，我们可以绘制时间序列的偏自相关函数（PACF）图。

在这个图上，我们将研究滞后版本的偏自相关系数是否显著不为零。

如果滞后版本的偏自相关系数在几个滞后版本中都显著不为零，那么这可以指示MA部分的阶数。

通过观察ACF和PACF图，我们可以通过比较自相关系数和偏自相关系数的大小以及其显著性，找出最适合的AR和MA的阶数。

例如，如果自相关函数（ACF）在滞后版本1处有显著不为零的值，而其余滞后版本的自相关系数均接近于0，那么我们可以选择AR（1）模型。

如果偏自相关函数（PACF）在滞后版本1处有显著不为零的值，而其余滞后版本的偏自相关系数均接近于0，那么我们可以选择MA（1）模型。

一旦我们确定了AR和MA的阶数，我们可以使用参数估计方法估计ARMA模型的参数。

一个常用的参数估计方法是最大似然估计法（MLE）。

马尔可夫区制转移arma模型马尔可夫区制转移(ARMA)模型是一种经济和金融时间序列分析常用的模型。

它的基本思想是通过分析当前时间点和过去时间点的关系，来预测未来时间点的值。

ARMA模型的构建基于两个关键概念：自回归(AR)和移动平均(MA)。

马尔可夫区制转移(AR)模型通过分析过去时间点对当前时间点的影响来预测未来时间点。

它基于一个假设，即未来的值是过去值的线性组合。

如果我们用Y表示时间序列的观测值，AR模型可以表示为：Y_t = c + φ_1 * Y_t-1 + φ_2 * Y_t-2 + ... + φ_p * Y_t-p + ε_t其中，Y_t是时间点t的观测值，c是常数，φ_1, φ_2, ...,φ_p是参数，p是模型的延迟数量，ε_t是误差项。

当p等于1时，AR模型称为AR(1)模型；当p等于2时，AR模型称为AR(2)模型，依此类推。

移动平均(MA)模型是用来描述观测值与白噪声误差项的线性组合之间的关系。

MA模型的基本假设是，当前时间点的观测值是过去时间点的误差项的线性组合。

如果我们用Y表示时间序列的观测值，MA模型可以表示为：Y_t = μ + ε_t + θ_1 * ε_t-1 + θ_2 * ε_t-2 + ... +θ_q * ε_t-q其中，Y_t是时间点t的观测值，μ是均值，ε_t是误差项，θ_1, θ_2, ..., θ_q是参数，q是误差项的延迟数量。

当q等于1时，MA模型称为MA(1)模型；当q等于2时，MA模型称为MA(2)模型，依此类推。

ARMA模型将AR和MA模型结合起来。

ARMA(p, q)模型可以表示为：Y_t = c + φ_1 * Y_t-1 + φ_2 * Y_t-2 + ... + φ_p * Y_t-p + ε_t + θ_1 * ε_t-1 + θ_2 * ε_t-2 + ... + θ_q * ε_t-qARMA模型可以通过最小二乘法或极大似然法来估计参数。

第六章 ARMA 模型的参数估计—主要内容 §6.1 AR(p)模型的参数估计 问题: 已知p 的AR(p):1,0pt j t j t j X a X t ε-==+≥∑,2~WN(0,)t εσ.(1.1)由12{,,,}N x x x 去估计12(,,,)T p a a a =a 和2σ.1. AR(p)模型的Yule-Walker 估计自回归系数p a 由自协方差函数{}k γ惟一确定.111121022120p p p p p p a a a γγγγγγγγγγγγ----⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦ 白噪声的方差2σ由20Tp p σγ=-γa 决定. 现获12{,,,}N x x x , N p >, 则作(1) ,1~t t N y x x t N =-=;(2) 11ˆ,0,1,,N k k jj k j yy k p Nγ-+===∑;(3) 只要12,,,N x x x 不全同, 则ˆpΓ正定, 得惟一 1ˆˆˆp p p -=a Γγ, 2100ˆˆˆˆˆˆˆˆT T p p p p p σγγ-=-=-γa γΓγ.实用中, Levinson 递推公式(无需求逆, 快):(1)2001,1102221,1,11,21,1,101,12,2,1,,1,1,1ˆˆˆˆˆˆˆˆ(1)ˆˆˆˆˆˆˆ...ˆˆˆˆˆˆˆˆ...ˆˆˆˆ,1,k k kk k k k k k k k k k k k k k k k j k j k k k k j a a a a a a a a a aa a a j k k p σγγγσσγγγγγγγγ-+-++++++-⎧=⎪=⎪⎪=-⎪⎨----⎪=⎪----⎪=-≤≤≤⎪⎩(2) 12,1,2,ˆˆˆˆˆˆ(,,,)(,,,)p p p p p a a aa a a =,22ˆˆp σσ=.以上Yule-Walker 估计的最大优点是:1ˆˆ()10,when ||1pj j j Az a z z ==-≠≤∑ 即最小相位(只要1ˆp +Γ正定). 定理 1.1(参见[18]) 若2~WN(0,)t εσ独立同分布,4E t ε<∞, 则当N →∞时, 有(1) 22ˆˆ,,..,1j j a a a s j p σσ→→≤≤;(2) 2111ˆˆ(,,)(0,)T p p p N a a a a N σ---−−−→Γ依分布(3)1ˆsup ||(lnln ),a.s.j j j pN aa O N ≤≤-=, 221ˆsup ||(lnln ),a.s.j j j pN O N σσ≤≤-=. 由上(2)得:,ˆ()(0,)T j j j j N a a N σ-−−−→依分布.(其中,j j σ是21p σ-Γ中相应元素)置信水平0.95的j a 渐近区间:,,ˆˆ[ 1.96, 1.96]j j j j j j aN a N σσ-+.2. AR(p)模型的最小二乘估计 设12,,,p d d d 是12,,,p a a a 的估计, 称使残差1122ˆ()j j j j p j p y d y d y d y ε---=-+++的2121ˆ(,,,)Np jj p S d d d ε=+=∑最小的ˆ{}jd 为最小~. 记1111122212,,p p p p p p p N N N p N y y y y d y y y d y d y y y y -+++---⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦Y X d 当T X X 正定时, 有惟一的112ˆˆˆ(,,,)()T T T p aa a -=X X X Y 22121||ˆˆˆˆ(,,,)p X S aa a N pN pσ-==--Y a .理论表明:1ˆˆp Y W O N -⎛⎫-= ⎪⎝⎭d a 最小二乘估计估计,N →∞. 即两种估计差别不大. 对二乘估计,也有大样本性质定理1.2若4E t ε<∞,2~WN(0,)t εσ独立同分布,12ˆˆˆ,,,p a a a是最小二乘估计, 则当N →∞时, 有2111ˆˆ(,,)(0,)T p p p N a a a a N σ---−−−→Γ依分布3. AR(p)模型的最大似然法 设模型的 21~(0,)pt t j t jj X a XN εσ-==-∑, 则212111(,,)~exp 22N pN t N t t p ϕεεεσπσ-+=+⎛⎫⎛⎫- ⎪ ⎪⎝⎭⎝⎭∑从而得关于12,,,N x x x 的似然函数为2(,)L σa 221111exp 22N pp N t j t j t p j x a x σπσ--=+=⎛⎫⎛⎫⎛⎫ ⎪=-- ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭∑∑通过解似然方程222(ln (,))(ln (,))0,0,L L σσσ∂∂==∂∂a a a结果2,σa 同最小二乘法.例1.1 设白噪声{}~(0,1)t N ε, 模型为12341.160.370.110.18t t t t t t x x x x x ε----=--++分别用Yule-Walkey 法和最小二乘法估计参数2,σa . 结果见程序ese6_1_1.m 4. AR(p)模型的定阶问题若偏相关系数ˆˆ,,0,0k pk pk k k k a a =>≠≈, 则认为ˆp p=. ,11011,22102120,ˆˆˆˆˆˆˆˆˆˆˆˆk k k k k k k k k a a a γγγγγγγγγγγγ----⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦,1,2,1[][...0...0]T T k k k k p a a a a a =以上结果由以下定理保证.定理1.3 若AR(p)中2~WN(0,)t εσ是独立同分布, 则对任何k p >, 有,,ˆlim 0,j k j N a j pa j p→∞≤⎧=⎨>⎩.为了检验0,:0k k H a =, 可借助,,ˆk k k k aa -极限分布. 定理1.4 若AR(p)中2~WN(0,)t εσ是独立同分布的, 4E t ε<∞, 则对确定的k p >, 有21,1,1,,ˆˆ(,,)(0,)T k k k k k k k N a a a a N σ---−−−→Γ依分布推论1.5 在定理1.4的条件下, 对k p >, 有,ˆ(0,1)k k Na N −−−→依分布.(证明略见196页)故,ˆk k a有95%的概率落在 ( 1.96,1.96)N N -.因此取p 的估计, 1.96ˆˆsup{:||,110}j j pj a j k N=>≤≤≈ 可能较高.实际中, 常用AIC 准则: (1) 分别取00,1,,p k P ==(上界或较大数);(2) 求AR(k )时的2ˆk σ; (3) 计算 202ˆAIC()ln ,0,1,,k kk k P Nσ=+= (4) ˆmin{|[AIC()]}kpk k = 称为AIC 定阶. 注1: 一般ˆpp ≥(真), 并无ˆp p −−−→依概率, 即不相合; 注2: 通常, 略高的阶数比低的阶数要好. 有利历史数据利用, 等.为克服不相合, 改用BIC(k )函数定阶.20ln ˆBIC()ln ,0,1,,k k Nk k P Nσ=+=(上界) 注3: 若2~WN(0,)t εσ是独立同分布的, 则BIC(k )是强相合的;注4: 当N 不大, BIC 定阶偏低,会失真, 宜取AIC.5. AR(p) 模型的拟合检验 设由12{,,,}N x x x 已得ˆp, 12ˆˆˆ(,,,)p a a a , 2ˆσ, 对残差:ˆ1ˆˆˆ,1~pt t j t j j y a y t p N ε-==-=+∑, 用§4.3白噪声检验: 若符, 则认可, 并用于预测,否则重估、改用MA(q), ARMA(p,q).6. AR(p)序列的谱密度的估计ˆp,12ˆˆˆ(,,,)p a a a ,2ˆσ代入2i 2()2|(e )|f A λσλπ=.注5: 若t ε是独立同分布的2WN(0,)σ,ˆp是由AIC 或BIC 定阶的, 则ˆ()fλ一致收敛到()f λ.例1.2 {}t x 取附录B7 中的300个数据, 对 AR 模型的阶数分别 为01~10p P ==上界, 解Y-W 方程, 4截尾的.2468100.020.040.060.080.10.120.142468100.060.080.10.120.140.160.18246810-0.4-0.200.20.40.60.81kγAICBIC所以用B7数据拟合出AR 模型的阶数应为4, 即 12341.1490.3150.1300.196t t t t t t X X X X X ε----=--++通常AIC 定阶略高, 下图即为用以上模型产生的300个数据, 重复1000次中定阶的结果, 定阶有别.1234567891020040060080012345678910100200300400500600700AICBIC但充分多数据和大数重复后, 定阶的情况很接近.123456789100200400600800123456789102004006008001000例1.3 对用B7数据拟合出的模型, 进行拟合检验. (1) 中心化: t t N y x x =-;AICBIC(2) 计算残差:41234ˆ 1.1490.3150.1300.196t t t t t t y y y y y ε-----=-++-; (5~296t =)(3) 计算ˆ:1296t t ε≤≤的自相关系数 ˆ{},1~k k M ρ=; (4) 计算卡方值: (假设是白噪声的统计量)222212ˆˆˆˆ()296()m m χρρρ=+++;(5) 计算临界值()chi2inv(0.95,),1~20m m m λ==(6) 判断: 所有2ˆ()(),1~20m m m χλ<=, 则不能拒绝残差是独立的白噪声的假设, 即认可.5101520051015202530350123402468101214160.05()m λ临界值2ˆ()m χ()fλ实线ˆ()fλ虚线§6.2 MA(q)模型的参数估计 MA(1)模型: 1,t t t X b t εε-=+∈, ||1b <.不难得: 22201(),b b γσσγσ=+=,于是得: 121b b ρ=+, 即2110b b ρρ-+=, 可解得: 2111142b ρρ--=, (112ρ<,||1b <时).估计值: 211 a.s.ˆ114ˆˆ2b b ρρ--=−−−→,(t ε独立白噪声).1. 一般可逆MA(q)模型的矩估计及其计算 若先知1,qt t j t jj X b t εε-==+∈∑,2~WN(0,)t εσ,则有{:0}k k q γ≤≤及1q +个非线性方程2011()k k k q k q b b bb b b γσ+-=+++ (01b =)反之, 若先知{}k γ, 由上方程, 可解得21~{,}q b σ.线性迭代法求解法: (1) 用12,,,N x x x 求0ˆˆ~q γγ;(2) 初值: 任取212(0),(0)[(0),(0),,(0)]T q b b b σ=b(3) 迭代:202211122ˆ(),1(1)(1)ˆ()[(1)(1)()(1)(1)],ˆ().(11)()q kk k q k q k q j b j b j b j b j b j j b j b j b j k q j γσγσγσ+-⎧=⎪+-++-⎪⎪=---+⎪⎨⎪+--⎪⎪=↑≤≤-⎪⎩(4) 停止:2ˆ|()()()|()qq kkt t k k t j b j b j γσδ-+==-<∑∑某.(5) 检验可逆条件, 不满足, 重取初值, 重算.也可用§3.1中的方法(MA(q)的k γ是q 截尾的) (1) 用12,,,N x x x 求0ˆˆ~q γγ;(2) 作,1~ˆ,0,()0,k k k l j l j k k qk q γγΓγ-=≤≤⎧==⎨>⎩(3) 分别计算1ˆˆˆlim T k k kk ∏ΩΓΩ-→∞=和 2021ˆˆˆˆˆ,()ˆT q C C A C σγ∏∏σ=-=-b γ 其中:1010001001000,0000001000000q q qA C ⨯⨯⎛⎫⎛⎫ ⎪ ⎪==⎪ ⎪⎪ ⎪⎪⎝⎭⎝⎭1212312111ˆ,k k k q q q q q k q q qγγγγγγγγΩγγγγ+++-⨯⨯⎛⎫⎛⎫ ⎪⎪==⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭γ12ˆˆˆˆ(,,,)T qb b b =b . 合理性由以下定理给出. 定理2.1若MA(q)中t ε是独立同分布的2WN(0,)σ,则当N 充分大后,1ˆˆ,,qb b 几乎必然满足可逆条件. 实用可逆充分条件是: i ˆe0,[,]qk kk qλγλππ-=->∈-∑.2. MA(q)模型的逆相关函数法—简介 想法: 视 MA 模型 AR 模型,故先求AR 模型参数, 而后求MA 模型参数, 即1qt t j t j j X b εε-==+∑1()()t t t t X B z X B z εε⇔=⇔=1(1)jj t t j a z X ε∞=⇔-=∑1(1)pj j t t j a z X ε=⇔-≈∑:AR(p)方法步骤:(1) 用1~N x ,求ˆ{}k γ,用AIC 等法定出AR(p)的阶N p ;(2) 取N p p =, 用Y-W 方程确定2,1,2,ˆˆˆˆ,,,,p p p p p a a a σ;(3) 用引理2.2, 计算ˆ()y k γ, 即(,01p a =-),,201ˆˆ,0ˆ()ˆ0,p kp jp j k j y paak p k k pγσ-+=⎧≤≤⎪=⎨⎪>⎩∑,(4) 利用Y-W 方程12ˆˆˆˆˆ(1)(0)(1)(1)ˆˆˆˆˆ(2)(1)(0)(2)ˆˆˆˆˆ()(1)(2)(0)y y y y y y y y y y y y q q b q b q q q b γγγγγγγγγγγγ⎡⎤--⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥--⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥---⎣⎦⎣⎦⎣⎦和212ˆˆˆˆˆˆˆˆ(0)(1)(2)()p y y y q yb b b q σγγγγ-=++++ 求得(12ˆˆˆ,,,qb b b )和2ˆσ.3. MA(q)模型的新息估计方法—简介设1ˆ0X =, 111ˆ(|,,)k k k X L X X X ++=;则样本新息: 1111ˆ(|,,)k k k k X L X X X ε+++=-; 预测均方差: 21ˆE k k νε+=; 前证可表: 1,11ˆˆ,qm m j m j j X m q θε++-==≥∑, ,m j θ递推得,当m 较大时, 得: 新息m ε的估计ˆˆm m mX X ε=-, 由此对较大的t , 得近似MA(q)模型11ˆˆˆˆqqt t j t j t t j t j j j X b X X b εεε--==≈+=-+∑∑从而有1ˆˆqt j t j j X b ε-=≈∑与1,1ˆˆqm m j m j j X θε+-==∑比; 合理的估计: 2,ˆˆ,1~,j m jm b j q θσν===; 具体的新息估计步骤: (1) 用12,,,N x x x , 取1/3()m o N =, 计0ˆˆ~m γγ;(2) 用递推公式 约定10()0j -=∑,001,,,0120,0ˆˆˆˆˆˆˆˆ,01ˆˆˆˆ,1k n n k n k k k j n n j j k j n n n n j j j k n n mνγθγθθνννγθν-----=--==⎡⎤=-≤≤-⎢⎥⎣⎦=-≤≤∑∑ (3) 取2,ˆˆˆˆ,1~,j m jm b j q θσν===. 方法的理论依据为定理2.3([18]) 略.4. MA(q)模型的定阶方法—(q 后截尾特点)⎧⎪⎪⎨⎪⎪⎩(1) 0ˆˆˆˆ{/}k k qk ργγ==使开始明显变小的 (2) AIC 定阶1) 假设已获得q 的上界0Q ;2) 逐个计算MA(m )(00,1,2,,m Q =)的2ˆm σ; 3) 计算20ˆAIC()ln()2/,0,1,2,,m m m N m Q σ=+=4) 比出最小值的最小m 作为q 的估计.5. MA(q)模型的拟合检验设由12{,,,}N x x x 已得ˆq , 12ˆˆˆ(,,,)qb b b , 2ˆσ,令 ˆˆ120ˆˆˆ0,q q t t N y x x εεε--=====- 和 ˆ1ˆˆˆ,1~q t t j t j j y b t N εε-==-=∑,对1/3()L O N =, 若 ˆ{:,1,,}t t L L N ε=+为白噪声, 则认可模型, 否则重新估计拟合模型. 或改用AR(p), ARMA(p,q)例2.1设{}t x 是§3.1例1.1中197个化学浓度的数据, 对数据1t t t y x x -=-建立MA(1)模型为10.5276,t t t Y t εε-=+∈拟合检验步骤:(1) 取3[197]16L =+=; (2) 计算残差: 令1ˆ0ε=, 1ˆˆ0.5276,2~197t t t y t εε-=+= (3) 计算ˆ{:~197}t t L ε=的自相关系数; (4) 计算0ˆ:{:~197}t H t L ε=是白噪声的统计量 222212ˆˆˆˆ()192()m m χρρρ=+++;(5) 计算临界值()chi2inv(0.95,),1~15m m m λ==(6) 判断: 若所有2ˆ()()m m χλ<, 1~15m =, 则不能拒绝残差是独立的白噪声的假设.0510150510152025模型通过检验.6. MA(q)序列的谱密度的估计把ˆq ,12ˆˆˆ(,,,)q b b b ,2ˆσ代入2i 2()|(e )|2f B λσλπ= 得谱估计: 2ˆˆ()2f σλπ=2ˆi 0ˆ1e q j jj b λ=+∑. 若参数是相合估计, 则ˆ()fλ是()f λ的相合估计.例2.2 模拟计算MA(2)模型120.360.85,t t t t X t εεε--=-+∈.分别用(1) 矩估计方法;(2) 逆相关函数方法;(3) 新息估计方法;对来上述模型100个(或300个)数据进行参数估计. 结果见程序tse6_2_2.m。

R语⾔ARMA模型的参数选择说明AR(p)模型与MA(q)实际上是ARMA(p,q)模型的特例。

它们都统称为ARMA模型，⽽ARMA（p,q）模型的统计性质也是AR（p）与MA（q）模型的统计性质的有机组合。

平稳系列建模假如某个观察值序列通过序列预处理可以判定为平稳⾮⽩噪声序列，就可以利⽤ARMA模型对序列建模。

1.求出该观察值序列的样本⾃相关系数（ACF）与偏相关系数（PACF的值。

2.根据根样本⾃相关系数和偏⾃相关系数的性质，选择阶数适当的ARMA（p,q）模型进⾏拟合。

3.估计模型中未知参数的值4.检验模型的有效性。

如果拟合模型未通过检验，回到步骤（2）,重新选择模型拟合。

5.模型优化。

如果拟合模型通过检验，仍然回到步骤（2），充分考虑各种可能，建⽴多个拟合模型，从所有通过检验的拟合的模型中选择最优模型。

6.利⽤拟合模型，预测序列将来的⾛势。

选择合适的模型拟合1950-2008年我国邮路及农村投递线路每年新增⾥程数序列：⽩噪声检验：for(i in 1:2) print(Box.test(x,type = "Ljung-Box",lag=6*i)) Box-Ljung testdata: xX-squared = 37.754, df = 6, p-value = 1.255e-06Box-Ljung testdata: xX-squared = 44.62, df = 12, p-value = 1.197e-05绘制⾃相关图和偏⾃相关图acf(x)pacf(x)补充：关于ARMA模型的R语⾔实现新⼿⼀枚，和⼤家⼀起学习R，以后基本每周都会更新1到2篇关于数据预测处理的模型和⽅法，希望和⼤家⼀起学习，⼀起成长。

本周⾸先更新的是⽤R来实现ARMA模型。

时间序列的模型，基本上都要建⽴在平稳的序列上，这⾥我们将来了解下ARMA模型，以及其实现的R代码。

ARMA（p,q)模型，全称移动平均⾃回归模型，它是由⾃回归（AR）部分和移动平均（MA）部分组成的，所以称之为ARMA模型。

基于R 的ARMA 模型的估计首先，我们给出一个ARMA 模型：110.60.8t t t t y y εε--=-+- 随机生成一组含200个观测值的时间序列，代码如下： #ARMA(1,1) y[t]=-0.6y[t-1]+x[t]-0.8x[t-1] set.seed(10) x<-rnorm(200)y<-vector(length=2) y[1]=x[1] for(i in 2:200) {y[i]=-0.6*y[i-1]+x[i]-0.8*x[i-1] } y事实上，在R 中有更简单的语句可以生成ARIMA 时间序列，以上述ARMA （1,1）模型为例： set.seed(10)y<-arima.sim(list(order=c(1,0,1),ar=-0.6,ma=-0.8),n=200)在本次实验中，我们采用第一种方法生成的时间序列做估计。

时间序列图如下： ts.plot(y)ACF 和PACF 图如下：acf(y,xaxp=c(0,20,20),yaxp=c(-1,1,10)) pacf(y,xaxp=c(0,20,20),yaxp=c(-1,1,10))下面给出三个模型的估计： 模型1：11t t t y a y ε-=+ 模型2：1111t t t t y a y b εε--=++ 模型3：1122t t t t y a y a y ε--=++【模型1】 a<-1;b<-0,c<-0ARMA<-arima(y,order=c(a,b,c),method="ML") ARMASBC 准则：#SBC=－2ln(模型中极大似然函数值)+ln(n)(模型中未知参数个数) loglike<-ARMA$loglikSBC<--2*loglike+log(200)*1 SBC残差平方和：residual<-ARMA$residuals #残差 ssr<-0for(i in 1:200) {ssr=ssr+(residual[i]^2)}ssr #残差平方和Ljung-Box检验：Box.test(residual, type="Ljung",lag=8,fitdf=1)Box.test(residual, type="Ljung",lag=16,fitdf=1)Box.test(residual, type="Ljung",lag=24,fitdf=1)【模型2】（R语言代码类似模型1，以下代码省略）【模型3】模型111t t t y a y ε-=+模型21111t t t t y a y b εε--=++模型31122t t t ty a y a y ε--=++残差平方和240.10 178.61 205.33 1a 的估计值（标准差）-0.8114 （0.0405）-0.6267 (0.0599)-1.1203 (0.0651) 2a 的估计值（标准差）-0.3771 (0.0650)1b 的估计值（标准差）-0.7150 (0.0604)AIC ；SBC 611.2; 610.5 554.9; 557.5 582.2; 584.8 Ljung-Box Q 统计量（显著水平）Q(8)=34.610(0) Q(16)=42.857(0.0002) Q(24)=55.882(0.0001)Q(8)=2.074(0.9127) Q(16)=11.407(0.6538) Q(24)=20.051(0.5799)Q(8)=20.650(0.0021) Q(16)=31.305(0.0050) Q(24)=43.873(0.0037)由上述表格可清楚地看出，模型2是最优的。