当前位置：文档之家 › 时间序列分析-第六章 ARMA模型的参数估计

时间序列分析-第六章 ARMA模型的参数估计

  • 格式：ppt
  • 大小：1.63 MB
  • 文档页数：205

下载文档原格式

  / 205

合集下载

时间序列arma模型建立的流程

时间序列arma模型建立的流程

时间序列arma模型建立的流程时间序列ARMA模型建立的流程1. 引言时间序列分析是一种对时间序列数据进行建模、预测和分析的统计方法。

ARMA模型是一种常用的时间序列模型，它可以描述时间序列数据中的自相关和移动平均关系。

本文将从数据准备、模型选择、参数估计和模型诊断等方面，介绍建立时间序列ARMA模型的完整流程。

2. 数据准备1.收集时间序列数据，确保数据具有一定的观测频率，并且包含足够的历史观测值。

2.对数据进行可视化分析，绘制时间序列图和自相关图，初步了解数据的趋势和周期性。

3. 模型选择1.确定时间序列数据是否平稳。

对于非平稳数据，需要进行差分运算，直到得到平稳的时间序列数据。

2.根据平稳时间序列数据的自相关和偏自相关图，选择合适的ARMA模型阶数。

通过观察自相关图的截尾性和偏自相关图的截尾性，确定ARMA(p, q)模型中的p和q。

4. 参数估计1.通过最大似然估计或最小二乘法，估计ARMA模型中的参数。

最大似然估计假定模型误差服从正态分布，而最小二乘法假定误差服从零均值正态分布。

2.通过估计的参数，建立ARMA模型。

5. 模型诊断1.对残差进行自相关和偏自相关分析，验证模型的残差序列是否为纯随机序列，即不存在自相关和异方差性。

2.对模型的残差序列进行Ljung-Box检验，验证残差的独立性。

3.对模型的残差序列进行正态性检验，验证模型的残差是否符合正态分布。

4.对模型的残差序列进行异方差性检验，验证模型的残差是否存在异方差现象。

6. 模型评估和预测1.使用信息准则（如AIC、BIC）评价模型的拟合程度。

较小的AIC和BIC值表示模型的拟合程度较好。

2.使用估计的ARMA模型对未来的数据进行预测，得到预测值和置信区间。

7. 结论建立时间序列ARMA模型的流程包括数据准备、模型选择、参数估计和模型诊断等环节。

通过该流程，我们能够对时间序列数据进行建模和预测，为相关领域的决策提供科学依据。

以上为时间序列ARMA模型建立的流程，希望对读者有所帮助。

ARMA模型

ARMA模型

ARMA模型AR模型是一种线性预测，即已知N个数据，可由模型推出第N点前面或后面的数据(设推出P点)，AR模型-模型简介所以其本质类似于插值，其目的都是为了增加有效数据，只是AR模型是由N点递推，而插值是由两点(或少数几点)去推导多点，所以AR模型要比插值方法效果更好。

ARMA模型(Auto-Regressive and Moving Average Model)是研究时间序列的重要方法，由自回归模型(简称AR模型)与滑动平均模型(简称MA模型)为基础"混合"构成。

在市场研究中常用于长期追踪资料的研究，如：Panel研究中，用于消费行为模式变迁研究；在零售研究中，用于具有季节变动特征的销售量、市场规模的预测等。

ARMA模型的基本原理将预测指标随时间推移而形成的数据序列看作是一个随机序列，这组随机变量所具有的依存关系体现着原始数据在时间上的延续性。

一方面，影响因素的影响，另一方面，又有自身变动规律，假定影响因素为x1，x2，…，xk，由回归分析，其中Y是预测对象的观测值，e为误差。

作为预测对象Yt受到自身变化的影响，其规律可由下式体现，模型原理误差项在不同时期具有依存关系，由下式表示，模型原理图由此，获得ARMA模型表达式模型原理图模型原理总图模型预测模型-常见预测模型预测是对未来作出的估计和推断，为了达到这一目的，往往要对现实世界(或称研究对象)进行模仿或抽象，这一过程称之为建模；用建模手段获得现实世界(对象)的一种表示和体现就称为模型。

一切客观存在的事物及其运动形态我们统称为现实；现实和未来是不一样的，但是通过对于现实的研究可以预见未来，这就是预测。

从信息运动的角度看，现实之中包含着未来，孕育着未来。

因此，一个"好"的模型不仅能表达现实而且应该能准确的反映现实的发展规律。

时至今日，预测模型已多达一百余种，常用的也有二三十种。

任何预测模型都有它自身的优缺点；至今，还没有一种既有极高的预测精度，又适用于任何现实问题(研究对象)的预测模型。

时间序列中的ARMA模型

时间序列中的ARMA模型
件期望是相等的，若设为u，则得到 :
c u=
1 (1 2 ... p)
的无条
6
ARIMA模型的概念
Yt-u=1(Yt-1-u)+ 2(Yt-2-u)+...+p(Yt-p-u)+vt
0=1 1+ 2 2+...+p p+ 2 1=1 0+ 2 1+...+ p p-1
……
p=1 p-1+ 2 p-2+...+ p 0
1-1Z- 2Z2 -...- pZp 0
特征方程的根全部落在单位圆以外时， ARMA(p,q)是一个平稳过程。
9
ARIMA模型的概念
3.ARMA(p, q)过程的特征
1）E(Yt)=
c
1 (1 2 ... p)
2）ARMA(p, q)过程的方差和协方差
10
ARIMA模型的概念
四. AR、MA过程的相互转化
于滞后长度描图）。
14
ARMA模型的识别
2. 自相关函数和偏自相关函数的概念
①自相关函数
过程Yt的第j阶自相关系数即 j j 0 ，
自相关函数记为ACF(j) 。 ②偏自相关函数
偏自相关系数 *j度量了消除中间滞后项影响
后两滞后变量之间的相关关系。偏自相关函数 记为PACF(j)
15
ARMA模型的识别
结论一：平稳的AR(p)过程可以转化为一个MA(∞)过程， 可采用递归迭代法完成转化
结论二：特征方程根都落在单位圆外的 MA(q)过程具 有可逆性
平稳性和可逆性的概念在数学语言上是完全等价的， 所不同的是，前者是对AR过程而言的，而后者是对 MA过程而言的。

ARMA模型解析

ARMA模型解析

k H 1 : 存在某个 ，使 kk 0 ，且 pkMp pM
统计量 2 N
2
2
kk M
M kp1
2 M
(
)
表示自由度为
的 2 分布 的上侧 分位数点
对于给定的显著性水平 0 ，若 2 M 2 ()，则认为
样本不是来自AR（ p ）模型 ； 2 M 2 ()，可认为 样本来自AR（ p ）模型 。
三、模型的识别与建立
在需要对一个时间序列运用B-J方法建模时，应运用序列的 自相关与偏自相关对序列适合的模型类型进行识别，确定适
宜的阶数 d,D, p,q 以及 P , Q （消除季节趋势性后的平稳序列）
1、自相关函数与偏自相关函数
（1）MA（ q ）的自相关与偏自相关函数
自协方差函数
k k1112k1qq2kq2,2,
1 时间序列分析模型【ARMA模型 】简介
1、自回归【 AR 】模型
自回归序列 X
：
t
如果时间序列 X t 是它的前期值和随机项的线性
函数，即可表示为 X t 1 X t 1 2 X t 2 p X t p u t【1】
【1】式称为 p 阶自回归模型，记为AR（ p ）
注1：实参数 1,2, ,p称为自回归系数，是待估参数. 随机项 u t 是相互独立的白噪声序列，且服从均值为0、
只能借助于统计手段进行检验和判定。
2021/10/10
16
1 时间序列分析模型【ARMA模型 】简介
（1） k 的截尾性判断
对于每一个 q ，计算 q1, ,qM （
左右），考察其中满足
M 一般取 N
|k |
1 N
q
02 2 l2

时间序列上机实验ARMA模型的建立

时间序列上机实验ARMA模型的建立

实验一ARMA模型建模一、实验目的学会检验序列平稳性、随机性。

学会分析时序图与自相关图。

学会利用最小二乘法等方法对ARMA模型进行估计，以及掌握利用ARMA模型进行预测的方法。

学会运用Eviews软件进行ARMA模型的识别、诊断、估计和预测和相关具体操作。

二、基本概念宽平稳：序列的统计性质不随时间发生改变，只与时间间隔有关。

AR模型：AR模型也称为自回归模型。

它的预测方式是通过过去的观测值和现在的干扰值的线性组合预测，自回归模型的数学公式为：乂2『t2 川p y t p t式中：p为自回归模型的阶数i（i=1，2，，p）为模型的待定系数，t为误差，yt 为一个平稳时间序列。

MA模型：MA模型也称为滑动平均模型。

它的预测方式是通过过去的干扰值和现在的干扰值的线性组合预测。

滑动平均模型的数学公式为：y t t 1 t 1 2 t 2 川q t q式中：q为模型的阶数；j（j=1，2，，q）为模型的待定系数；t为误差；yt为平稳时间序列。

ARMA模型：自回归模型和滑动平均模型的组合，便构成了用于描述平稳随机过程的自回归滑动平均模型ARMA，数学公式为：y t 1 y t 1 2 y t 2 p y t p t 1 t 1 2 t 2 q t q三、实验内容（1）通过时序图判断序列平稳性；（2）根据相关图，初步确定移动平均阶数q 和自回归阶数p；（3）对时间序列进行建模四、实验要求学会通过各种手段检验序列的平稳性；学会根据自相关系数和偏自相关系数来初步判断ARMA模型的阶数p和q,学会利用最小二乘法等方法对ARMA 模型进行估计，学会利用信息准则对估计的ARMA 模型进行诊断，以及掌握利用ARMA 模型进行预测。

五、实验步骤1．模型识别（1）绘制时序图在Eviews 软件中,建立一个新的工作文件, 500个数据。

通过Eviews 生成随机序列“ e，再根据“ x=*x（-1）*x（-2）+e ”生成AR（2）模型序列“ x” 默认x（1）=1, x（2）=2,得到下列数据，由于篇幅有限。

ARMA模型介绍知识分享

ARMA模型介绍知识分享

MA（q）的自相关函数（AC）
根据自相关函数，当k>q时，yt 与y t-k 不相关， 这种现象称为截尾，因此，当k>q时，自相关 函数为零是MA（q）的一个特征。也就是说， 可以根据自相关系数是否从某一点开始一直为 零来判断MA（q）模型的阶。
MA（q）的偏自相关系数随着滞后期的增加， 呈现指数衰减，趋向于零，这称为偏自相关系 数的拖尾性。
Quick → Estimate equation 在窗口中输入因变量，自变量为AR(p)和
MA(q)，以ARMA(1,2)为例：
GDP c AR(1) MA(1) MA(2)
参考AC或PAC确定滞后期 根据回归结果选择适合的估计结果
模型结果的分析
ARMA模型估计对参数t检验其显著性水 平要求并不严格，更多的是考虑模型的 整体拟合效果。
调整可决系数、AIC和SC准则都是模型 选择的重要标准。
AIC准则和SC准则
赤池信息准则：AIC=-2L/n+2k/n，其中L 是对数似然值，n是观测值数目，k是被 估计的参数个数。AIC准则要求其取值 越小越好。
施瓦茨准则：SC=-2L/n-klnn/n，使用时 也要求SC值越小越好。
ARIMA模型
考虑ARIMA(p,d,q)模型 一个ARIMA(p,d,q)模型代表一个I(d)变量
经过d次差分后所做的AR(p)和MA(q)模 型。
结束语
谢谢大家聆听！！！
17
Yt 1Yt1 2Yt2 ... pYt p ut 1ut1 qutq
则称该序列为（p,q）阶自回归移动平均模型。 记为ARMA（p,q）
随机时间序列分析模型的识别
对于AR、MA、ARMA模型，在进行 参数估计之前，需要进行模型的识别。 识别的基本任务是找出ARMA（p,q）、 AR（p）、MA（q）模型的阶。识别 的方法是利用时间序列样本的自相关 函数和偏自相关函数。

ARMA现代谱估计



M
(2)求 ak , bk与 c k 之间的关系式
B( z ) 1 从关系式： 可以得到： A( z ) ( z ) C

k 0
ak z
p
k
( bk z )( c h z h ) k 0 h 0
k
q
M
(a0 c0 1)
上海市特种光纤与光接入网重点实验室－ 省部共建国家重点实验室培育基地

b1 c p 1 c p 2 q b2 c p 2 b cp q c p q
c p 1- q

当该矩阵是非奇异矩阵时，由上式可以求出系数{bk }的估 计值
jw
B (e ) B (e ) B (e )
2 * jw jw 2 jw
2
A (e ) A(e )
* jw jw

A(e jw )
2
( 4)
这样,如果激励白噪声的方差 2 及模型的参数a1......ap , b1......bq 已知，那么由上式可以求出X(n)的功率谱。
上海市特种光纤与光接入网重点实验室－ 省部共建国家重点实验室培育基地
上海市特种光纤与光接入网重点实验室－ 省部共建国家重点实验室培育基地
10
MA(moving-average)模型
在(1)中，若 a1......a p 全为零；那么(1)(3)及(4)式分别变为：
x(n) u (n) bk u (n k )
k 1
p
H ( z ) B( z ) 1 bk z k
（2）对信号的AR模型，选择恰当的模型阶数p；

ARMA模型

自回归移动平均（ARMA：Auto-regressive Moving Average）模型
1 时间序列分析模型【ARMA模型 】简介
1、自回归【 AR 】模型
自回归序列 X t：
如果时间序列 X t 是它的前期值和随机项的线性 函数，即可表示为
X t 1 X t1 2 X t2 p X t p ut 【1】
记 Bk 为 k 步滞后算子，即 Bk X t X tk ，则
模型【1】可表示为
Xt 1BXt 2B2 Xt pBp Xt ut
令 (B) 11B 2B2 pBp，模型可简写为
(B) X t ut
【2】
AR（ p ）过程平稳的条件是滞后多项式 (B)
的根均在单位圆外，即 (B) 0 的根大于1
【1】式称为 p 阶自回归模型，记为AR（ p ）
注1：实参数 1,2 , , p 称为自回归系数，是待估参数.
随机项 ut 是相互独立的白噪声序列，且服从均值为0、
方差为 2 的正态分布.随机项与滞后变量不相关。
注2：一般假定 X t
均值为0，否则令
X
t
Xt
1 时间序列分析模型【ARMA模型 】简介
在实际中，常见的时间序列多具有某种趋势，但很多序 列通过差分可以平稳
判断时间序列的趋势是否消除，只需考察经过差分后序 列的自相关系数
（3）季节性 时间序列的季节性是指在某一固定的时间间隔上，序列
重复出现某种特性.比如地区降雨量、旅游收入和空调销售额 等时间序列都具有明显的季节变化. 一般地，月度资料的时间序列，其季节周期为12个月；
2 q
2,
qkq 2 ,
0,
Dut 2 是白噪声序列的方差
k 0 1 k q

第六章 时间序列分析-参数估计

3
例:求MA(1)模型系数的矩估计
MA(1)模型 方程 xt t 1 t 1
0 (1 12 ) 2 1 1 1 2 矩估计 0 1 12 1 1
ˆ 1 1 4 12 ˆ1 ˆ 2 1
f X1 , X 2 , X3 x1 , x2 , x3 ; , 2 f X1 , X 2 x1 , x2 ; , 2 f X3 X 2 , X1 x3 x2 , x1 ; , 2
24
极大似然估计
一般地，样本中第 t 个 X t 在前 t-1 个已知的条件下，由于模 型的特点，实际上前 t-1 个 X t 1 ,, X1 只有 X t 1 作用于 X t ，因此 有
ˆ 其中 k y
ˆˆ ˆ
i 0 j 0 i
p
p
j i j k
, k 0,1,, q
13
对矩估计的评价
优点
估计思想简单直观 不需要假设总体分布 计算量小（低阶模型场合）
缺点
信息浪费严重 只用到了p+q个样本自相关系数信息，其他信息都被忽
15
极大似然估计
本节将要讨论的是根据极大似然原理，给出模型参数 1 ,, p ，
1 ,,q 和白噪声方差 2 的极大似然估计。为此，首先需要给定样本
x1,, xT 的联合分布，
F x1,, xT ; θ
θ 1 , , p , 1 , , q , 2 。 其中
3. ARMA模型的矩估计 第一步，先给出AR部分的参数 估计。
1 ,, p
的矩
q1 q 12 q p 1 p q 1 q 1 1 q 2 q p 2 p q 2 q p 11 q p 22 q p q p

应用时间序列分析法预测油气管线点腐蚀深度扩展

1点腐蚀的回归—时间序列混合模型 (2)1.1残差的ARMA（p，q）模型 (3)1.2ARMA模型的定阶 (4)1.3ARMA模型的参数估计 (4)2应用分析 (5)3首先建立确定性模型。

(5)4结论 (6)5参考文献 (6)应用时间序列分析法预测油气管线点腐蚀深度扩展摘要:腐蚀影响油气管线寿命的重要因素,测油气管线点腐蚀深度扩展行为是评点预价管线剩余寿命的关键步骤之一。

基于时间序列分析处理动态数据的特性，立了点腐蚀观测建数据时间序列分析模型，结合实例对方法有效性进行了分析，结果表明，用时间序列分析并结合预测油气管线点腐蚀深度扩展是切实可行的。

点腐蚀缺陷的扩展行为显得比较困难，时间序列分析方法能够在环境信息十分复杂，物理结构不完全清楚的情况下，利用不完全的理论信息去指定一族合适的数学函数，并用来分析和预测物理现象的发展趋势。

突出特点是通过时间序列的历史数据解释现象随时间变化的规律，并对现象的未来作出预测。

因此，应用时间序列分析方法可以掌握点腐蚀的扩展规律，实现对油气管线点腐蚀深度扩展趋势的预测。

关键词：油气管线：点腐蚀;深度扩展;时间序列分析。

Using time series analysis method for prediction of oil-gas pipeline corrosion depth extensionsAbstract: the corrosion of important factors affecting service life of oil and gas pipelines, oil and gas pipeline corrosion depth behavior is measured comments on pre-one of the key steps of the remaining life of the pipeline. Handling characteristics of dynamic data based on time series analysis, vertical observation building data model for time series analysis of pitting corrosion, effectiveness analysis with instance methods, results showed that, with a combination of time-series analysis and prediction of oil-gas pipeline corrosion depth extension is feasible.Corrosion behavior was difficult, time-series analysis to environmental information are complex, the physical structure are not fully aware of the circumstances, using the theory of incomplete information to specify a suitable mathematical function, and to analyze trends and predicting physical phenomena. Features through the time series of historical data to explain phenomena over time rules, and make predictions about the future. Therefore, using time series analysis method to master the propagation of pitting corrosion, enabling the prediction of oil and gas pipeline corrosion depth extended trend.Keywords: oil and gas pipelines: pitting corrosion; depth extensions, and time series analysis.前言：在油气生产中，了解整个管线的腐蚀情况、预测管线的剩余寿命一直是点腐蚀缺陷扩展变化趋势是评价管线剩余寿命的关键步骤之一。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

则 s(α) αT xT xα αT xT y yT xα yT y ，于是 α 的最小二 乘估计为
ˆ (xT x) 1 xT y α
即
ˆ ) y T y y T x(xT x) 1 xT y inf s(α ˆ) s (α
α

2 相应地，白噪声方差 的最小二乘估计
ˆ ˆ0 r r 1 ˆ2 r ˆ r 1 r r ˆ p ˆp 1 ˆ r 1 ˆ0 r ˆp 2 r ˆ1 ˆp 1 r ˆp 2 ˆ2 r ˆ0 ˆ r p
A. AR(p)模型参数的Yule-Walker估计

对于AR(p)模型，自回归系数 α 由AR(p)序列的自协 方差函数 r0 , r 1 ,, rp 通过Yule-Walker方程
r1 r2 r p r0 r1 r p 1
ˆ j j , ˆ 2
2 p p
(1)
(2) 1 ) 。 布 N (0, 2p
ˆ1 1 ,, ˆ p p )T n (
依分布收敛到p维正态分
1 注：用 j , j 表示 2p 的第 j j 元素时，可知 ˆ j j )依分布收敛到N (0, j , j ) ，于是 j 的 n ( 95%的渐近臵信区间是
B. AR(p)模型参数的最小二乘估计

ˆ1 , ˆ 2 , ˆ p 是自回归系数1,2 ,, p 的估计， 如果 白噪声 j 的估计定义为
ˆ j x j ( ˆ1x j 1 ˆ 2 x j 2 ˆ p x j p ), p 1 j n

ˆ j 1.96 j , j / n , ˆ j 1.96 j , j / n ] [
2 ˆ 1 ˆ 在实际问题中， j , j 未知，可用 p 的 j j 元素 ˆ j , j 代替 j , j ，得到 的近似臵信区间 j
ˆ j 1.96 ˆ j , j / n , ˆ j 1.96 ˆ j, j / n ] [
第六章 ARMA模型的参数估计

第一节 AR(p)模型的参数估计 第二节 MA(q)模型的参数估计
第三节 ARMA(p,q)模型的参数估计 第四节 求和模型及季节模型的参数估计



第一节. AR(p)模型的参数估计

目的：为观测数据建立AR(p)模型 (1.1) T 假定自回归阶数p已知，考虑回归系数 α (1,, p ) 和 零均值白噪声{ t } 的方差 2 的估计。
产生长度为n=300的样本，计算出前5个样本自协方差函 数值为
r0 1.5419 , r1 0.7771 , r2 0.3886 , r3 0.1773 , r4 0.0123
求参数的矩估计和最小二乘估计。 2 2 ˆ ˆ , , (1) 参数 1 的矩估计 1 分别为

注：当n充分大时，AR(p)模型参数的极大似然 估计、最小二乘估计和矩估计(Yule-Walker估 计)三者都非常接近，即三者渐近相等，它们 都可以作为AR(p)模型的参数估计，这是AR(p) 模型的独有的优点。

例1.1. 由下列AR(1)序列 X t 0.5 X t 1 t , t ~ N (0,1)
n .
C. AR(P)模型的极大似然估计

假定模型AR(p)中的{ t } 为正态分布，则观测向量 xn ( x1 , x2 ,, xn )T 的高斯似然函数为
L(α, 2 | x1 , x2 ,, xn ) ( 2 )
n 2
| Γn |

1 2
e xp(
1 T 1 x n n x n ) 2
(1.3)
和
ˆ2 r ˆ0 ˆ jr ˆj
j 1Leabharlann p(1.4)决定。

令
ˆ0 r ˆ r 1 ˆ Γp r ˆp 1 ˆ r 1 ˆ0 r ˆp 2 r ˆ ˆ1 ˆp 1 r r 1 ˆp 2 ˆ2 ˆ2 r r ˆ ˆp , b p , α ˆ0 ˆ ˆ r r p p
1
k 1 ak1 k 2 ak 2
1 akk
k 2
导出。

定理1.1 如果AR(p)模型中的 { t } 是独立同分布 的 WN (0, 2 ), Et4 ，则当 n 时

ˆ j , p 1 j n 为残差。 通常 我们把能使
s(α )
j p 1
{ x
n
t
1 xt 1 2 xt 2 p xt p }2
(1.6)
ˆ 称为 α 的最小二乘估计。 达到极小值的 α

记
x p 1 xp x p2 x p 1 y , x x x n 1 n x p 1 xp xn 2 x1 x2 , xn p

从另一角度考虑：
n p 2
由于 t 服从正态分布，则 p 1 , , n 有联合密度函数 ( 2 )

e xp(
1 2
2
t p 1

n
2 t
).
于是可得基于x1 , , x n的似然函数 L(α , ) ( 2 )
2 n p 2
e xp{
1 2 2
相应的对数似然函数为
1 n 1 1 1 l (α, 2 | x1 , x2 ,, xn ) log( 2 ) | Γ n | 2 xT n n xn 2 2 2
| Γ n | 表示 Γ n 其中，Γ n 为 ( x1 , x2 ,, xn )T 的协方差阵， 2 l ( α , | x1 , x2 ,, xn ) 的行列式，使得对数似然函数 2 2 α ˆ 和 达到极大值的 α 的极大似然估计。 ˆ 称为 和
2 ˆ ˆ1 r ˆ ˆ ˆ ˆ0 ˆ1r ˆ / r , r 1 0 1 1
将样本自协方差函数值代入得
ˆ1 0.504 ˆ 2 1.150 ,
n
就称 { n } 是依概率有界的，记为 n O p(1). 如果 { n / c n } O p(1), 就称 n O p(c n ). 记 ˆ为Yule Wal ker 估计， ˆL 为最小二乘估计， 则对AR 模型，有 ˆL ˆ O p(1 / n ),
1 依分布收敛到p维正态分布 N (0, 2p )
注：对于较大的n，最小二乘估计和矩估计 (Yule-Walker)估计的差别不大。

定义1.1：设 { n } 是时间序列， {c n } 是非零常数列，如果对 任何
0,存在正数M，使得 sup P(| n | M ) ,
2 ˆ1,, ˆ p )T (a ˆ p,1, a ˆ p,2 ,, a ˆ p, p )T , ˆ 2 ˆp (
上式是由求偏相关函数的公式：
1 1 2 1 k k 1
1
X t 1 X t 1 2 X t 2 p X t p t

数据 x1 , x2 ,, xn 的预处理：如果样本均值不为零，需将 它们中心化，即将它们都同时减去其样本均值
xn 1 / n xt
t 1
n
再对序列按(1.1)式的拟合方法进行拟合。

t p 1

n
( x t j x t j ) 2 }.
j 1
p
相应的对数似然可定义 为 Np 1 l (α , 2 ) ln( 2) 2 2 2
t p 1
( x
t j 1
n
p
j
xt j )2 c
Np 1 ln( 2) S (α ) c , 2 2 2 Np 其中c l n (2 )是常数. 2
1 1 ˆ ˆ s(α) (y T y y T x(xT x) 1 xT y ) n p n p
2 n 1 ˆ1 xt 1 ˆ p xt p ) 2 ( xt n p t p 1
ˆ1 , ˆ 2 , ˆp 为 α ˆ 的p个分量。 式中
为求l (α , 2 )的最大值点，解方程 l ( α , 2 ) n p 1 S (α ) 0 2 2 4 2 2 于是，得 1 2 S (α ). n p 将上式代入l (α , 2 )表达式，得到 Np 1 l (α , 2 ) l n {S (α )} S (α ) c0， 2 2 2 这里c0 是常数.容易看出， l (α , 2 )的最大值点实际上是S (α ) 的最小值点，从而是α的最小二乘估计。
则(1.3),(1.4)式可写为
ˆ α ˆ ˆp b Γ p p

实际应用中，对于较大的p,为了加快计算速度可采用 如下的Levison递推方法 2 ˆ0 ˆ0 r 2 a ˆ11 r ˆ1 / ˆ0 2 2 2 ˆ ˆ ˆ ( 1 a k k 1 k ,k ) k k ˆ k 1,k 1 (r ˆk 1 r ˆk 1 j a ˆ kj )(r ˆ0 r ˆj a ˆ kj ) 1 j 1 j 1 ˆ k 1, j a ˆk , j a ˆ k 1,k 1a ˆ k ,k 1 j 1 j k , k p a 递推最后得到矩估计