时间序列分析讲义(3)
- 格式:doc
- 大小:786.50 KB
- 文档页数:30
(3) 最大似然估计法(MLE )首先大家打开教材第43页看,我们纠正教材中的错误。
它说: “对于一组相互独立的随机变量),,2,1(,T t tx =,当得到一个样本),,,(21T x x x 时,似然函数可表示为∏===T t t x f x f x f x f T x x x L 1)()2()2()1(),,2,1(γγγγγ 式中),,,(21k γγγγ =是一组未知参数”。
我们知道时间序列一般不是独立的,而是相依的离散时间随机过程。
因此,得到的样本),,,(21T x x x 不可能是相互独立的,似然函数绝不是以上概率密度乘积的形式。
所以,教材中这一段是错误的。
似然函数在估计理论中有着根本的重要性的一个原因是因为“似然原理”。
这个原理说:已知假定的模型是正确的,数据非得告诉我们的关于参数的全部包含在似然函数中,数据的所有其他方面是不切题的。
实际上,一般的ARMA 过程(含AR 、MA 过程)参数的最大似 然估计计算过程很复杂。
至少有三种方法写出精确的似然函数:向后预报法、递推预报法、状态空间与卡尔曼(Kalman )滤波法。
我们讲只对递推预报法最简要介绍,从而为引出模型选择的AIC 、BIC 信息准则铺平道路。
我们先以最简单的因果的AR(1)过程的MLE 为例,说明MLE 的主要思想。
考虑因果的AR(1)过程,满足模型tu t X t X +-+=110φφ, ),0(~2σN IID t u , 且11<φ。
则均值为 )(110t X E =-=φφμ。
我们以),1,(2σφμ为三个未知参数,而)11(0φμφ-=不作独立的未知参数。
模型中心化为 tu t X t X +--=-)1(1μφμ。
设已得到了样本值),,,(21T x x x 。
则关于参数),1,(2σφμ的似然函数为 )2,1,;1()2,1,;12()2,1,;2,,2,11()2,1,;1,,1(),,2,1;2,1,(σφμσφμσφμσφμσφμx f x x f T x x x T x f T x x T x f Tx x x L ⨯---= 联合概率密度在样本值),,,(21T x x x 处的值写为条件概率密度和最后一个无条件概率密度的乘积。
随机时间序列分析模型讲义【讲义】随机时间序列分析模型一、引言随机时间序列分析是一种经济学、统计学和数学领域的重要研究方法,用于描述和预测随机现象(例如经济指标、股票价格)随时间发展的变化规律。
本讲义将介绍常见的随机时间序列分析模型。
二、自回归模型(AR)1. 定义:自回归模型是一种常见的线性时序模型,它假设当前时刻的数值与过去若干时刻的数值相关。
AR(p)模型表示当前时刻的值与前p个时刻的值相关。
2. 公式:AR(p)模型的数学公式可表示为:y_t = c + φ_1 * y_(t-1) + φ_2 * y_(t-2) + ... + φ_p * y_(t-p) + ε_t其中,y_t代表当前时刻的数值,c为常数,φ_i为自回归系数,ε_t为误差项,服从均值为0,方差为σ^2的正态分布。
3. 参数估计:通过样本数据拟合AR(p)模型,可使用最小二乘法或极大似然法估计自回归系数。
三、移动平均模型(MA)1. 定义:移动平均模型是一种常见的线性时序模型,它假设当前时刻的数值与过去若干时刻的误差相关。
MA(q)模型表示当前时刻的值与过去q个时刻的误差相关。
2. 公式:MA(q)模型的数学公式可表示为:y_t = c + ε_t + θ_1 * ε_(t-1) + θ_2 * ε_(t-2) + ... + θ_q * ε_(t-q)其中,y_t代表当前时刻的数值,c为常数,θ_i为移动平均系数,ε_t为误差项。
3. 参数估计:通过样本数据拟合MA(q)模型,可使用最小二乘法或极大似然法估计移动平均系数。
四、自回归移动平均模型(ARMA)1. 定义:自回归移动平均模型是自回归模型与移动平均模型的结合,综合考虑了过去若干时刻的数值和误差对当前时刻数值的影响。
ARMA(p, q)模型表示当前时刻的值与过去p个时刻的值和过去q个时刻的误差相关。
2. 公式:ARMA(p, q)模型的数学公式可表示为:y_t = c + φ_1 * y_(t-1) + φ_2 * y_(t-2) + ... + φ_p * y_(t-p) + ε_t + θ_1 * ε_(t-1) + θ_2 * ε_(t-2) + ... + θ_q * ε_(t-q)3. 参数估计:通过样本数据拟合ARMA(p, q)模型,可使用最小二乘法或极大似然法估计自回归系数和移动平均系数。
时间序列分析基本知识讲解时间序列分析是指对一系列按照时间顺序排列的数据进行分析、建模和预测的方法。
它在许多领域都有广泛的应用,如经济学、金融学、气象学等。
时间序列数据的特点是具有时间依赖性和序列自相关性,即当前的观测值与前面的观测值之间存在一定的关联。
时间序列分析的基本目的是通过观察过去的数据模式,来预测未来的值或者了解数据的发展趋势。
在进行时间序列分析时,我们通常关注以下几个方面的内容:1. 趋势分析:时间序列数据中的趋势是指长期内数据值的增长或下降趋势。
趋势的存在可能是持续性的,也可能是周期性的。
常见的趋势分析方法包括移动平均法、指数平滑法等。
2. 季节性分析:时间序列数据中的季节性是指每年或每个周期内数据值呈现出的周期性规律。
季节性可以是固定的,也可以是随机的。
常用的季节性分析方法有季节性指数法、周期性指数法等。
3. 周期性分析:时间序列数据中的周期性是指数据值在一段时间内出现的循环规律。
周期性往往是由于外部因素引起的,如经济周期、自然环境等。
周期性分析常用的方法有傅里叶分析、自相关函数等。
4. 随机性分析:时间序列数据中的随机性是指数据值的不可预测性和不规律性。
随机性分析可以用来寻找数据中的异常值、离群点等。
常用的随机性分析方法有自回归滑动平均模型(ARMA)、随机游走模型等。
时间序列分析的基本步骤包括收集数据、可视化数据、数据预处理、建立模型、模型检验和评估模型的预测能力等。
常用的时间序列模型有自回归移动平均模型(ARMA)、自回归整合移动平均模型(ARIMA)、季节性自回归整合移动平均模型(SARIMA)等。
总之,时间序列分析是研究时间序列数据的变化规律和趋势的一种方法。
通过对时间序列数据的分析,我们可以预测未来的趋势和变化,辅助决策制定和问题解决。
在实际应用中,时间序列分析与其他统计方法和机器学习方法结合,可以提高分析预测的准确性和可靠性。
时间序列分析是研究时间序列数据的内在规律和趋势的一种方法。
时间序列分析基本知识讲解时间序列分析是指对一系列按时间顺序排列的数据进行统计分析和预测的方法。
它是统计学中的一个重要分支,在许多领域中都有广泛的应用,例如经济学、金融学、气象学等。
在时间序列分析中,我们通常假设观察到的数据是由内部的趋势、季节性和随机性构成的。
首先要介绍的概念是时间序列。
时间序列是按时间顺序记录的一组数据点,其中每个数据点代表某个变量在特定时间点的观测值。
每个数据点可以是连续的时间单位,如小时、天、月或年,也可以是离散的时间单位,如季度或年度。
时间序列数据通常包含趋势、季节性和随机成分。
趋势是时间序列长期上升或下降的的总体倾向,它可以是线性的,也可以是非线性的。
季节性是周期性出现在时间序列中的模式,它在一年中的特定时间段内循环出现,如一年中的季节、月份或周几。
随机成分是不可预测的随机波动,可能是由于外部因素或不可预见的事件引起的。
时间序列分析的目标通常有三个:描述、检验和预测。
描述的目标是对时间序列的特征进行统计分析,通过计算均值、方差、自相关系数等指标来揭示数据的规律和模式。
检验的目标是验证时间序列数据是否满足一定的假设条件,例如平稳性、白噪声等。
预测的目标是基于已有的时间序列数据来预测未来的值。
预测方法可以是单变量的,只使用时间序列自身的历史数据来进行预测;也可以是多变量的,将其他相关变量的信息纳入预测模型。
在时间序列分析中,有一些重要的概念和方法需要掌握。
首先是平稳性。
平稳性是指时间序列的均值、方差和自相关结构在时间上的不变性。
平稳性是许多时间序列模型的基本假设,它能够简化模型的建立和推断。
其次是自相关性。
自相关性是指时间序列中的观测值之间的相关性。
自相关结构可以通过自相关函数(ACF)和偏自相关函数(PACF)来描述,其中ACF表示不同时滞的自相关系数,PACF表示在剔除之前的滞后时其他滞后效应后,特定滞后的自相关系数。
另外,还有移动平均、自回归过程和ARMA模型等重要的方法和模型。
第四次作业第1题 已知某地区每年常驻人口数量近似服从MA (3) 模型(单位:万人)3212.06.08.0100----+-+=t t t t t Y εεεε,()25,0~N iid t ε。
2002—2004 年的常驻人口数量及1步预测数量下表。
(1)计算此模型的均值函数t Y E 和自相关函数k ρ。
(2)预测未来5年该地区常驻人口数量的95%的置信区间。
第2题 一个销售序列的拟合ARIMA (1, 1, 0)模型为)2,0(IID ~,)1)(43.01(N a a Z B B t t t =--。
已知观测值9.33,4.335049==Z Z 。
计算535251,,Z Z Z 的预报值,以及它们的90%置信的预报区间。
第3题 基于样本100,,2,1y y y 估计模型(c2),得到)0698.0()1543.0()214.7(19013.0188.026.13t u t Y t t Y +-++=. 在通常的检验水平上(=α10%,5%,1%)检验该模型是否存在单位根。
◆ 自回归求和移动平均(ARIMA )过程的预测(实际问题中常用到的补充内容,教材没有。
期末必考一题)回忆在教材的第二章第二节我们学习过ARIMA(p,d,q)过程。
定义 设1≥d 为整数。
对时间序列{}Z t t X ∈,,如果它的d 次向后 差分序列tX d L t Y )1(:-=是因果平稳的ARMA(p,q)过程,则称{}t X 是ARIMA(p,d,q)过程,即满足模型)2,0(~)(0)1)(()(σφWN tu t u L t X d L L t X L Θ+=-Φ=*Φ。
其中011)(=---=Φpx px x φφ 的p 个根都在单位圆1||=z 以外,并且0)(=Φx 与011)(=+++=Θqx q x x θθ 没有公共根。
由于方程0)1)(()(=-Φ=*Φd x x x 有d 重单位根1=x 位于单位圆1||=z 上,称{}t X 是单位根过程,它必然不能是平稳的(既不是因果平稳的,也不是非因果平稳的)。
而ARIMA(p,d,q)过程存在是否可逆的问题。
回忆时间序列可逆性的定义。
定义 称(可以是平稳的或非平稳的)时间序列{}Z t t X ∈,是可逆的,如果存在数列{}0,≥j j π满足∞<∑∞=|0|jj π以及常数λ,使得).(0s m j jt X j t u ∑∞=-+=πλ 是白噪声)2,0(σWN 。
可逆性是与因果平稳性没有关联的性质。
由于以上ARIMA(p,d,q)过程可以看作是ARMA(p+d,q)过程)2,0(~)(0)(σφWN tu tuL t X L Θ+=*Φ,因此可以通过ARMA 过程可逆性的判定定理去判别ARIMA(p,d,q)过程的可逆性。
补充推论 以上ARIMA(p,d,q)过程{}t X 是可逆的,当且仅当方程011)(=+++=Θqx q x x θθ 的q 个根都在单位圆1||=z 以外。
此时{}tX 有唯一的逆转形式.).(0)(s m j jt X j t X L t u ∑∞=-+=*∏+=πλλ,其中∑=+-=Θ-=q j j110)1(0θφφλ,∑∞=*=*∏0)(j j x j x π满足10=*π和∞<∑∞=*0||j j π,由)()1)(()()()(x d x x x x x Θ-Φ=Θ*Φ=*∏唯一确定。
还注意到由于0)1()11)(1(0)1(=Θ-Φ=∑∞=*=*∏d j j π,且10=*π,因此有101-=*-=∑∞=*ππj j 。
注解 设)(t f 是至多1-d 次确定性的(非随机的)多项式。
则对以上ARIMA(p,d,q)过程{}t X ,有tuL t X d L L t f d L t X d L L t f t X d L L )(0)1)(()]()1()1)[(()]([)1)((Θ+=-Φ=-+-Φ=+-Φφ,因为0)()1(=-t f d L 。
例如,0]2210[3)1(=++-t t L βββ。
所以,ARIMA(p,d,q)过程可以表示带有确定性多项式趋势的序列,{}tX 不能被tu L t X d L L )(0)1)((Θ+=-Φφ唯一确定。
注解 对ARIMA(p,d,q)过程{}tX 的建模可以先对它进行d 次差分,然后对差分序列tX d L t Y )1(:-=建立因果平稳的ARMA(p,q)过程,经过初步识别、参数估计、用信息准则定阶、诊断式检验的完整步骤。
现在我们开始讨论ARIMA(p,d,q)过程的预测问题。
设有ARIMA(p,d,q)过程{}t X 满足模型)2,0(~)(0)1)(()(σφIID tu tu L t X d L L t X L Θ+=-Φ=*Φ(加强为独立同分布的白噪声)。
其中011)(=---=Φpx px x φφ 与011)(=+++=Θqx qx x θθ 的根都在单位圆1||=z 以外,且没有公共根。
则以上补充推论说{}t X 是可逆的,并且有唯一的逆转形式(见推论中形式)。
由逆转形式可以看出:对∞<≤t 1,如果给定了 ,1,-t XtX (到无穷远过去)的值,则也给定了 ,1,-t ut u (到无穷远过去)的值。
但是反之不然,因为序列{}t X 不能被模型tu L t X d L L )(0)1)((Θ+=-Φφ唯一确定。
当时间原点在t 时,记条件期望⎥⎦⎤⎢⎣⎡-⋅=⋅到无穷远过去)(,1,:)( t X t X E t E 。
我们首先介绍ARIMA(p,d,q)过程的递推预测方法。
记dp x dp x dx p x px d x x x +*+--*-=----=-Φ=*Φφφφφ 11)1)(11()1)(()(为d p +次多项式。
将原模型tu L t X d L L t X L )(0)1)(()(Θ+=-Φ=*Φφ改写为q t uq t u t u d p t X d p t X t X -++-++--*++-*+=θθφφφ 11110。
设时间原点在∞<≤t 1。
对任何1≥l ,在ql t u q l t u l t u d p l t Xd p l t X l t X-+++-++++--+*++-+*+=+θθφφφ 11110式中各项取条件期望)(⋅tE ,并利用t u 的独立性而得到提前l 期的最小均方误差“近似预测”的递推公式⎪⎪⎩⎪⎪⎨⎧+≥--+*+++-+*+≤≤-++++--+*+++-+*+=+1)()1(101)()1(10)(q l d p l t X t E d p l t X t E q l q l t u q t u l d p l t X t E d p l t X t E lt X t E φφφθθφφφ 其中⎪⎩⎪⎨⎧≤+≥+=+01)()(j j t X j j t X t E j t X t E ,⎪⎩⎪⎨⎧≤+-+-+=+≥=+0)(110)(j j t X j t E j t X jt u j jt u t E 差)(等于提前一期预测误。
我们还需要给出预测误差及其方差的表示式,以便给出预测区间。
回忆有单位根的ARIMA(p,d,q)过程是非平稳的,并没有收敛的传递形 式∑∞=-*+=0j jt uj t X ψμ。
设时间原点在∞<≤t 1。
对任何1≥l ,此时lt X +可以写成截断的传递形式1)()(≥+=+l l tC l t I l t X, 其中∑-=-+*=10)(l j jl t uj l t I ψ 只是未来冲击(新息)lt u t u ++,,1 的线性函数。
回忆前面d p +次多形式)(x *Φ的展开式。
则幂级数∑∞=*=*ψ0)(j j x j x ψ的系数10=*ψ和*j ψ(1≥j )可由等式)()()(x x x Θ=*ψ*Φ,即qx qx x x d p x d p x θθψψφφ+++=+*+*++*+--*- 11]2211][11[唯一确定。
比较等式两端系数,这些系数*jψ满足递推关系式12211≥+*--*+++*-*+*-*=*j jd p j d p j j j θψφψφψφψ ,其中规定10=*ψ,0=*jψ对0<j ,0=jθ对1+≥q j 。
特别地,满足常系数齐次线性差分方程)11()1)(()(=*+*+--*-=*-Φ=**Φjd p L d p L jd L L j L ψφφψψ 当{}1,max ++≥q d p j 时。
这里一步滞后算子L 作用在*jψ的下标j 上。
而)(l tC 只是序列值到无穷远过去)(,1, -t XtX 的非线性函数。
所以由条件期望的性质,我们有)(0))(())(()(l tC l t C t E l t I t E l t X t E +=+=+。
从而到提前l 期预测的误差为[]∑-=-+*==-+=+-+=10)()()()()()(l j j l t uj l tI l tC l t C l t I l t X t E l t X l t e ψ。
由于)2,0(~σIID tu ,显然0)]([=l e E t ,即预测是无偏的。
而预测误差的方差为∑-=*=102)(2)]([l j jl t e Var ψσ。
lt X+(1≥l )的2倍标准差预测区间为∑-=*±+=±+102)(2)()]([2)(l j jl t X t E l t e Var l t X t E ψσ。
例题 考虑常见的ARIMA(1,1,1)过程的预测。
)2,0(~11)21(101σθφφIID tu t u t u t X t X t X t X -++---+=--。
其中1|1|<φ,1|1|<θ且11φθ-≠。
设时间原点在∞<≤t 1。
对任何1≥l ,在11211)11(0-++++-+--+++=+l t ul t u l t X l t X l t X θφφφ 式中各项取条件期望)(⋅tE 。
当1=l : tu t X t X t X t E 1011)11(0)1(θφφφ++--++=+。
当2=l : 01)1()11(0)2(+-+++=+tX t X t E t X t E φφφ。
当3≥l : )2(1)1()11(0)(-+--+++=+l t X t E l t X t E l t XtE φφφ。
为计算预测区间,我们需要得到截断的传递形式中的jψ权。
此时,21)11(1)1)(11()1)(()(x x x x x x x φφφ++-=--=-Φ=*Φ。