(时间管理)非线性时间序列第六章

非线性趋势的时间序列
非线性趋势的时间序列通常具有曲线或曲折的形状，而不是直线或指数型的趋势。

这种时间序列可能表现出各种形式的非线性关系，如凸型、凹型、波动性等。

例如，一个非线性趋势的时间序列可能是一条波动上升的曲线，其中波峰和波谷交替出现，而不是沿着直线或指数型增长。

另一个例子是一条S 型曲线，表现为一段缓慢增长，随后加速上升，最终趋于饱和。

非线性趋势的时间序列具有更加复杂的关系，因此需要更高级的数据分析方法来识别和预测。

常见的方法包括多项式拟合、非参数回归、神经网络模型等。

通过这些方法，可以更好地理解和利用非线性趋势的时间序列数据。

抄完温师兄的笔记,觉得蛮过瘾;于是继续抄抄抄...这两天终于抄累了,决定不再抄了.已经整理成电子版的,尽量发文发上来,就此作罢;天知道怎么会抄e版笔记也会抄上瘾?看来真有点控制不住自己,就跟小时候逃课去打街机一个德性...再不抄了,就此作罢.非线性时间序列的例子1.Logistic模型x n+1=Rx n(1-x n)R=1.5时,不管初始状态x0在何处,随时间的演化,系统都将单调地趋向于1/3,R=2.9时,不管初始状态x0在何处,随时间的演化,系统都将交替地趋向于19/29,Logistic模型R=3.3时, 不管初始状态x0在何处,随时间的演化,系统都将在0.48和0.82两个状态之间周期性地变化,R=4时,随时间的演化,系统将出现不规则的振荡,看起来好像是随机的-- ->表明系统对初值具有非常敏感的依赖性,也说明这样的系统只能进行短期预测,要进行较长时间的预测会变得不正确.2.弹簧振子受迫振动3.Lorenz系统dx/dt=sigma (y-z)dy/dt=x(r-z)-ydz/dt=xy-bz取sigma=10,r=28,b=8/3时,系统是混沌的.4.实际问题中的实测时间序列股票指数时间序列太阳黑子数时间序列Chapter 2:单变量非线性时间序列分析例2.1 Henon映射:x n+1=1-1.4x n2+y ny n+1=0.3x n该系统实际上只与状态变量x n的前两个时刻的状态有关.相空间重构的基本原理是F.Takens和R.Mane的延迟嵌入定量,它建立了观测信号系统时间波动和动力系统特征之间的桥梁.基本思想:通过观测或实验获得单变量时间序列{x n},做以下相空间重构:x n=(x n,x n-tao,…,x n-(m-1)*tao)从而形成m维状态空间,在重构的m维状态空间中可以建立数学模型:x n+1=G(x n)F.Takens和R.Mane证明了只要适当选取m和tao,原未知数学模型的混沌动力系统的几何特征与重构的m维状态空间的几何特征是等价的,它们具有相同的拓扑结构,这意味着原未知数学模型的混沌动力系统中的任何微分或拓扑不变量可以在重构的状态空间中计算,并且可以通过在重构的m维状态空间中建立数学模型对原未知数学模型的动力系统进行预测,进一步解释/分析/指导原未知数学模型的动力系统.相空间重构设动力系统是由非线性差分方程:z n+1=F(z n)表示的离散系统,或者是由微分方程d z(t)/dt = F(z(t))表示的连续系统,其中z n或z(t)是系统在时刻n或t的状态向量,F(.)是向量值函数.时间序列{x n}是观测到的系统某一维输出,即:x n=h(z n)+w n,或:x n=x(t0+nΔt)=h*z(t0+nΔt)++w n,式中,h(.)是多元数量值函数；w n为在观测或者测量过程中由于技术手段不完善或者精度不够引起的测量噪声.根据F.Takens的定理,当w n=0时,观察到的时间序列{x n}以向量:x n=(x n,x n-tao,…,x n-(m-1)*tao)形成m维空间,只要m>=2d+1,动力系统的几何结构可以完全打开,其中d是系统中吸引子的维数,tao是正整数,称为延迟时间间隔.条件m>=2d+1是动力系统重构的充分但不必要条件,获得动力系统重构的整数m叫做嵌入维数.状态空间中x n- ->x n+1的演化反映了未知动力系统z n- ->z n+1或z(t)- ->z(t+1)的演化,并且状态空间R m中吸引子的几何特征与原动力系统的几何特征等价,这意味着原动力系统中任何微分或拓扑不变量可以重构的状态空间中计算.F.Takens 的定理是在无噪声的情况下考虑的,w n=0,后来T.Sauer等把延迟嵌入定理推广到了具有噪声的情形.对一组长为N的实测时间序列{x n}n=1N,由x n=(x n,x n-tao,…,x n-(m-1)*tao)可构造出m维状态向量:x n=(x n,x n-tao,…,x n-(m-1)*tao) in R m, n=N0,N0+1,…,N其中N0=(m-1)*tao+1,tao是延迟时间间隔.在R m中在L2或L infinity范数定义x i到x j的距离.为了能在重构的R m空间中刻画原动力系统的性质,需正确地确定延迟时间间隔tao和嵌入维数m.延迟时间间隔的确定由延迟嵌入定理可知,在时间序列无限长,无噪声,无限精确的情况相,可以任意选择tao,但实测时间序列是有限长的,且一般都有噪声污染和测量误差,只能根据经验来选择tao.选择tao 的基本思想是使x n与x n+tao具有某种程度的独立但又不完全相关,以便它们能在重构的相空间中作为独立的坐标处理.如果tao太大,则x n与x n+tao的值充分靠近,以至于不能区分它们,从实际观点看不能提供两个独立的坐标,导致吸引子重构非常靠近相空间中的”对角线”,重构的相空间可能总是杂乱无规则的；如果tao太大, x n与x n+tao可能会不相关,吸引子轨道会投影在两个完全不相关的方向上,不能反映相空间中轨线的真实演化规则.鉴于此,需要选择一个比较合适的延迟时间间隔tao.目前,可以使用的方法有很多,但从计算复杂性和使用的简便性等角度看,比较常用的方法主要有自相关函数法和平均互信息法.1.自相关函数法基本思想是要考察观测量x n与x n+tao与平均观测量的差之间的线性相关性,即如果假设:x n+tao– x-bar = C L(tao) (x n– x-bar)其中:x-bar=1/N Σn=1N x n (算术平均),则使:Σn=1N [x n+tao– x-bar - C L(tao) (x n– x-bar)]2,最小的C L(tao)为:C L(tao)=A/B;A=1/N Σn=1N (x n+tao– x-bar)(x n– x-bar)B=1/N Σn=1N (x n– x-bar)2;称这样的C L(tao)为线性自相关函数.取C L(tao)第一次为零时的tao为延迟时间间隔,此时在平均意义下, x n与x n+tao是线性无关的.自相关函数法是比较简单的寻找时间延迟tao的一种方法,但这种方法只考虑到时间序列中线性关系,至于非线性关系并不清楚,所以并不适合所有情况.特别当自相关函数变化十分缓慢时,选择会非常困难.2.平均互信息法不同于自相关函数法,平均互信息法将非线性关系也考虑在内,这种方法的根据是可从事件b j 在B中发生的概率中得到关于a j在集A中发生概率的信息.I(tao)= 1/N Σn=1N P(x n, x n+tao) log2 [P(x n, x n+tao)/(p(x n)p(x n+tao))]式中,P(x n),P(x n+tao),P(x n,x n+tao)为概率.概率P(x n),P(x n+tao)可以通过计算时间序列的直方图获得,联合概率P(x n,x n+tao)可以通过计算时间序列的二维直方图获得,利用计算机可以很方便地计算观测时间序列的平均互信息.文献[5]建议选择I(tao)的第一个局部最小时的tao为延迟时间间隔,因为此时产生的冗余最小,产生了最大的独立性.与自相关函数法相比,平均互信息法考虑了非线性依赖性,但仍有其局限性,如有时可能无局部最小或对某些例子特别不合适.除此之外,选择tao的方法还有重构展开法,高阶关联法,通过分析整体和局部混沌吸引子行为获得优化延迟时间的填充因子法等多种方法,这些方法都有各自的特点,但实际应用中用得较多的还是自相关函数法和平均互信息法.嵌入维数的确定已从理论上证明m>=2d+1时可获得一个吸引子的嵌入,其中d是吸引子的分形维数,但这只是一个充分条件,对观测时间序列选择m没有帮助.如果仅仅是计算关联维数,已证明了对无噪声,无限长的时间序列,只要取m为大于关联维数d的最小整数即可,但对长度有限且具噪声的时间序列,m要比d大得多.如果m选得太小,则吸引子可能折叠以致在某些地方自相交,这样在相交区域的一个小领域内可能会饮食来自吸引子不同部分的点;如果m选得太大,理论上是可以的,但在实际应用中,随着m的增加会大大增加吸引子几何不变量(如关联维数,Lyapunov指数)的计算工作量,且噪声和舍入误差的影响会大大增加.1.试算法通过逐步增加计算过程中的嵌入维数,观察什么时候某些几何不变量(例如,关联积分/关联维数/Lyapunov指数等)停止变化的方法.从理论上来讲,由于这些几何不变量是吸引子的几何性质,当m大于最小嵌入维数时,几何结构被完全打开,因此这些不变量与嵌入维数无关,取吸引子的几何不变量停止变化时的m为最小维数.这种方法的缺点是对数据要求较高(无噪声),计算量大且比较主观.例如,P.Grassberger通过增加嵌入维数m,计算关联积分C N(r,m,tao),取当关联积分C N(r,m,tao)不再变化时的m为嵌入维数.2.虚假邻点法虚假邻点法建立在以下事实的基础上:选择太小的嵌入维数将导致那些在原相空间中离得比较远的点会在重构的相空间中靠近.其基本思想是当嵌入维数从m变化到m+1时,考察轨线x n邻点中哪些是真实的邻点,哪些是虚假的邻点,当没有虚假邻点时,可以认为几何结构被完全打开.设x n的最近邻点为x yita(n),当嵌入维数从m增加到m+1时,它们之间的距离从d(m)变为d(m+1),若d(m+1)比d(m)大很多,可以为是由于高维吸引子中两个不相邻的点在投影到低维轨线上时变成相邻的两点造成的,因此这样的邻点是虚假的.阈值R tol.观测时间序列通常具有噪声且长度有限,所以仅仅用上面的标准判别虚假最近邻点会不正确,为此M.B.Kennel等提出了增加以下标准,阈值A tol.让m从1开始增加,计算每个m时的虚假最近邻点的比例,直到虚假最近邻点的比例小于5%或虚假最近邻点不再随着m的增加而减少时,可以认为吸引子几何结构完全打开(???????是为何意???????),此时的m为嵌入维数.从几何的观点来看,这是一种较好的方法,但在判断虚假邻点时阈值的不同选取会导致不同的结果,因此具有较大的主观性.阈值应当由时间序列的方差确定,因此,不同的时间序列有不同有阈值,这意味洋着要给出一个合适和合理的阈值是非常困难的甚至是完全不可能的.3.改进的虚假邻点法,文献[15]类似虚假最近邻点法的思想,定义:a(n,m) = d(m+1)infinity / d(m)infinity, 采用L infinity范数记所有a(n,m)关于n的均值值为:E(m)=1/(N-N0+1) Σn=N0N a(n,m),式子x n=(x n,x n-tao,…,x n-(m-1)*tao) in R m, n=N0,N0+1,…,N 是向后重构,而文献[15]是向前重构,所以有所不同,但本质上是一样的.E(m)只依赖于嵌入维数m和延迟时间间隔tao,为了研究嵌入维数从m变为m+1时相空间的变化情况,定义:E1(m)=E(m+1)/E(m),如果当m大于某个m0时,E1(m)停止变化,则m0+1就是重构相空间的最小嵌入维数.对来自于随机系统的时间序列,原则上,随着m的增加,E1(m)将永远不会达到饱和值,但在实际计算中,当m充分大时,很难分辨E1(m)是在缓慢增加还是停止变化.事实上,由于获得的观测时间序列是有限长的,可能会出现虽然是随机时间序列,但E1(m)会在某一m处停止变化.为了解决这一问题,文献[15]定义了量E*(m):记E2(m)= E*(m+1)/E*(m),对随机时间序列,由于将来的值与过去的值独立,对任何m,E2(m)将等于1,而对确定性系统的观测时间序列,E2(m)显示与m有关,不可能为常数.因此,文献[15]建议可以通过同时计算E1(m)与E2(m)来确定时间序列相空间重构的最小嵌入维数,同时也区分了时间序列是来自于确定性系统还是随机系统.除上述方法外,确定嵌入维数的方法还有关联积分法,奇异值分解以及上述各种的改进方法.2.3几何不变量的计算分形维数的定义有很多种,从时间序列的角度看,关联维数是易于计算的一种分形维数(G-P算法以及Kolmogorov熵公式) .关联维数是系统复杂性程度的一种很好的度量.一般认为,大于关联维数的下一个整数是刻画系统所需的独立变量的个数,这为从时间序列恢复原复杂系统确定了一个框架.Lyapunov指数(轨线法)度量了复杂系统的预测性,定量地刻画了初始靠近的状态空间轨线的指数发散.在确定性系统中,关联维数就是生成相应复杂系统所必需的独立变量的个数,规则的确定性系统有整数关联维数,而混沌系统有非整数关联维数,大于此关联维数的下一个整数就是系统的独立变量的个数.但是某些关联的随机过程中也有非整数维数[24].文献[25]证明了非整数关联维数不能成为混沌判断的充分条件,因为分形的Browian运动,虽然不是混沌的,但也有非整数关联维数.关联维数G-P算法:(经典方法)关联积分:C N(r,τ,m)如果在r的某一区间段内,有C N(r,τ,m)∝r d,则称d是关联维数,这样定义的d就是近似刻产生时间序列的复杂系统复杂程度的某种维数.d就是双对数图ln C N(r,τ,m) – ln r图的线性部分的分辨率,由于连续采样点之间的相关性,会造成”肩峰”效应,为了消除这种效应,文献[27]对关联积分作了修改,忽略了嵌入空间中非常靠近的点对关联积分的贡献,只考虑满足|i-j|≥w的点,其中w>τ(2/N)2/m,特别取w=τ即可.实际应用中,关联维数的计算是非常耗费时间的,为了改善前面算法的计算效率,文献[35]提出了一种修改算法.在关联积分中,较短的距离起着更有意义的作用,因此选取r的截断距离r0,这样可以把计算时间从O(N2)减到O(Nlog2N).当关联维数的值较大时,所需的时间序列要求较长,而实际问题中,观测或实验获得的时间序列一般都比较短,为解决这一问题,文献[30]利用极大似然法估计关联维数的方法就有对数据要求相对较少的优点,这一方法的关键在于r0的选取,较小时,可计算的点减少,则估计变得不可靠；较大时,虽然可以产生较稳定的结果,但由于C(r)=(r/r0)d, (0<r≤r0)的距离分布方差使结果产生较大的偏差,文献[30]详细给出了利用χ2测试确定r0的一种方法.Kolmogorov熵K1和Renyi熵K q显然有:lim q->∞K q=K1K q是关于q单调减少的,特别q=2时,就是关联积分,因此可由关联积分计算K2.它可以作为K1的一个下界.Lyapunov指数混沌系统的基本特点就是系统对初始值的极端敏感性，两个相差无几的初值所产生的轨迹，随着时间的推移按指数方式分离，lyapunov指数就是定量的描述这一现象的.如果最大Lyapunov指数是正的,意味着相邻的轨线按指数发散,即系统是混沌的.对观测获得的混沌时间序列,最大Lyapunov指数可由A.Wolf等提出的轨线法计算[20],而[41,42]diverge参考资料:/2007/03/wolflyapunov.html/wiki/Lyapunov_exponent/LyapunovCharacteristicExponent.html2.4 观测时间序列平稳性的检验“弱平稳性”的概念2.5基于观测时间序列的系统非线性性检验2.6基于观测时间序列的系统确定性检验2.7观测时间序列噪声处理技术Chapter 3: 基于观测时间序列的系统非线性性检验Chapter 4: 多变量时间序列相空间重构Chapter 5: 多变量非线性时间序列预测方法Chapter 6: 非线性时间序列分析法在证券市场中的应用……。

-------------精选文档 -----------------近代时间序列分析选讲:一. 非线性时间序列二. GARCH 模型三. 多元时间序列四. 协整模型-------------精选文档 -----------------非线性时间序列第一章 .非线性时间序列浅释1.从线性到非线性自回归模型2.线性时间序列定义的多样性第二章 . 非线性时间序列模型1.概述2.非线性自回归模型3.带条件异方差的自回归模型4.两种可逆性5.时间序列与伪随机数第三章 . 马尔可夫链与 AR 模型1.马尔可夫链2.AR 模型所确定的马尔可夫链-------------精选文档 -----------------3.若干例子第四章 . 统计建模方法1.概论2.线性性检验3.AR 模型参数估计4.AR 模型阶数估计第五章 . 实例和展望1.实例2.展望第一章 .非线性时间序列浅释1.从线性到非线性自回归模型时间序列 {x t } 是一串随机变量序列 , 它有广泛的实际背景 , 特别是在经济与金融-------------精选文档 -----------------领域中尤其显著. 关于它们的从线性与非线性概念 , 可从以下的例子入手作一浅释的说明.考查一阶线性自回归模型---LAR(1):x t = x t-1 +e t ,t=1,2,(1.1)其中 {e t } 为i.i.d.序列，且Ee t =0, Ee t = 2 <, 而且e t与 {x t-1 ,x t-1 ,} 独立 .反复使用 (1.1) 式的递推关系 , 就可得到x t =x t-1 +e t=e =e =e ttt+x t-1+{ e t-1 +x t-2 } +e t-1 + 2 x t-2== e t +e t-1 + 2 e t-2+ +n-1 e t-n+1+n x t-n.(1.2)如果当 n时,n xt-n 0, (1.3) {e t + e t-1 + 2 e t-2++n-1 e t-n+1}j=0j et-j .(1.4)虽然保证以上的收敛是有条件的, 而且要涉及到具体收敛的含义, 但是 , 对以上的简单模型 , 不难相信 , 当| |<1 时 , (1.3)(1.4) 式成立 . 于是 , 当 | |<1时,模型LAR(1)有平稳解 , 且可表达为x t =j=0j e t-j.(1.5) 通过上面叙述可见求LAR(1) 模型的解有简便之优点 , 此其一 . 还有第二点 , 容易推广到 LAR(p) 模型 . 为此考查如下的 p 阶线性自回归模型 LAR(p):x t = 1 x t-1 + 2 x t-2 +...+p x t-p +e t ,t=1,2, (1.6) 其中 {e t } 为i.i.d.序列，且Ee t =0, Ee t = 2 <, 而且 e t与{x t-1 , x t-1 ,} 独立 .虽然反复使用(1.6) 式的递推式, 仍然可得到 (1.2) 式的类似结果, 但是 ,用扩张后的一阶多元 AR 模型求解时 , 可显示出与 LAR(1) 模型求解的神奇的相似. 为此记x t 1x t 1, U= 0X t = ,x t p 1 01 2 p1 0 0(1.7)A= ,0 00于是 (1.6) 式可写成如下的等价形式:X t =A X t-1 + e t U.(1.8) 反复使用此式的递推关系, 形式上仿照 (1.2) 式可得X t =AX t-1 +e t U= e t U+ e t-1 AU+A 2 x t-2==e t U+e t-1 AU+e t-2 A 2 U++e t-n+1 A n-1 U+A n x t-n .如果矩阵 A 的谱半径 (A的特征值的最大模) (A),满足如下条件(A)<1,(1.10)由上式可猜想到 (1.8) 式有如下的解 :X t =k=0 A k Ue t-k .(1.11)其中向量X t的第一分量x t形成的序列 {x t },就是模型 (1.6) 式的解 . 由此不难看出 , 它有以下表达方式x t =k=0k e t-k .(1.11)其中系数k 由(1.6)式中的 1 ,2 , ...,p确定 , 细节从略 . 不过 , (1.11) 式给了我们重要启发 ,即考虑形如x t =k=0k e t-k ,k=0k 2,(1.12)的时间序列类( 其中系数k 能保证(1.12)式中的x t有定义 ). 在文献中 , 这样的序列-------------精选文档 -----------------{x t } 就被称为线性时间序列.虽然以上给出了线性时间序列的定义, 以下暂时不讨论什么是非线性时间序列, 代之先讨论一阶非线性自回归模型---NLAR(1),以便与LAR(1) 模型进行比较分析 . 首先写出 NLAR(1)模型如下x t = (x t-1 )+e t ,t=1,2,(1.13)其中 {e t } 为i.i.d.序列，且Ee t =0, Ee t = 2 <, 而且e t与 {x t-1 ,x t-2 ,} 独立 , 这些假定与LAR(1) 模型相同 , 但是 ,(x t-1 )不再是 x t-1的线性函数 , 代之为非线性函数,比如-------------精选文档 -----------------(x t-1 )=x t-1 /{a+bx t-1 2}.此时虽然仍可反复使用(1.13) 式进行迭代, 但是所得结果是x t =(x t-1 ) +e t= e t +(x t-1 )= e t +( e t-1 +(x t-2 ))= e t +( e t-1 +( e t-2 + (x t-3 )))==e t +( e t-1 +( e t-2 ++(x t-n )) ).(1.14)根据此式 , 我们既不能轻易判断(x t-1 ) 函-------------精选文档 -----------------数满足怎样的条件时, 上式会有极限 , 也不能猜测其极限有怎样的形式.对于 p 阶非线性自回归模型x t = (x t-1 ,x t-2 ,,x t-p )+e t ,t=1,2, (1.15) 仿照 (1.6) 至 (1.9) 式的扩张的方法, 我们引入如下记号(x t 1 , x t 2 ,...,x t px t 1( x t-1 ,x t-2 , ,x t-p ),x t p 1(1.16)我们得到与 (1.15) 式等价的模型X t = (X t-1 ) +e t U, t=1,2,(1.17)但是 , 我们再也得不出(1.9) 至 (1.14) 式的结果 ,至此我们已将看出 , 从线性到非线性自回归模型有实质性差异 , 要说清楚它们 , 并不是很简单的事情 . 从数学角度而言 , 讨论线性自回归模型可借用泛函分析方法 , 然而, 讨论非线性自回归模型, 则要借用马尔可夫链的理论和方法 . 这也正是本讲座要介绍的主要内容 .2.线性时间序列定义的多样性现在简单叙述一下非线性时间序列定义的复杂性 , 它与线性时间序列的定义有关.前一小节中(1.12) 式所显示的线性时间序列 , 只是一种定义方式. 如果改变对系数k 的限制条件, 就会给出不同的定义. 更为重要的是 , 在近代研究中 , 将 (1.12) 式中的 i.i.d. 序列 {e t } 放宽为平稳鞅差序列, 这在预报理论中很有意义.无论引用哪一种线性时间序列定义, 都对相应的序列的性质有所研究, 因为其研究成果可用于有关的线性时间序列模型解的特性研究 . 事实上 , 已经有丰富的成果被载入文献史册 .依上所述可知 , 由于线性时间序列定义的多样性 , 必然带来非线性时间序列定义的复杂性 . 这里需要强调指的是 , 对于非线性时间序列 , 几乎没有文章研究它们的一般性质, 这与线性时间序列情况不同 . 于是人们要问 , 我们用哪些工具来研究非线性时间序列模型解的特性呢 ? 这正是本次演讲要回答的问题 . 确切地说 , 我们将介绍马尔可夫链 , 并借助于此来讨论非线性自回归模型解的问题 .第二章 . 非线性时间序列模型1.概论从(1.12) 式可见，一个线性时间序列 {x t }, 被 {e t } 的分布和全部系数i 所决定. 在此有无穷多个自由参数，这对统计不方便，因此人们更关心只依赖有限个自由参数的线性时间序列，这就是线性时间序列的参数模型. 其中最常用的如 ARMA 模型 . 对于非线性时间序列而言 , 使用参数模型方法几乎是唯一的选择 . 由于非线性函数的多样性 ,带来了非线性时间序列模型的多样性 . 但是 , 迄今为止被研究得较多 , 又有应用价值的非线性时序模型 , 为数极少 , 而且主要是针对非线性自回归模型 . 在介绍此类模型之前 , 我们先对非线性时序模型的分类作一概述 .通用假定 : {t }为i.i.d.序列，且E t =0, 而且t 与{x t-1 , x t-2 ,}独立 .可加噪声模型 :x t = (x t-1 ,x t-2 , )+t ,t=1,2, (2.1)其中( ) 是自回归函数. 当它仅依赖于有限个未知参数时 , 记此参数向量为 , 其相应的(2.1) 模型常写成x t = (x t-1 ,x t-2 , ; )+t ,t=1,2, (2.2)否则 , 称(2.1) 式称为非参数模型.关于 (2.1)(2.2)的模型的平稳性,要在下一章讨论 , 但是 , 它有类似于线性A R 模型的几个简单性质, 是重要的而且容易获得的, 它们是 :E(x t |x t-1 ,x t-2 , )=E{ (x t-1 ,x t-2 , )+t |x t-1 ,x t-2 ,}= (x=(xt-1t-1 ,x,xt-2t-2 ,⋯)+E(t |x t-1 ,x t-2 ,⋯),⋯)(2.3)var{x t |x t-1 , x t-2 , ⋯}E{[x t - (x t-1 ,⋯)] 2|x t-1 , x t-2 , ⋯}= E{t 2|x t-1 , x t-2, ⋯}= E t 2=2.(2.4)P{x t <x|x t-1 ,x t-2 , ⋯}= P{(x t-1 ,⋯)+t <x|x t -1 ,x t-2 , ⋯}= P{t <x-(x t-1 ,⋯)|x t-1 ,x t-2 , ⋯}=F (x-(x t-1 ,⋯)).(2.5)其中 F 是t 的分布函数.带条件异方差的模型:x t = (x t-1 ,x t-2 , )+S(x t-1 ,x t-2 , )t ,t=1,2, (2.6)其中( ) 和 S() 也有限参数与非参数型之分 , 这都是不言自明的 . 另外 , (2.6) 式显然不属于可加噪声模型. 但是 , 它比下面的更一般的非可加噪声模型要简单得多. 这可通过推广 (2.3)(2.4)(2.5)式看出,即有,E(x t |x t-1 ,x t-2 , )-------------精选文档 -----------------=E{ (x t-1 ,x t-2 ,⋯)+S(x t-1 ,x t-2 ,⋯)t |x t-1 ,x t-2 ,⋯}=(x t-1 ,x t-2 ,⋯)+S(x t-1 ,x t-2 ,⋯)E{t |x t-1 ,x t-2 ,⋯}= (x t-1 ,x t-2 ,⋯).(2.3) ’var{x t |x t-1 , x t-2 , ⋯}E{[x t - (x t-1 ,⋯)] 2 |x t-1 , x t-2 , ⋯}=E{S 2 (x t-1 ,x t-2 ,⋯)t 2|x t-1 , x t-2, ⋯}=S 2 (x t-1 ,x t-2 ,⋯)E{t 2|x t-1 , x t-2, ⋯}=S 2 (x t-1 ,x t-2 ,⋯) 2 .(2.4) ’P{x t <x|x t-1 ,x t-2 , ⋯}=P{(x t-1 ,⋯)+S(x t-1 ,⋯)t <x|x t-1 , x t-2, ⋯} = P{t <[x-(x t-1 ,⋯)]/S(x t-1 ,⋯)}=F ([x-(x t-1 ,⋯)]/S(x t-1 ,⋯)).(2.5) ’一般非性序模型:x t = (x t-1 ,x t-2 ,⋯;t ,t-1 ,⋯)t=1,2, ⋯(2.7) 其中( ⋯) 也有参数与非参数型之区, 也是不言自明的 . 然 , (2.7) 式既不是可加噪声模型 , 也不属于 (2.6) 式的条件异方差的模型 . 然 , 它可能具有条件异方差性. 相反 , 后两者都是(2.7) 式的特殊型 .虽说 (2.7) 式是更广的模型形式, 在文献中却很少被研究 . 只有双线性模型作为它的一种特殊情况 , 在文献中有些应用和研究结果出现 . 现写出其模型于后, 可供理解其双线性模型的含义x t =j=1 p j x t-j +j=1 q j t-j+i=1 P j=1 Q ij t-i x t-j .2.非线性自回归模型在前一小节中的 (2.1) 和 (2.2) 式就是非线性自回归模型 , 而且属于可加噪声模型类 . 在这一小节里 , 我们将介绍几种 (2.2) 式的常见的模型 .函数后的线性自回归模型:-------------精选文档 -----------------f(x t )= 1 f(x t-1 )+2f(x t-2 )+...+p f(x t- p )+t ,t=1,2, (2.8) 其中 f(.) 是一元函数 , 它有已知和未知的不同情况 , 不过总考虑单调增函数的情况, =( 1 , 2 ,,p )是未知参数. 在实际应用中 , {x t } 是可获得量测的序列.当 f(.) 是已知函数时 , {f(x t )} 也是可获得量测的序列 , 于是只需考虑 y t =f(x t ) 所满足的线性 AR 模型y t = 1 y t-1 + 2 y t-2 +...+p y t-p +t ,t=1,2, (2.9)-------------精选文档 -----------------此时可不涉及非线性自回归模型概念 . 在宏观计量经济分析中 , 常常对原始数据先取对数后 , 再作线性自回归模型统计分析 , 就属于此种情况 . 这种先取对数的方法 , 不仅简单 , 而且有经济背景的合理解释 ,它反应了经济增长幅度的量化规律 . 虽然在统计学中还有更多的变换可使用 , 比如 Box-Cox 变换 , 但是 , 由于缺少经济背景的合理解释,很少被使用 . 由此看来 , 当 f(.) 有实际背景依据时 , 可以考虑使用 (2.7) 式的模型 .当 f(.) 是未知函数时 , {f(x t )} 不是可量测的序列 , 于是只能考虑 (2.8) 模型 . 注意 f(.)是单调函数 , 可记它的逆变换函数为 f -1 (.), 于是由 (2.8) 模型可得-------------精选文档 -----------------x t = f -1 ( 1 f(x t-1 )+ 2 f(x t-2 )+...+p f(x t-p )+t ),t=1,2, (2.9) ’此式属于 (2.7) 式的特殊情况, 此类模型很少被使用 . 取而代之是考虑如下的模型x t = 1 f(x t-1 )+ 2 f(x t-2 )+...+p f(x t-p )+t ,t=1,2, (2.10) 其中 f(.) 是一元函数 , 也有已知和未知之分, 可不限于单调增函数. 此式属于 (2.1) 式的特殊情况 , 有一定的使用价值.当 (2.10) 式中的 f(.) 函数是已知时 , 此式还有更进一步的推广模型 ,-------------精选文档 -----------------x t = 1 f 1 (x t-1 ,⋯,x t-s )+ 2 f 2 (x t-1 ,⋯,x t-s )+...+p f p (x t-1 ,⋯,x t-s )+t ,t=1,2, ⋯(2.11) 其中 f k (⋯)(k=1,2,⋯,p)是已知的s元函数.例如 , 以后将要多次提到的如下的模型:x t = 1 I(x t-1 <0)x t-1 + 2 I(x t-10)x t-1 +t,t=1,2, ⋯(2.12) 其中 I(.) 是示性函数 . 此模型是分段性的, 是著名的TAR模型的特殊情况. 了有助于理解它 , 我写出它的分段形式:-------------精选文档 -----------------1 x1 t , x1 0,x t =, x t 1 t=1,2,2 x t 1 t0.请注意 , (2.8)(2.10) 和(2.11) 式具有一个共同的特征 , 就是未知参数都以线性形式出现在模型中 . 这一特点在统计建模时带来极大的方便 . 此类模型便于实际应用 . 但是 , 对于 {x t } 而言不具有线性特性 , 所以 , 讨论它们的平稳解的问题 , 讨论它们的建模理论依据问题 ,都需要借助于马尔可夫链的工具 .已知非线性自回归函数的模型:x t = (x t-1 ,x t-2 , ,x t-p ; )+t ,t=1,2,(2.13)-------------精选文档 -----------------其中( ) 是 p 元已知函数 , 但是其中含有未知参数=( 1 , 2 ,,p ). 一般说来, 在一定范围内取值.例如 ,x t = 1 x t 1t , t=1,2,1 2 x t2 1其中=( 1 , 2 )是未知参数, 它们的取值范围是:- < < ,0< .这里需要指出 , 使用上式的模型, 不仅要借助于马尔可夫链的工具, 而且在统计建模时遇到两种麻烦, 其一是参数估计的计算麻烦 , 二是确定( ) 函数的麻烦 . 一般来说 , 只有根据应用背景能确定() 函数时, 才会考虑使用此类模型.-------------精选文档 -----------------广义线性模型 (神经网络模型 ):x t = ( 1 x t-1 + 2 x t-2 ++p x t-p )+ t,t=1,2, (2.14)其中 (.) 是一元已知或未知函数, 参数=( 1 , 2 ,,p )总是未知的. 为保证模型的唯一确定性, 或者说是可识别性, 要对作些约定,其一,|| ||=1,其二,=( 1 , 2 ,,p )中第一个非零分量为正的 . 不难理解 , 若不加这两条约定,模型(2.14) 不能被唯一确定 .当 (.) 是一元已知函数时 , 与神经网络模型相通 .-------------精选文档 -----------------当 (.) 是一元未知函数时 , 与回归模型中的 PP 方法相通 .除了以上两类模型外, 还有 (2.1) 式的非参数自回归模型, 以及从统计学中引入的半参数自回归模型. 对它们的统计建模更困难 . 本讲座主旨在于介绍如何用马尔可夫链的工具, 描述非线性自回归模型的基本特性问题 , 对这类模型不再仔细讨论 .。

近代时间序列分析选讲:一. 非线性时间序列二. GARCH模型三. 多元时间序列四. 协整模型非线性时间序列第一章.非线性时间序列浅释1.从线性到非线性自回归模型2.线性时间序列定义的多样性第二章. 非线性时间序列模型1. 概述2. 非线性自回归模型3.带条件异方差的自回归模型4.两种可逆性5.时间序列与伪随机数第三章.马尔可夫链与AR模型1. 马尔可夫链2. AR模型所确定的马尔可夫链3. 若干例子第四章. 统计建模方法1. 概论2. 线性性检验3.AR模型参数估计4.AR模型阶数估计第五章. 实例和展望1. 实例2.展望第一章.非线性时间序列浅释1. 从线性到非线性自回归模型时间序列{x t}是一串随机变量序列, 它有广泛的实际背景, 特别是在经济与金融领域中尤其显著. 关于它们的从线性与非线性概念, 可从以下的例子入手作一浅释的说明.考查一阶线性自回归模型---LAR(1): x t=αx t-1+e t, t=1,2,… (1.1)其中{e t}为i.i.d.序列，且Ee t=0, Ee t=σ2<∞, 而且e t与{x t-1,x t-1,…}独立. 反复使用(1.1)式的递推关系, 就可得到x t=αx t-1+e t= e t + αx t-1= e t + α{ e t-1 + αx t-2}= e t + αe t-1 + α2 x t-2=…= e t + αe t-1 + α2e t-2+…+ αn-1e t-n+1 +αn x t-n. (1.2)如果当n→∞时,αn x t-n→0, (1.3){e t+αe t-1+α2e t-2+…+αn-1e t-n+1}→∑j=0∞αj e t-j . (1.4)虽然保证以上的收敛是有条件的, 而且要涉及到具体收敛的含义, 但是, 对以上的简单模型, 不难相信, 当|α|<1时, (1.3)(1.4)式成立. 于是, 当|α|<1时, 模型LAR(1)有平稳解, 且可表达为x t=∑j=0∞αj e t-j . (1.5)通过上面叙述可见求LAR(1)模型的解有简便之优点, 此其一. 还有第二点, 容易推广到LAR(p)模型. 为此考查如下的p阶线性自回归模型LAR(p):x t =α1x t-1+α2x t-2+...+αp x t-p +e t ,t=1,2,… (1.6)其中{e t }为i.i.d.序列，且Ee t =0, Ee t =σ2<∞,而且e t 与{x t-1, x t-1,…}独立.虽然反复使用(1.6)式的递推式, 仍然可得到(1.2)式的类似结果, 但是,用扩后的一阶多元AR 模型求解时, 可显示出与LAR(1)模型求解的神奇的相似. 为此记X t =⎪⎪⎪⎪⎪⎭⎫ ⎝⎛+--11p t t t x x x , U=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛001 , A=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛00000121 pααα, (1.7)于是(1.6)式可写成如下的等价形式:X t=A X t-1+ e t U. (1.8)反复使用此式的递推关系, 形式上仿照(1.2)式可得X t=AX t-1+e t U= e t U+e t-1AU+A2x t-2=⋯=e t U+e t-1AU+e t-2A2U+…+e t-n+1A n-1U+A n x t-n.如果矩阵A的谱半径(A的特征值的最大模)λ(A), 满足如下条件λ(A)<1, (1.10) 由上式可猜想到(1.8)式有如下的解: X t=∑k=0∞A k Ue t-k. (1.11)其中向量X t的第一分量x t形成的序列{x t}, 就是模型(1.6)式的解. 由此不难看出, 它有以下表达方式x t=∑k=0∞ϕk e t-k. (1.11)其中系数ϕk由(1.6)式中的α1,α2, ... ,αp 确定, 细节从略. 不过, (1.11)式给了我们重要启发, 即考虑形如x t=∑k=0∞ψk e t-k, ∑k=0∞ψk2<∞, (1.12)的时间序列类 (其中系数ψk能保证(1.12)式中的x t有定义). 在文献中, 这样的序列{x t}就被称为线性时间序列.虽然以上给出了线性时间序列的定义, 以下暂时不讨论什么是非线性时间序列, 代之先讨论一阶非线性自回归模型---NLAR(1), 以便与LAR(1)模型进行比较分析. 首先写出NLAR(1)模型如下x t=ϕ(x t-1)+e t, t=1,2,… (1.13)其中{e t}为i.i.d.序列，且Ee t=0, Ee t=σ2<∞,而且e t与{x t-1,x t-2,…}独立, 这些假定与LAR(1)模型相同, 但是, ϕ(x t-1)不再是x t-1的线性函数, 代之为非线性函数, 比如ϕ(x t-1)=x t-1/{a+bx t-12}.此时虽然仍可反复使用(1.13)式进行迭代, 但是所得结果是x t=ϕ (x t-1) +e t= e t+ ϕ (x t-1)= e t+ ϕ ( e t-1+ ϕ (x t-2))= e t+ ϕ ( e t-1+ ϕ ( e t-2+ ϕ (x t-3))) =…=e t+ϕ ( e t-1+ ϕ ( e t-2+ …+ϕ (x t-n))…).(1.14)根据此式, 我们既不能轻易判断ϕ(x t-1)函数满足怎样的条件时, 上式会有极限, 也不能猜测其极限有怎样的形式.对于p阶非线性自回归模型x t =ϕ(x t-1,x t-2,…,x t-p )+e t ,t=1,2,… (1.15)仿照(1.6)至(1.9)式的扩的方法, 我们引入如下记号Φ( x t-1,x t-2,…,x t-p )≡⎪⎪⎪⎪⎪⎭⎫ ⎝⎛+-----1121,...,,(p t t p t t t x x x x x ϕ, (1.16)我们得到与(1.15)式等价的模型X t =Φ(X t-1) +e t U, t=1,2,… (1.17)但是, 我们再也得不出(1.9)至(1.14)式的结果,至此我们已将看出, 从线性到非线性自回归模型有实质性差异, 要说清楚它们, 并不是很简单的事情. 从数学角度而言,讨论线性自回归模型可借用泛函分析方法, 然而, 讨论非线性自回归模型, 则要借用马尔可夫链的理论和方法. 这也正是本讲座要介绍的主要容.2. 线性时间序列定义的多样性现在简单叙述一下非线性时间序列定义的复杂性, 它与线性时间序列的定义有关. 前一小节中(1.12)式所显示的线性时间序列, 只是一种定义方式. 如果改变对系数 k的限制条件, 就会给出不同的定义. 更为重要的是, 在近代研究中, 将(1.12)式中的i.i.d.序列{e t}放宽为平稳鞅差序列, 这在预报理论中很有意义.无论引用哪一种线性时间序列定义, 都对相应的序列的性质有所研究, 因为其研究成果可用于有关的线性时间序列模型解的特性研究. 事实上, 已经有丰富的成果被载入文献史册.依上所述可知, 由于线性时间序列定义的多样性, 必然带来非线性时间序列定义的复杂性. 这里需要强调指的是, 对于非线性时间序列, 几乎没有文章研究它们的一般性质, 这与线性时间序列情况不同. 于是人们要问, 我们用哪些工具来研究非线性时间序列模型解的特性呢? 这正是本次演讲要回答的问题. 确切地说, 我们将介绍马尔可夫链, 并借助于此来讨论非线性自回归模型解的问题.第二章. 非线性时间序列模型1. 概论从(1.12)式可见，一个线性时间序列{x t}, 被{e t}的分布和全部系数 i 所决定. 在此有无穷多个自由参数，这对统计不方便，因此人们更关心只依赖有限个自由参数的线性时间序列，这就是线性时间序列的参数模型. 其中最常用的如ARMA模型. 对于非线性时间序列而言, 使用参数模型方法几乎是唯一的选择. 由于非线性函数的多样性, 带来了非线性时间序列模型的多样性. 但是, 迄今为止被研究得较多, 又有应用价值的非线性时序模型, 为数极少, 而且主要是针对非线性自回归模型. 在介绍此类模型之前, 我们先对非线性时序模型的分类作一概述.通用假定: {εt}为i.i.d.序列，且Eεt=0, 而且εt与{x t-1, x t-2,…}独立.可加噪声模型:x t=ϕ(x t-1,x t-2,…)+εt,t=1,2,… (2.1)其中ϕ(…)是自回归函数. 当它仅依赖于有限个未知参数时, 记此参数向量为α, 其相应的(2.1)模型常写成x t=ϕ(x t-1,x t-2,…;α)+εt,t=1,2,… (2.2)否则, 称(2.1)式称为非参数模型.关于(2.1)(2.2)的模型的平稳性, 要在下一章讨论, 但是, 它有类似于线性AR 模型的几个简单性质, 是重要的而且容易获得的, 它们是:E(x t|x t-1,x t-2,…)=E{ϕ(x t-1,x t-2,…)+εt|x t-1,x t-2,…}=ϕ(x t-1,x t-2,…)+E(εt|x t-1,x t-2,…)=ϕ(x t-1,x t-2,…) (2.3)var{x t|x t-1, x t-2 , …}≡E{[x t-ϕ(x t-1,…)]2|x t-1, x t-2 , …}= E{εt2|x t-1, x t-2 , …}= Eεt2=σ2. (2.4)P{x t<x|x t-1,x t-2, …}= P{ϕ(x t-1,…)+εt<x|x t-1,x t-2, …}= P{εt<x-ϕ(x t-1,…)|x t-1,x t-2, …}=Fε(x-ϕ(x t-1,…)). (2.5)其中Fε是εt的分布函数.带条件异方差的模型:x t=ϕ(x t-1,x t-2,…)+S(x t-1,x t-2,…)εt,t=1,2,… (2.6)其中ϕ(…)和S(…)也有限参数与非参数型之分, 这都是不言自明的. 另外, (2.6)式显然不属于可加噪声模型. 但是, 它比下面的更一般的非可加噪声模型要简单得多.这可通过推广(2.3)(2.4)(2.5)式看出, 即有,E(x t|x t-1,x t-2,…)=E{ϕ(x t-1,x t-2,…)+S(x t-1,x t-2,…)εt|x t-1,x t-2,…}=ϕ(x t-1,x t-2,…)+S(x t-1,x t-2,…)E{εt|x t-1,x t-2,…}=ϕ(x t-1,x t-2,…) .(2.3)’var{x t|x t-1, x t-2 , …}≡E{[x t-ϕ(x t-1,…)]2|x t-1, x t-2 , …}=E{S2(x t-1,x t-2,…)εt2|x t-1, x t-2 , …}=S2(x t-1,x t-2,…)E{εt2|x t-1, x t-2 , …}=S2(x t-1,x t-2,…)σ2.(2.4)’P{x t<x|x t-1,x t-2, …}=P{ϕ(x t-1,…)+S(x t-1,…)εt<x|x t-1, x t-2 , …}= P{εt<[x-ϕ(x t-1,…)]/S(x t-1,…)}=Fε([x-ϕ(x t-1,…)]/S(x t-1,…)).(2.5)’一般非线性时序模型:x t=ψ(x t-1,x t-2,…; εt, εt-1,…)t=1,2,… (2.7)其中ψ(…)也有参数与非参数型之区别, 这也是不言自明的. 显然, (2.7)式既不是可加噪声模型, 也不属于(2.6)式的带条件异方差的模型. 虽然, 它可能具有条件异方差性质. 相反, 后两者都是(2.7)式的特殊类型. 虽说(2.7)式是更广的模型形式, 在文献中却很少被研究. 只有双线性模型作为它的一种特殊情况, 在文献中有些应用和研究结果出现. 现写出其模型于后, 可供理解其双线性模型的含义x t=∑j=1pαj x t-j+∑j=1qβjεt-j+∑i=1P∑j=1Qθijεt-i x t-j.2. 非线性自回归模型在前一小节中的(2.1)和(2.2)式就是非线性自回归模型, 而且属于可加噪声模型类. 在这一小节里, 我们将介绍几种(2.2)式的常见的模型.函数后的线性自回归模型:f(x t)=α1f(x t-1)+α2f(x t-2)+...+αp f(x t-p)+ε,tt=1,2,… (2.8)其中f(.)是一元函数, 它有已知和未知的不同情况, 不过总考虑单调增函数的情况, α=(α1,α2,…,αp)τ是未知参数. 在实际应用中, {x t}是可获得量测的序列.当f(.)是已知函数时, {f(x t)}也是可获得量测的序列, 于是只需考虑y t=f(x t)所满足的线性AR模型y t=α1y t-1+α2y t-2+...+αp y t-p+εt,t=1,2,… (2.9)此时可不涉及非线性自回归模型概念. 在宏观计量经济分析中, 常常对原始数据先取对数后, 再作线性自回归模型统计分析, 就属于此种情况. 这种先取对数的方法, 不仅简单, 而且有经济背景的合理解释,它反应了经济增长幅度的量化规律. 虽然在统计学中还有更多的变换可使用, 比如Box-Cox变换, 但是, 由于缺少经济背景的合理解释, 很少被使用. 由此看来, 当f(.)有实际背景依据时, 可以考虑使用(2.7)式的模型.当f(.)是未知函数时, {f(x t)}不是可量测的序列, 于是只能考虑(2.8)模型. 注意f(.)是单调函数, 可记它的逆变换函数为f-1(.), 于是由(2.8)模型可得x t= f-1(α1f(x t-1)+α2f(x t-2)+...+αp f(x t-p)+εt),t=1,2,…(2.9)’此式属于(2.7)式的特殊情况, 此类模型很少被使用. 取而代之是考虑如下的模型x t=α1f(x t-1)+α2f(x t-2)+...+αp f(x t-p)+εt,t=1,2,… (2.10)其中f(.)是一元函数, 也有已知和未知之分, 可不限于单调增函数. 此式属于(2.1)式的特殊情况, 有一定的使用价值.当(2.10)式中的f(.)函数是已知时, 此式还有更进一步的推广模型,x t =α1f 1(x t-1,…,x t-s )+α2f 2(x t-1,…,x t-s )+...+αp f p (x t-1,…,x t-s )+εt ,t=1,2,… (2.11)其中f k (…)(k=1,2,…,p)是已知的s 元函数.例如, 以后将要多次提到的如下的模型:x t =α1I(x t-1<0)x t-1+α2I(x t-1≥0)x t-1+εt ,t=1,2,… (2.12)其中I(.)是示性函数. 此模型是分段线性的, 是著名的TAR 模型的特殊情况. 为了有助于理解它, 我们写出它的分段形式:x t =.0,0,,111211≥<⎩⎨⎧++--t t t t x x x x εαεα t=1,2,…请注意, (2.8)(2.10)和(2.11)式具有一个共同的特征, 就是未知参数都以线性形式出现在模型中. 这一特点在统计建模时带来极大的方便. 此类模型便于实际应用. 但是, 对于{x t }而言不具有线性特性, 所以, 讨论它们的平稳解的问题, 讨论它们的建模理论依据问题,都需要借助于马尔可夫链的工具.已知非线性自回归函数的模型:x t =ϕ(x t-1,x t-2,…,x t-p ;α)+εt ,t=1,2,… (2.13)其中ϕ(…)是p 元已知函数, 但是其中含有未知参数α=(α1,α2,…,αp )τ.一般说来, α在一定围取值.例如,x t =tt t x x εαα++--212111, t=1,2,…其中α=(α1,α2)τ是未知参数, 它们的取值围是: -∞<α<∞, 0≤α<∞.这里需要指出, 使用上式的模型, 不仅要借助于马尔可夫链的工具, 而且在统计建模时遇到两种麻烦, 其一是参数估计的计算麻烦, 二是确定ϕ(…)函数的麻烦. 一般来说, 只有根据应用背景能确定ϕ(…)函数时, 才会考虑使用此类模型.广义线性模型(神经网络模型):x t=ϕ(α1x t-1+α2x t-2+…+αp x t-p)+εt,t=1,2,… (2.14)其中ϕ(.)是一元已知或未知函数, 参数α=(α1,α2,…,αp)τ总是未知的. 为保证模型的唯一确定性, 或者说是可识别性, 要对α作些约定, 其一, ||α||=1, 其二, α=(α1,α2,…,αp)τ中第一个非零分量为正的. 不难理解, 若不加这两条约定, 模型(2.14)不能被唯一确定.当ϕ(.)是一元已知函数时, 与神经网络模型相通.当ϕ(.)是一元未知函数时, 与回归模型中的PP方法相通.除了以上两类模型外, 还有(2.1)式的非参数自回归模型, 以及从统计学中引入的半参数自回归模型. 对它们的统计建模更困难. 本讲座主旨在于介绍如何用马尔可夫链的工具, 描述非线性自回归模型的基本特性问题, 对这类模型不再仔细讨论.。

非线性时间序列分析方法与模型时间序列分析是一种研究随时间变化的数据模式和趋势的统计方法。

在传统的时间序列分析中，线性模型被广泛应用，但是线性模型无法捕捉到一些复杂的非线性关系。

因此，非线性时间序列分析方法和模型的发展成为了研究的热点。

一、非线性时间序列分析方法的发展1.1 非线性时间序列分析的起源非线性时间序列分析方法的起源可以追溯到20世纪60年代。

当时，经济学家和统计学家开始发现一些经济和金融数据中存在着非线性关系，传统的线性模型无法很好地解释这些数据。

这引发了对非线性时间序列分析方法的研究兴趣。

1.2 常用的非线性时间序列分析方法随着研究的深入，许多非线性时间序列分析方法被提出和应用。

其中，最常用的方法包括：傅里叶变换、小波分析、自回归条件异方差模型（ARCH）、广义自回归条件异方差模型（GARCH）、支持向量机（SVM）等。

二、非线性时间序列模型的应用2.1 ARCH和GARCH模型ARCH和GARCH模型是用于建模金融时间序列数据的非线性模型。

ARCH模型通过引入条件异方差来捕捉金融数据中的波动性特征，而GARCH模型在ARCH 模型的基础上进一步考虑了波动性的长期记忆效应。

2.2 小波分析小波分析是一种将时间序列分解成不同频率的成分的方法。

通过小波分析，可以将时间序列的低频和高频成分分离出来，从而更好地理解时间序列的特征和趋势。

2.3 支持向量机支持向量机是一种机器学习方法，在非线性时间序列分析中得到了广泛应用。

支持向量机通过将时间序列映射到高维空间，并在该空间中构建超平面来进行分类和回归分析。

三、非线性时间序列分析方法的优势和局限性3.1 优势非线性时间序列分析方法能够更好地捕捉到数据中的非线性关系，提高模型的预测精度。

这对于金融市场的预测和风险管理具有重要意义。

3.2 局限性非线性时间序列分析方法的建模过程较为复杂，需要较大的计算量和数据量。

此外，非线性时间序列分析方法对初始条件较为敏感，对于数据的噪声和异常值较为敏感。

非线性时间序列预测模型研究第一章引言时间序列分析在许多领域中被广泛应用，它能够揭示数据中的趋势和周期性变化，并对未来的发展做出预测。

然而，很多现实世界的时间序列数据并不是线性的，包含着复杂的非线性关系。

因此，研究非线性时间序列预测模型成为当前的研究热点。

本章将首先介绍非线性时间序列预测模型的研究背景和意义，然后概述目前主要的非线性时间序列预测方法，并最后给出本文的研究内容和组织结构。

第二章非线性时间序列预测模型概述2.1 非线性时间序列的特点非线性时间序列数据与线性时间序列数据相比具有一些特殊的性质。

例如，非线性时间序列数据可能包含多个不同的周期性变化、季节性变化和趋势变化，同时还可能受到外部因素的影响。

此外，非线性时间序列数据还可能存在非平稳性和噪声干扰等问题。

2.2 非线性时间序列预测方法的分类目前，研究人员提出了许多非线性时间序列预测方法，这些方法可以根据其模型结构和预测方法分为不同的分类。

常见的非线性时间序列预测方法包括支持向量机、神经网络、深度学习和基于混沌理论的方法等。

2.3 非线性时间序列预测模型评价指标为了评估非线性时间序列预测模型的性能，研究人员提出了一系列的评价指标。

这些指标包括均方根误差、平均绝对百分比误差和相关系数等。

第三章支持向量机在非线性时间序列预测中的应用3.1 支持向量机的原理和模型支持向量机是一种基于统计学习理论的非线性分类和回归方法。

它通过寻找一个最优的超平面将样本分为不同的类别，从而实现对非线性时间序列的预测。

3.2 支持向量机在非线性时间序列预测中的应用案例本节将以股票市场的预测为例，介绍支持向量机在非线性时间序列预测中的应用。

通过使用支持向量机模型，可以对股票市场的波动进行有效的预测和分析。

3.3 支持向量机在非线性时间序列预测模型中的优缺点在使用支持向量机进行非线性时间序列预测时，虽然可以取得不错的预测效果，但也存在一些问题和限制。

本节将对这些问题和限制进行详细的讨论。

第六章项目时间管理6.2活动的排序活动排序过程包括确认且偏制活动间的相关性。

活动必须被正确地加以排序以便今后制订实现的可行的进度计行（利用计算机软件）或用手工排序。

对于小型项目手工排序很方便，对大型项目的早期（此时项目细节了解甚便的，手工编制和计算机排序应结合使用。

6.2.1活动排序过程的输入1. 活动目录活动目录见节6.1.3.12. 产品描述产品的描述见节5.1.1.1，不同的产品特征常明显地影响活动的排序（例，建设中某工厂的平子系统的接口）同时，对产品的描述要加以核对、审查以确保活动排序的正确性。

3. 内在的相关性：内在相关性是指所做工作中各活动间固有的依赖性，内在相关性通常由客观条件限制造设项目在地基完成前先进行大楼的建设是不可能的。

一个电子项目只有在原型完成后才能对它进行测试。

）4. 指定性的相关性：指定性是指由项目管理团队所规定、确定的相关性，应小心使用这种相关性并充分加用这样的相关性进行排序会限制以后进度计划的选择。

这种相关性通常发生在以下一些情况。

--在一个特定应用领域有一个"最好的做法"--有些时候，即使有几种可接受的排序，但因某种原因一个特定的活动排序关系被偏爱指定性相关也可称偏好相关或软相关。

5. 与外部相关性：外部相关性是指本项目活动与外部活动间的相关性。

例如，一个软件项目的测试活动依或建设项目施工之前应先听取人们对环保的意见。

6. 约束：在节6.1.1.4描述。

7. 假设：在节6.1.1.5描述。

6.2.2活动排序的工具和方法1. 前驱图法（PDM）这是编制项目网络图的一种方法，利用节点代表活动而用节点间箭头表示活动的相关性（表示一个用PDM法编制的简单网络图，这种方法也叫活动在节点法（AON）是大多数项目管理软件包所采用的方法用计算机实现。

有四种相关的前驱关系：--结束→开始：某活动必须结束，然后另一活动才能开始。

--结束→结束：某活动结束前，另一活动必须结束。

（时间管理）⾮线性时间序列第六章（时间管理）⾮线性时间序列第六章第六章时间序列的平滑6.1 引论上⼀章我们引进⾮参数函数估计的基本概念，现在将它应⽤到时间序列别的重要平滑问题上. 对估计慢变化时间趋势，平滑技术是有⽤的图⽰⼯具，它产⽣了时域平滑（§6.2）. 对将来事件和与之相联系的现在与过去变量之间的关系的⾮参数统计推断导致了§6.3的状态域平滑. §6.4 引⼊的样条⽅法是对§6.3引⼊的局部多项式⽅法的有⽤替代. 这此⽅法能够容易地推⼴到时间序列的条件⽅差（波动性）的估计，甚⾄整个条件分布的估计，参阅§6.5.6.2 时域平滑6.2.1 趋势和季节分量分析时间序列的第⼀步是画数据图. 这种⽅法使得⼈们可以从视觉上检查⼀个时间序列是否像⼀个平稳随机过程. 如果观察到趋势或季节分量，在分析时间序列之前通常要将它们分离开来.假定时间序列能够分解成，（6.1）其中表⽰慢变函数，称为“趋势分量”，是周期函数，称为“季节分量”，是随机分量，它被假定是零均值的平稳序列.在使⽤这种分解之前，可以先⽤⽅差稳定变换或Box-Cox变换. 这类幂变换有如下以参数为指标的形式（6.2）或具有在点处连续的变换形式.这类变换由Box和Cox（1964）给出. 注意，由在幂变换中数据必须是⾮负的，因此，在使⽤幂变换之前，可能必须先实施平移变换.我们的⽬的是估计和提取确定性分量和. 我们希望残差分量是平稳的，且能够⽤线性和⾮线性技术做进⼀步的分析. 通过推⼴Box和Jenkins（1970）⽽发展的⼀个替代⽅法是对时间序列重复应⽤差分算⼦，直到被差分的序列表现为平稳为⽌. 这时，被差分的序列可以进⼀步平衡时间序列技术来处理. 作为说明Box和Jenkins⽅法的⼀个例⼦，我们先取S&P500指数的对数变换，然后计算⼀阶差分. 图6.1给出了这个预处理序列. 所得序列基本上是该指数中变化的每⽇价格的百分⽐. 除了⼏个异常值（即1987年10⽉19⽇20.47%的市场崩盘，⾦融市场称之为“⿊⾊星期⼀”）外，这个序列显⽰出平稳性. 这个变换与⾦融⼯程中常⽤资产定价的⼏何布朗运动模型的离散化有关.图6.1 1972年1⽉3⽇⾄1999年12⽉31⽇（上图）和1999年1⽉4⽇⾄1999年12⽉31⽇（下图）S&P500指数对数变换的差分我们⾸先把注意⼒集中在没有季节分量的情形，即. （6.3）然后，我们再在§6.3.8中估计趋势和季节分量.6.2.2 滑动平均平均是最常⽤的消除随机噪声的技术. 假定趋势是慢变化的，使得其能够在⼤⼩为的局部时间窗中⽤常数来逼近，即. （6.4）这时能够⽤该窗周围的局部平均来估计：，（6.5）随着中⼼的改变，局部窗也在移动. 例如，在图6.2中，处所得的估计是落在第⼀个窗内的那些数据的平均. 窗的中⼼移动到新的点处以构成在这些点处的估计. 随着局部窗从左向右滑动，它的轨迹就是所得的滑动平均曲线. 这是滑动平均平滑的最简单的例⼦. 它常常被⽤来验证时间序列的趋势. 图6.2描绘的是从1999年1⽉4⽇到1999年12⽉1⽇S&P500指数⼀个⽉和两个⽉的滑动平均.图6.2 1999年1⽉4⽇⾄12⽉31⽇S&P500指数和它的21个交易⽇（粗线）和41个交易⽇（虚线）的滑动平均在边界处，滑动平均估计的习惯做法是忽略超出观察时间范围的那些数据. 例如，是⽤数据的平均所得的简单估计（时间点2右边的数据⽐左边更多）. 这种不对称平均可能会产⽣边界偏倚. 当边界处趋势陡峭且带宽⼜⼤时，这种边界效应更为明显. 正如图6.2所⽰那样，在右边界处的滑动平均低估了趋势. 该问题能够通过使⽤局部线性平滑. （参见§6.2.6）或别的边界改善⽅法，⽐如，边界核⽅法（Gasser和Müller 1979；Müller 1993）和数据削尖⽅法（Choi, Hall和Bousson 2000）来减弱.滑动平均数列（6.5）利⽤了时间周围两边的数据. 这样它还依赖于时间之后的数据. 为便于预报，单变滑动平均数列（6.6）也常被⽤来验证时间趋势. 数列仅⽤直到时间的过去的数据.6.2.3 核平滑滑动平均估计的⼀个改善⽅法是引进⼀个加权设计. 这允许对所给时间点附近的数据给予较⼤的权数. 这也就得到了核回归估计，定义为. （6.7）这个估计还被称为Nadaraya-Watson估计. 参阅Nadaraya（1964）和Watson（1964）. 当我们使⽤均匀核时，上述核估计就变成滑动平均估计（6.5）. 当核函数有有界⽀撑时，核回归估计就是⼀个局部数据的加权平均. 当核是模在零点的单峰函数时，附近的数据点获得更多的权. ⼀般地，核函数不要求有⼀个有界的⽀撑，只要它薄尾的（如它是⼀个有⼆阶矩的密度函数）.的⾮负性要求还能被减弱. 带宽也不必是整数.注意，在⾼斯核定义中的标准化常数和核的对称Beta族只是⽤来保证函数是⼀个概率密度函数. 在核回归估计中它们并不起作⽤. 在计算时，我们常常标准化各种核函数使得它们如图5.2那样有相同的最⼤值1. 由于这种标准化，（6.7）可以直观地理解为数据点的有效平均. 当核函数有在中的⽀撑时（这样的核还可看作是单边核），核回归估计所使⽤的数据仅到时间. 这是单边滑动平均（6.6）的推⼴.如同在核密度估计中那样，在核回归估计中带宽是⼀个重要参数. 如同在图6.2中所显⽰的那样，⼤的带宽产⽣过度平滑的估计，遗漏趋势和所估计的峰和⾕的度量上的⼀些可能的细节. 特别地，当使⽤⼤的带宽时，估计可能产⽣⼤的偏差. 当使⽤⼩的带宽时，仅有⼏个局部的数据被使⽤，降低了估计的⽅差，却导致所得估计是⼀条波动的曲线. 例如，⽤带宽，滑动平均估计（6.5）简单地复制原始数据. 为了得到满意的结果需要反复尝试和修正. 带宽的数据驱动选择能够帮助我们确定所要的平滑度.正如在§6.2.9所看到的那样，渐近⽅差本质上依赖于所研究的过程的相关结构. 因此，针对独⽴数据的由数据驱动选择的带宽在时域平滑中效果不佳. 实际上，Altman（1990），Chu和Marron （1991a）以及Hart（1991）指出，对相依数据，通常的留⼀在外（leave-one-out）交叉核实⽅法效果不好. 这些作者提出了⼏个修正的⽅法. 对带宽选择的嵌⼊⽅法由Ray和Tsay（1997）以及Beran和Feng（2000）提出.以上考虑能够通过计算核回归估计的偏倚和⽅差得到理解. 经过直接计算，在模型（6.3）下，核估计得偏倚为.它不依赖于误差过程. 它实际上是⼀个逼近误差. 当带宽取得⼩时，逼近误差⼩，从⽽偏倚也⼩. 另⼀⽅⾯，当取得⼤时，⼤多数逼近误差是⼤的归因于和间的距离是⼤的，因此，偏倚可能是⼤的. 这个线性估计的⽅差还能够被计算. 令是过程的⾃协⽅差函数，则. （6.8）该⽅差依赖于⾃相关函数. 进⼀步简化需要渐近分析. 我们将在§6.2.9中讨论. 在那⾥我们将看到当时⽅差的渐近⾏为.但我们现在可以指出，当带宽⼩时，核平滑的⽅差增⼤，这归因于在局部领域中数据点数太⼩的缘故.6.2.4 核平滑的变种核平滑有许多变种. （6.7）中的分母对相对于求导数和数学上的分析是不⽅便的. 代替⽤核函数的⾼度作为权，我们还可⽤核函数下⽅的⾯积作为权. 由于核函数下⽅的总⾯积是1，分母不需要. 这就是隐含在Gasser-Müller估计中的基本思想.在现在的框架下，令，其中和. Gasser和Müller（1979）提出了以下的估计：.由于总的权，所以没有分母. Gasser-Müller估计是对Priestley和Chao（1972）早期版本的⼀种修正. Priestley和Chao（1972）给出的估计定义为.这个估计简单地去掉了Nadaraya-Watson估计的分母. 通过积分和变量变换逼近黎曼和，对适当选择的，我们得到总的权，如果不太接近边界，且相对于⼩，并使得和⼤，则上述积分近似地等同于.事实上，只要的⽀撑限制在区间内，等式就精确地成⽴. 换句话，对不在边界区域的点，总的权近似于1. 以上观点依赖于设计点为等间隔的. 事实上，Priestley和Chao估计仅能⽤于等间隔情形. 它不能⽤于§6.3所讨论的状态域平滑.6.2.5 滤波核回归是⽤于⼯程的卷积滤波的⼀种特殊形式. ⼀般地，⼀个长度为的线性滤波定义为. （6.9）当有⽀撑时，核回归对应. 滤波能够被设计为拥有各种性质. 例如，它能够被设计成可以去掉⾼频信号（低通滤波），或低频信号（⾼通滤波）或超出某个频率范围的信号（带通滤波）；见§2.3.3.核平滑是⼀种低通滤波.线性滤波变换可以⽤递推⽅式来定义. 例如，单边滑动平均可以对某个，利⽤下式来定义，这等价于⽤的如下的加权滑动平均：.由于权以指数速度快速衰减，以上滤波实际上仅⽤了时刻附近的局部数据. 平滑的有效性依赖于参数. 这种⽅法称为指数平滑.指数平滑是⽤的的⼀种特殊的核平滑. 这是⼀种单边平滑. 它仅使⽤直到现⼤时刻的数据. 关于这⽅⾯内容的进⼀步讨论可参见Gijbels、Pope和Wand（1999）.6.2.6 局部线性平滑局部常数逼近（6.4）能够通过使⽤局部线性逼近来改善. 我们把趋势通过如下线性函数局部地近似为的函数.这样，就近似地看做上述局部线性模型的截距. 可见图6.3中时刻处的图⽰. 窗内的数据⽤⼀个线性回归来拟合. 对局部窗附件的数据⽤最⼩⼆乘⽅法，我们通过相对于和极⼩化下式可得到局部截距的估计.这⾥引进核权是为了减少距离给定时间点较远的数据的贡献. 令和是最⼩⼆乘解. 这⾥⽤下标是为了表⽰所得的解依赖于给定的时间点. 这时，⽤局部截距来估计，它有如下的精确表⽰，（6.10）其中. 当从1取到时就得到整个趋势函数. 这样，局部线性平滑实际上是⼀种移动线性回归⽅法. 正如图6.3所⽰那样，在处的估计由⼀个新的局部最⼩⼆乘问题得到. 在每个数据窗中拟合的直线⽤实线表⽰. 估计的局部截距的值位于虚垂直线和局部直线的交叉处. 局部斜率是时间趋势导数的估计. 此外，这些局部窗还可以互相重叠（见图6.2）. S-Plus 函数“lls.s”已写成程序差可⽤于计算图6.3中的平滑曲线. 这个S-Plus函数能够从本书的⽹址获得.图6.3 使⽤Epanechnikov核和带宽所得的1999年1⽉4⽇⾄1999年12⽉31⽇S&P500指数局部线性拟合. 在每个窗中的虚抛物线表⽰每个局部数据点所得的权局部线性平滑能够很容易地堆⼴到局部多项式平滑. 局部多项式拟合和它的应⽤的全⾯介绍可参阅Fan和Gijbels（1996）. 局部多项式拟合的优点总结在§6.3.3中. 注意，（6.11）中的权满⾜（6.11）这就蕴涵了如果趋势是线性的，，则局部线性平滑是⽆偏的：.换句话，⽆论趋势函数多以陡峭，只估计线性趋势时，局部线性平滑就是⽆偏的. 这对在内部以及边界处的点的同样成⽴. 也就是说对于估计陡峭趋势，局部线性估计将有⼩的偏倚. 另⼀⽅⾯，因为类似于（6.11）的⽅程即便是近似地也都不成⽴，因此，对估计边界区域附近的点估计陡峭趋势，核平滑将有较⼤的偏差.6.2.7 其他的平滑⽅法核局部线性平滑有许多别的⽅法. 例如，Gasser和Müller（1979）使⽤了不同于核和局部线性平滑的权形式，Jones（1997）介绍了局部线性平滑的各种形式. Fan和Gijbels （1996）给出了各种平滑技术的概述，包括样本和正交级数⽅法.核回归和局部多项式建模是基于在许多格⼦点上的局部近似. 诸如样条这样的全局逼近⽅法还能够⽤于对时间域的平滑. 这些思想将在关于状态域平滑的§6.4中介绍.对诸如时域平滑这样的等间隔设计，正交级数⽅法也⾮常容易使⽤. 其基本思想是先⽤正交矩阵对数据进⾏变换，然后，在⾼频点向零点有选择地调整系数（或向零点收缩它们）. 平滑估计能够通过tapered系数的逆变换来获得. 常⽤的正交变换包括傅⾥叶变换和⼩波变换. 它们的统计应⽤可参阅Ogden（1997）、Efromovich（1999）和Vidakovic（1999）等近期出版的专著.6.2.8 季节分量修正有许多实⽤的修正季节分量的⽅法. 在此我们概要地介绍⼀个⽅法以说明其基本⼤意.假定（6.1）中的季节分量的周期是，即. （6.12）后⼀个约束是⼀个可识别条件. 若此约束不成⽴时，只要加⼀个常数到趋势分量，并在季节分量修正中减去相同的常数. 归因于约束（6.12），当是⼀个奇数时，趋势能够⽅便地⽤具有的滑动平均（6.5）来估计. 在（6.5）中季节分量平均掉，因⽽对趋势估计没有贡献. 当周期是偶数时，⽤如下稍加修改的形式估计趋势.季节分量能够按如下步骤来估计. 就⼀个例⼦来说，我们假定要处理的⽉度数据，且周期. 在3⽉的季节分量的值能⽤在3⽉所得⼀切观测值的移去趋势分量后的平均来很好地近似. 这就得到估计，其中表⽰的整数部分，. 在上述求和中对上下限所作的限制是为了保证数据不要太接近边界使得在趋势估计中边界影响达到最⼩. 这种初步估计可能不能精确地满⾜约束（6.12）. 但这能够容易地通过⽤下式估计季节分量来作修正.以上⽅法还被⽤于没有趋势分量的情形. 在这种情形，不需要移去趋势，即令6.2.9 理论概况*问题（6.3）的理论表述应该得到注意. ⼀个简单的⽅式是把所得的时间序列看作是来⾃如下连续过程的离散化样本路径这种表述常常被⽤在⾦融时间序列建模中. 时间单位通常取年，每星期数据被看作是以的速度抽⾃连续过程. 对⾦融中的期权定价和风险管理，这种表述是⾮常有效的. 然⽽，在时域平滑⽅⾯，这种述有⼀些缺点. ⾸先，为了能够相容地估计，我们需要在给定的时间的周围⽤⼤⼩为的窗局部化数据. 但是，只要过程是连续的，所有的局部数据都是⾼度相关的，且当时，相关系数趋于1. 这就蕴涵了局部数据变化不⼤，因⽽也就不需要局部平滑. 正如在图6.2中所看到的那样，局部数据变化很⼤，局部平滑就能改善趋势估计. 这样，以上表述从理论的观点来看似乎是病态的. 其次，在以上的表述下，趋势和随机误差有相似的光滑度（两者都是连续的）. 因此，在中没有希望将随机部分与趋势部分分离开来.⼀个代替的表述是推⼴等间隔设计的⾮线性回归模型到时间序列框架. 假定所得到的时间序列是来⾃模型（6.13）其中是平滑时间趋势函数，是随机过程，. 在这种表述下，我们现在能够利⽤平滑技术从随机噪声中分离出平滑趋势.⼀个⼩的缺点是平滑趋势依赖于观测数量. 这个问题早就出现在具有固定设计的⾮参数回归⽂献中. 实际上它不是⼀个严重问题. 渐近理论毕竟只是⼀个⼯具，为我们理解理论性质提供简化的结构. ⽤建模趋势是捕捉趋势⽐噪声变化更慢这⼀特征的简单的技术⼿段.在以上两种表述之间选择哪⼀个依赖于所研究的问题. 在纵向数据和泛函数据分析中，Hart和Wehrly（1986）以及Silverman（1996）基本上是⽤前⼀种表述：⼈们通过模型观测到⼤量独⽴序列. 这种表述对他们的问题是适合的. 对时域平滑，模型（6.13）常被假定. 例如见Hall和Hart（1990），Robinson（1997），以及Johnstone和Silverman （1997）. 这就保证了能捕捉到时间趋势⽐随机噪声更光滑这⼀特征. 进⼀步，它也保证了能相容地估计时间趋势.由公式（6.13）能够获得核和局部线性平滑的渐近性质. 估计的偏倚与具有均匀设计的独⽴样本情形是相同的. 核和局部线性平滑的⽅差经繁琐的计算也可得到. 它们依赖于噪声过程的协⽅差结构. ⼀般地，我们假定的⾃⽅差函数满⾜，（6.14）其中是常数. 在2.5.2中定义的分式ARIMA过程就满⾜（6.14）. 我们将估计（6.10）重写为. 对任何，使⽤和（6.11），我们得到偏倚. （6.15）注意，这个偏倚不依赖于误差过程. 它完全是局部线性拟合的近似误差.为理论叙述的简单，我们假定有有界⽀撑. 这个假定可以冗长的叙述为代价⽽得到减弱. 特别地，可以使⽤像⾼斯核这样的轻尾核. 由表⽰.在下⾯的定理中我们总结了渐近偏倚和⽅差，定理的证明放在§6.6.1. 注意，由于时间单位的尺度，和⽤在⼀般的⾮参数回归中的带宽是相同的.定理6.1 假定有有界⽀撑，满⾜和，且当时，带宽.（a）如果存在，且在点处连续，则.（b）如果⾃⽅差函数满⾜（6.14），我们有（6.16）定理6.1表明，过程的协⽅差结构对渐近⽅差有强烈的影响. 反过来这也影响到渐近最优带宽，并解释了为什么独⽴数据的数据驱动带宽选择不能直接应⽤到相依数据.对核估计的类似于定理6.1的结果由Hall和Hart（1990）证明. 最近，这些结果被Beran和Feng（2000）⽤不同于§6.6.1给出的⽅法推⼴到局部多项式拟合. 他们还证明了对anti-persistent过程，渐近⽅差具有阶.局部线性估计的渐近正态性也可以被建⽴. 如果误差过程是⾼斯的，则它的加权平均估计（6.10）还是⾼斯的. 这样，局部线性估计的渐近正态性直接由定理6.1得到. 此外，在正态假定下，Cs?rg?和Mielniczuk（1995）建⽴了类似于定理5.4的最⼤偏差的渐近分布. 然⽽，对的正态假定并不是本质的. 正如在Robinson（1997）中所证明的那样，这个条件可以去掉. 我们在此概要地叙述⽤于本章的技术.令是相对于它⾃⾝域的鞅差序列，即假定是⼀双边⽆穷阶滑动平均过程：且是⼀致可积的，并满⾜分式ARIMA过程满⾜这三个假定. 考虑加权和，它是鞅差序列的和. 由鞅的性质，，假定这个⽅差存在. 下⾯的定理由Robinson（1997）给出. 类似的结果还可在Ibragimov和Linnik（1971）中发现.定理6.2 在上⾯所述的条件下，倘若，则有.对于局部线性估计（6.10），易见这时渐近正态性变为验证定理6.2中所叙述的条件. 我们略去细节.6.3 状态域平滑6.3.1 ⾮参数⾃回归状态域平滑与⾮参数预报密切相关. 考虑⼀个平稳时间序列. 为了简单起见，我们考虑仅基于变量的预报. 基于的的最优预报是给定时，的条件期望，它在所有的预报函数中极⼩化MSE.这个函数还称为阶为1的⾃回归函数. 当是零均值平稳⾼斯过程时，这个条件均值是线性函数，条件⽅差是常数. 这就得到⼀个AR（1）模型.⼀般地，函数不必是线性的，条件⽅差也不必是常数. 然⽽，总是能够以如下⽅式表⽰数据，（6.17）其中. 这⾥，的条件均值为零，条件⽅差为1，即.⾮参数平滑技术还能够⽤于包括⾃回归函数的估计以外的领域. 考虑⼀个双变量序列，它可以被看作是来⾃平稳过程的⼀个实现. 我们的兴趣是估计回归函数. 为便于对问题的理解，我们记，（6.18）其中满⾜.显然，这个结构包括通过取⽽把估计的⾃回归函数作为⼀个特定的例⼦. 下⾯是三个有⽤的例⼦.例6.1 考虑平稳时间序列. 对给定的，我们取. 则⽬标函数变为.条件⽅差可以通过⽤来估计. 特别地，当⼩得如例1.1中所给的利率差分数据，基本上就如同条件⽅差. 换句话，对下⾯图6.4中所给的数据，均值回归函数是波动函数的平⽅.这就是由Stanton（1997）以及Fan和Yao（1998）所给出的波动估计的基础.图6.4 对12个⽉国库券回报⽤局部线性拟合估计条件⽅差. （a）具有Epanechnikov核和带宽索的局部线性拟合的图⽰；（b）估计条件标准差⽤局部线性拟合（实曲线），Fan和Yao（1998）的基于残差的⽅法（短虚曲线）和具有和的参数模型（长虚曲线）例6.2 再考虑平稳时间序列. 我们取，它是区间上的⽰性函数，. 则⽬标函数变为.特别地，如果，我们就得到条件分布估计. 进⼀步，如果和，则当取值⼩时，基本上就如同给定时的条件密度. 这个条件密度函数对了解给定时分布的全貌是⾮常有⽤的. 特别地，⾃回归函数是这个分布的中⼼，波动函数是这个分布的扩展. 这个思想形成了Fan、Yao和Tong（1996）估计条件密度（§6.5）和与它们相关的泛函（§10.3），以及Hall，Wolff和Yao（1999）估计条件分布函数（§10.3），Polonik和Yao（2000）估计最⼩量预报区域（§10.4）等所⽤⽅法的起源.例6.3 对给定的时间序列，多步预报能够通过令和来完成，其中是预报步长数. 对这种情形，我们⽤⾮参数⽅法，基于变量来估计最优步预报，下⾯的图6.6画出了⼭猫数据的⼀步和两步预报. 把这个⽅法和例6.1和例6.2中的技术结合起来，我们能够估计多步预报的条件⽅差和条件密度.6.3.2 局部多项式拟合局部多项式拟合是⼀个⽤途⼴泛的⾮参数技术. 它拥有多种好的统计性质. 关于这些内容可参阅Fan和Gijbels（1996）.令是定义在（6.18）中的回归函数阶导数. 局部多项式技术可⾮常⽅便地⽤来估计，包括回归函数本⾝. 由于回归函数的形式没有被指定，因⽽距离远的数据点对提供了很少的信息. 因此，我们只能使⽤附近的局部数据点. 假定在点处有阶导数. 由泰勒展开，对局部邻域的，我们有. （6.19）在统计建模⽅⾯，对周围的局部点，我们建模为. （6.20）参数依赖于，故称之为局部参数. 显然，局部参数. ⽤局部数据拟合局部模型（6.20）可极⼩化，（6.21）其中是控制局部邻域⼤⼩的带宽.作为⼀个说明的例⼦，我们取，其中是12个⽉国库券回报. 带宽为，它是由预渐近代⼊法（见§6.3.5）⽤C-程序“lls.c”计算得到的. 在点处（百分数），线段⽤来拟合在阴影区域中的局部数据，在此对每个数据，权⽤虚曲线（对应于Epanechnikov核）表⽰. 在点处局部截距是拟合的线段和垂直线段间的交点. 这就构成了在点处的回归函数的估计. 沿着⽔平轴滑动这个窗，我们就获得在区间[3，14]上要估计的曲线. 条件标准差被展⽰在图6.4（b）中. 基于残差来估计条件⽅差的⽅法由Fan和Yao（1998）提出，其计算通过C程序“autovar.c”来实现（还可见§8.7.2），为⽐较⽅便，它⽤短虚曲线表⽰. 参数模型常被⽤来对⽣产率动态的波动进⾏建模，它⽤长的虚曲线表⽰. 正如⼈们所看到的那样，在参数和⾮参数⽅法之间还存在本质差异，这对参数拟合是否合适提出了疑问. 选择带宽预渐近代⼊⽅法由Fan和Gijbels（1995）提出，见§6.3.5.⽤，表⽰最⼩⼆乘问题（6.21）的解.的局部多项式估计是. 这⾥，我们不⽤记号是为了避免由估计回归的阶导函数所带来的混淆. 事实上，导数是⽤局部斜率来估计，⽽不是⽤估计的回归函数的导数来估计.当，局部多项式拟合退化为该回归估计，它还被称为Nadaraya-Watson估计. 因此，从局部逼近的观点来看，核回归估计是基于局部常数逼近的. 见（6.19）.使⽤矩阵记号来表⽰局部多项式回归更为⽅便. ⽤表⽰相应于（6.21）的设计矩阵：，且令.则加权最⼩⼆乘问题（6.21）能够写为，（6.22）其中，是对⾓矩阵，它的第个元素为. 解向量为. （6.23）为了实现局部多项式估计，我们需要选择阶，带宽和核. 当然，这些参数相互关联. 当时，局部多项式拟合就变成全局多项式拟合，阶决定模型的复杂性. 与参数模型不同，局部多项式拟合的复杂性主要是由带宽来控制. 因此，通常是较⼩的，故⽽选择的问题就变得不重要了. 如果⽬的是估计，则当是奇数，局部多项式拟合⾃动修正边界偏倚. 进⼀步，当是奇数，与阶拟合（则是偶数）相⽐较，阶拟合包含了⼀个多余参数，但没有增加估计的⽅差. 不过这个多余参数创造了⼀个降低偏倚的机会，特别是在边界区域. 见Fan （1992）、Fan和Gijbels（1992）、Hastie和Loader（1993）、Ruppert和Wand（1994）.因为这些理由，奇数阶拟合（选择使和是奇数）⽐偶数阶拟合（选择使得是偶数）更好. 基于理论和实际的考虑，在Fan和Gijbels（1996）中推荐阶. 如果主要⽬的是估计回归函数，我们使⽤局部线性拟合，如果⽬标函数是⼀阶导数，我们就使⽤局部平⽅拟合，等等. 另⼀⽅⾯，带宽的选择在多项式拟合中起着重要作⽤. 太⼤的带宽引起过度平滑，产⽣过⼤的建模偏倚，⽽太⼩的带宽会导致不⾜平滑，获得受⼲扰的估计. 带宽可由使⽤者通过⽬测检查所得到的估计曲线来主观选择，或由数据通过极⼩化的估计理论风险来⾃动选择（见6.3.5）. 由于估计基于局部回归（6.21），我们有理由要求⼀个⾮负权函数K. Fan, Gasser, Gijbels, Brockmann和Engel（1995）已证明，对所有的选择和，最优权函数是，它被称为Epanechnikov核. 这样，它是⼀个万能的加权⽅式，并对⽐较其他核提供了⼀个有⽤的基准. 正如在5.5所证明的那样，对实际中使⽤的和，其他核具有⼏乎相同的有效性. 因此，核函数的选择并不是⾄关重要的.将局部多项式估计与其他估计进⾏⽐较，包括Nadaraya-Watson估计、Gasser和Müller估计和Priestley和Chao估计. 实际上，由Fan（1993a）可知，局部线性拟合在所有线性估计中是渐近最⼩最⼤的，⽽在所有可能的估计中⼏乎是最⼩最⼤的. 这种最⼩最⼤性质由Fan，Gasser，Gijbels，Brockmann和Engel（1995）推⼴到更⼀般的局部多项式拟合.6.3.3 局部多项式估计的性质整个这⼀节中，我们假定是平稳序列. 令是有随机变量⽣成的事件的域. 令和是它们相应的和混合系数. ⽤表⽰单位向量，其位置的元素为1. 令（6.24）和是矩阵，它位于的元素是.⾸先，我们容易证明估计能够写为，（6.25）其中有效核是核和⼀个多项式函数的乘积，其定义如下. （6.26）以上表达式显⽰除了“核”依赖于设计点和位置外，估计看起来就像传统的核估计. 这就解释了为什么局部多项式拟合能够⾃动地适应各种设计框架和边界估计. 图6.5给出了局部常数拟合的有效核函数和对Epanechnikov核在点和处的局部线性拟合. 它们满⾜如下矩性质.图6.5 对局部常数拟合和具有核为Epanechnikov核的局部线性拟合在内点处（权由▲表⽰）和边界点（权由●表⽰）分配给局部数据点的有效权. ⽔平实线和虚线分别是真实函数和估计的函数在点和的⾼度. 它们的差是在这两个点处的偏倚.（a）Nadaraya-Watson估计；（b）局部线性拟合. 为清楚起见，数据（?）不包含噪声命题6.1 有效权满⾜如下有限矩性质：，。