基于构造性神经网络的时间序列混合预测模型

收稿日期:2007-09-20;修回日期:2007-12-26 基金项目:国家自然科学基金资助项目(60475107,60675031);国家“973”计划资助项目(2004CB 318108);安徽省教育厅自然科学基金重点资助项目(2006KJ 015A);安徽省教育厅自然科学基金资助项目(2005KJ 053);安徽大学“211”工程学术创新团队资助项目作者简介:杨雪洁(1982-),安徽巢湖人,硕士研究生,主要研究方向为智能计算、人工神经网络(yxj1982_colour@);赵姝,副教授,主要研究方向为人工智能、智能计算;张燕平,教授,主要研究方向为人工智能、机器学习、人工神经网络的理论与应用.基于构造性神经网络的时间序列混合预测模型*杨雪洁,赵 姝,张燕平(安徽大学计算智能与信号处理教育部重点实验室,合肥230039)摘 要:针对传统时间序列预测模型不适应非线性预测而适应非线性预测的BP 算法存在收敛速度慢,且容易陷入局部极小等问题,提出一种基于构造性神经网络的时间序列混合预测模型。

采用构造性神经网络模型(覆盖算法)得出的类别值对统计时间序列模型的预测值进行修正,建立一种同时考虑时间序列自身周期变化和外生变量因子对时间序列未来变化趋势影响的混合预测模型,涵盖了实际问题的线性和非线性两方面,提高了预测精度。

将该模型应用到粮食产量的预测中,取得了较好的预测效果。

关键词:时间序列预测;构造性神经网络;统计时间序列模型;产量预测中图分类号:TP 30 文献标志码: A 文章编号:1001-3695(2008)10-2920-02Tim e-ser ies m ixed pr edict ion m odel based on const r uct ive neur al n et w orksYAN G Xue-jie,ZHAO S hu,ZHANG Ya n-ping(Key L aborator y of Intelligent Com puting &Signal Process ing of Minis try of Education,H efei Univer sity,H efei 230039,China)Abst ract :Tra ditiona l tim es-series predict ion m odels a re not adapted t o nonlinear t im e-series prediction,and B P a lg orithm w hich fits nonlinea r t im e-s eries predict ion has som e trouble with s low converg ence rat e a nd eas y g et ting int o loca l m inim um .This pa per put forward a t im e-series m ixed prediction m odel ba sed on const ructive neura l networks.The predict ions of st at ist i-cal t im es-series m odels w ere correct ed ba sed on the different ty pes which w ere ca lcula ted by construct iv e neural netw orks m o-dels(cov ering a lg orit hm ).This m ixed m odel considered bot h periodic chang es of tim es-s eries a nd t he influence of ext ernal va r-iable fa ctors on t he t im es-s eries in t he fut ure.The predict ion accuracies could be im prov ed because the m odel w ere cons truct ed from the nonlinea r a nd linea r a spects.The ex perim enta l res ults show t hat using this m odel to foreca st and a naly sis whea t y ield is effect iv e.Key words:t im e-series predict ion;cons truct iv e neura l net works;sta tist ical t im es-series m odels;yield forecast 时间序列建模及预测是近年来学术研究和实际应用领域的研究热点,人们收集了许多关于时间序列预测方面的资料加以分析和研究,已经掌握了一些建模及预测的基本规律[1]。

根据理论或者假设数据间潜在关系的不同,传统的时间序列预测模型主要是以自回归移动平均模型(ARM A)、指数平滑及灰色模型[2]等为基础的常见统计模型,利用统计学等理论对原始时间序列进行拟合,寻求规律,建立统计时间序列预测模型,具有简单直观、解释性强等特点,但其对非线性时间序列很难取得良好的预测效果[3]。

而实际应用中的时间序列往往是非平稳、非线性的,如气象数据、股票价格数据、网络流量数据等。

近年来,由于人工神经网络良好的函数逼近能力,它已经成为新的非线性时间序列预测分析法[4]。

目前普遍采用的是B P 算法,如在气象科学中将B P 算法应用于降水量[5]预测并取得了一定的成果;但BP 算法学习速度较慢,容易陷入局部极小点[6],在设计过程中往往都要经过反复的试凑和训练,很难保证每次训练时BP 算法的收敛性和全局最优性。

张铃等人[7,8]提出的构造性神经网络(覆盖算法)可以有效避免这方面的缺点,它根据M-P 神经元[9]的几何意义,针对学习样本的特征构造神经网络,解决了多年来一直未解决的作为分类器的多层前向网络设计问题。

该模型具有可理解性强、识别率高、计算速度快、可以保证训练样本集上100%的识别率等优点。

本文结合统计时间序列模型和构造性神经网络各自的优点,提出基于构造性神经网络的时间序列混合预测模型。

首先利用原始时间序列建立统计时间序列模型,再利用构造性神经网络(覆盖算法)挖掘外生变量因子(特征属性)与预测对象(决策属性)变动之间的内在关系,得到预测类别值,最终利用该类别值对统计时间序列模型的预测值进行还原修正。

该混合模型综合考虑了预测对象的多种影响因素,将其应用于实际粮食产量预测,显示了其良好的预测性能。

1 构造性神经网络张铃等人提出的覆盖算法是一种构造性的神经网络学习算法,它根据样本数据自身的结构,构造性地建立了神经网络模型。

其实质就是用求出的覆盖领域作为三层神经网络的隐含层,输入层为测试集,输出层为测试集的分类结果。

以问题的方式解释。

这种构造性方法改变了传统神经网络学习方法的整体密不可分、输入/输出很难划分等缺点,把神经网络的设计问题转变成求覆盖的问题。

它可以迅速地、构造性地得到对于训练数据完全正确分类的神经网络。

在应用上,它使得基于该原理处理海量样本集成为可能,被认为是对S VM 传统机器学习理论的重要贡献[10]。

第25卷第10期2008年10月计算机应用研究Applicat ion Research of Com puters Vol.25No.10Oct.2008覆盖算法主要用于解决分类学习问题,需要对大量的样本进行学习。

这些样本由特征属性和决策属性两大部分组成。

根据对学习样本特征属性的学习及决策属性的判断,得出分类规则,进而对给出的只有特征属性的测试样本,可以根据此分类规则,得出测试样本的决策属性。

覆盖算法及其改进算法[11,12]已在诸多方面得到成功应用,但其不足之处就是算法最终给出的结果是类别值,而不是具体预测值。

2 基于构造性神经网络的时间序列混合预测模型在时间序列预测方法中,统计时间序列模型对于一些特定数据集有很好的预报能力,但是由于模型自身缺点,在实际应用中存在一定的局限性,如灰色预测方法比较适合于较为平滑的时间序列;对于随机波动大的序列,则拟合灰度较大,导致精度难以提高。

简而言之,统计时间序列模型对非线性问题的预测存在一定缺陷。

由于覆盖算法可迅速地、构造性地得到对于训练数据完全正确分类的神经网络,本文考虑将统计时间序列模型与构造性神经网络(覆盖算法)结合,并对预报对象未来变化有影响的外生变量因子和时间序列自身可能的周期性变化因素综合考虑,建立时间序列混合预测模型,以改变传统方法的不足。

具体算法如下:a)利用原始时间序列X={X1,X2,…,X n}建立统计时间序列模型Yn+k =f统(X1,X2,…,Xn),k∈N,并得到拟合数据Y={Y1,Y2,…,Y n}及预测值Y n+k,k∈N,依据拟合数据的相对误差Yw=(X-Y)/X将原始时间序列划分为不同的类别值I= {I1,I2,…,I i,…,I n,I i∈Z}。

b)将影响原始时间序列变化的外生因子序列归一化后的W={W1,W2,…,Wn,…,Wn+k}作为样本的特征属性,并分出学习样本的特征属性W学={W1,W2,…,Wn}和预测样本的特征属性Wn+k,k∈N。

c)类别值I作为学习样本的决策属性,利用覆盖算法对学习样本的特征属性和决策属性进行学习,得出分类规则,建立构造性神经网络分类器。

d)输入预测样本的特征属性W n+k,k∈N,根据上述分类器得到预测样本的决策属性In+k,k∈N,并依据a)中的分类标准将In+k 还原成最终预测对象值Zn+k。

说明:a)步骤a)中依据相对误差划分类别值,具体划分标准可以依据实际问题采用不同的标准,如粮食产量数据可划分为大歉、歉、平、丰和大丰五个类别。

b)由于对象的影响因素不同,外生因子序列维数可能会很高。

为了提高预测精确度,可考虑主要影响因子,对外生因子序列进行主成分分析后再作为样本的特征属性。

传统时间序列模型是通过研究预报对象过去的变化规律来推断或预测其未来值,只考虑数据自身变化没有考虑其他的影响因素。

但是实际预报对象不仅与其自身变化规律有关,也必然受到一些外生变量因子的影响,如气象条件就对粮食产量有很大的影响。

该算法考虑了这些不足之处:步骤a)中利用原始时间序列数据建立统计时间序列模型考虑了时间序列自身可能的周期性变化规律;步骤b)中将原始外生因子序列作为样本的特征属性考虑了外部的影响因子,因此该模型考虑了实际问题的两个方面,比传统的时间序列模型更加完善,将统计时间序列模型与构造性神经网络(覆盖算法)结合,避免了统计时间序列模型不适应非线性时间序列预测的缺点,同时最终类别值也依据相对误差分类标准还原成了具体预测值,在一定程度上弥补了覆盖算法结果只有类别值的缺陷。