极端学习机模型在时序数据分析中的应用
一、引言
随着技术的发展，我们积累了大量有时间信息的数据，如语音、文本、气象、交通等等。这类数据往往包含时间信息，与之前相比更具有复杂性和挑战性。由于这种数据表示与模式具有时序和时间相关特征，所以需要新的算法来处理这种数据，以利用这种信息来改进预测准确度。极限学习机（ELM）是一种新兴的机器学习方法，它的快速训练和优良通用性使得它在时序数据分析上得到广泛应用。本文将深入探讨如何使用ELM模型进行时序数据分析。
二、什么是极端学习机（ELM）
极限学习机（ELM）是一种新型单隐层前向神经网络（SLFN）结构，由黄广宝于2006年提出，其用于解决传统神经网络的两个缺点：训练过程慢和易陷入局部极小值。ELM模型通常由输入层、隐层和输出层组成。相比于传统的神经网络模型，它具有以下特点：
1、隐层节点加权可直接随机选取，而不需要迭代计算；
2、误差最小化精度要求较低，训练速度非常快；
3、其输出权重以一次训练完成，从而在实践中具有非常快的训练速度。 三、使用极端学习机进行时序数据分析
时间序列数据表示序列中相应特性随时间变化的变动情况。使用机器学习算法进行时间序列分析是一种非常有效的方法。ELM模型在时序数据分析中的应用具有以下几个方面的优势：
1、特征筛选功能：在时间序列分析中，我们需要选择相关的变量。ELM模型能够对不同的特征进行筛选，帮助我们从复杂的时间序列数据中提取有用的信息。
2、高度通用性：ELM可以轻松处理不同类型的时间序列分析问题。因此，它被证明是一种高度通用的算法。
3、高维度特征库：过高的维度会使模型建立过于复杂，缺乏泛化能力。但ELM模型的高维度特征库具备对高维数据建模的能力，能够在高纬度数据中进行特征提取和表示。
4、快速训练和预测：由于一次完成ELM模型的权重训练，ELM具有非常快速的训练和预测能力，能够快速处理大规模的时间序列数据，从而进行高效的预测。
第３６卷第７期 ２０１５年７月 仪 器 仪 表 学 报
Ｃｈｉｎｅｓｅ Ｊｏｕｒｎａｌ ｏｆ Ｓｃｉｅｎｔｉｆｉｃ Ｉｎｓｔｒｕｍｅｎｔ Ｖｏ１．３６ Ｎｏ．７ Ｊｕ１．２０１５
基于正则化与遗忘因子的极限学习机及其
在故障预测中的应用 米
杜占龙。，李小民 ，郑宗贵 ，张国荣 ，毛琼
（１．军械工程学院无人机工程系石家庄０５０００３；２．第二炮兵研究院北京１０００８５； ３．厦门警备区厦门３６１００３）
摘要：为了解决在线贯序极限学习机（ＯＳ－ＥＬＭ）算法容易产生奇异矩阵、算法贯序更新过程中没有考虑训练样本时效性的问 题，提出基于ｆ：一正则化和自适应遗忘因子的ＯＳ－ＥＬＭ（ＲＦＯＳ—ＥＬＭ）算法。ＲＦＯＳ－ＥＬＭ在初始阶段加入正则化机制，克服因矩
阵奇异而降低ＯＳ—ＥＬＭ泛化能力的缺点。在贯序更新阶段，ＲＦＯＳ—ＥＬＭ通过引入自适应遗忘因子实时调整新旧训练样本所占
比重，推导正则化条件下带遗忘因子ＲＦＯＳ—ＥＬＭ的递推更新算法，提高其对动态变化系统的跟踪能力。某型无人机机载发射机 故障预测实例表明，相比于传统ＯＳ—ＥＬＭ和正则化ＯＳ．ＥＬＭ算法，本文提出方法具有更高的预测精度。
关键词：故障预测；时间序列；在线贯序极限学习机；ｚ：一正则化；遗忘机制
中图分类号：ＴＰ２０６ ．３ ＴＨ１６５ ．３ 文献标识码：Ａ 国家标准学科分类代码：５２０．２０
Ｅｘｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａｃｈｉｎｅ ｂａｓｅｄ ｏｎ ｒｅｇｕｌａｒｉｚａｔｉｏｎ ａｎｄ ｆｏｒｇｅｔｔｉｎｇ ｆａｃｔｏｒ
ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｆａｕｌｔ ｐｒｅｄｉｃｔｉｏｎ
Ｄｕ Ｚｈａｎｌｏｎｇ ，Ｌｉ Ｘｉａｏｍｉｎ ，Ｚｈｅｎｇ Ｚｏｎｇｇｕｉ。，Ｚｈａｎｇ Ｇｕｏｒｏｎｇ ，Ｍａｏ Ｑｉｏｎｇ
（ ．Ｄｅｐａｒｔｍｅｎｔ ｏｆＵＡＶＥｎｇｉｎｅｅｒｉｎｇ，Ｏｒｄｎａｎｃｅ Ｅｎｇｉｎｅｅｒｉｎｇ Ｃｏｌｌｅｇｅ，Ｓｈ￣ｉａｚｈｕａｎｇ ０５０００３，Ｃｈｉｎａ； ２．Ａｃａｄｅｍｅ ｏｆ Ｓｅｃｏｎｄ Ａｒｔｉｌｌｅｒｉｓｔ，Ｂｅｉｊｉｎｇ １０００８５，Ｃｈｉｎａ；３．Ｘｉａｍｅｎ Ｇａｒｒｉｓｏｎ，Ｘｉａｍｅｎ ３６１００３，Ｃｈｉｎａ）
基于鲁棒极端学习机的混沌时间序列建模预测
沈力华;陈吉红;曾志刚;金健
【摘 要】针对混沌时间序列预测模型易受异常点影响,导致模型预测精度低的问题,在贝叶斯框架下提出一种鲁棒极端学习机.所提模型将具有重尾分布特性的高斯混合分布作为模型输出似然函数,得到一种对异常点和噪声更具鲁棒性的预测模型.但由于将高斯混合分布作为模型输出似然函数后,模型输出的边缘似然函数变成难以解析处理的形式,因此引入变分方法进行近似推理,实现模型参数的估计.在加入异常点和噪声的情况下,将所提模型应用于大气环流模拟模型方程Lorenz序列以及Rossler混沌时间序列和太阳黑子混沌时间序列的预测中,预测结果验证了所提模型的有效性.%Chaos is seemingly irregular and analogous to random
movement happening in a determinative system in nature, and more and
more types and numbers of time series with chaotic characteristics are
obtained from the actual systems, such as atmospheric circulation,
temperature, rainfall, sunspots, and the Yellow River flow. The chaotic time
series prediction has become a research hotspot in recent years. Because
neural network can be strongly approximated nonlinearly, it has better
prediction performance in the chaotic time series modeling. Extreme
邮局订阅号636元年技术创新软件天地
《L技术应用例》您的论文得到两院院士关注
1引言预测问题是动态数据分析处理的一个重要方面。在科学、经济、工程等许多应用中,常应用于在历史数据的基础上预测未来的问题。目前多采用的预测方法有两类,一类是以时间序列分析法为代表的传统方法,另一类是以神经网络为代表的人工智能方法。然而,在实际使用过程中,人们发现神经网络存在若干缺点,比如过学习、维数灾难、计算过程中出现局部极小值等。同时,近年来对神经网络的理论和方法的研究也仅限于对其进行改进和推广,而缺乏定量的分析和机理完备的理论结果。Vapnik在20世纪90年代提出了统计学习理论和支持向量机(SupportVectorMachines,SVM)方法。SVM是根据结构风险最小化原则提出的,改变了传统的经验风险最小化原则,因此具有很好的泛化能力。此外,SVM在处理非线性问题时,首先将非线性问题转化为高维空间中的线性问题,然后用一个核函数来代替高维空间中的内积运算,从而巧妙地解决了复杂计算问题,并且有效地克服了维数灾难和局部极值问题。本文将支持向量机回归算法用于对时间序列的预测,为了验证该算法的性能,用某型雷达磁控管的高压数据为例进行仿真。仿真结果表明,它的性能明显优于BP神经网络。2支持向量机回归算法用SVM来估计回归函数,基本思想就是通过一个非线性映射,将输入空间的数据x映射到高维特征空间G中,并在这个空间进行线性回归。给定的样本数据{xi,yi},i=1,2,…,s,()。其中yi为期望值,s为数据点的总数。SVM通过引入损失函数来解决回归问题。一般采用下式来估计函数:对优化目标取极值:
式中:C为惩罚因子,实现经验风险和置信范围的折中;ξi,ξi*为松弛因子;ε为损失函数。损失函数能够用稀疏数据点表示决策函数。引入具有良好的ε损失函数,其定义为:
引入拉格朗日乘子αi和αi*,把凸优化问题简化为最大化二次型:
式中:C用于控制模型的复杂度和逼近误差的折中,越大则对数据的拟合程度越高;ε用于控制回归逼近误差和模型的泛化能力。对于非线性问题,用核函数来代替内积计算。核函数的引入使得操作可以直接在输入空间进行而不必在潜在的高维特征空间进行,这种方式可以避免维数灾难。常用的核函数有:多项式核函数、线性核函数、高斯核函数和径向基核函数等。引入核函数后,优化目标为如下形式:
