神经网络系统辨识综述
- 格式:docx
- 大小:16.66 KB
- 文档页数:4
离散控制系统的系统辨识技术离散控制系统的系统辨识技术是在离散时间下对系统进行建模和参数估计的一种方法。
通过系统辨识技术,我们可以获取到系统的数学模型和参数,从而实现对系统的控制。
本文将介绍离散控制系统的系统辨识技术及其应用。
一、系统辨识的基本概念系统辨识是指通过实验和数据分析,推导出系统的数学模型和参数的过程。
在离散控制系统中,由于系统的输入和输出变量是按照离散时间采样得到的,因此需要采用特定的辨识方法进行处理。
常见的离散控制系统的系统辨识方法包括:参数辨识、经验模型辨识和神经网络辨识等。
参数辨识方法通过对系统的输入-输出数据进行数学建模和参数估计,得到系统的差分方程或状态空间模型。
经验模型辨识方法则利用系统的输入-输出数据建立经验模型,这种方法不需要对系统做具体的建模,适用于复杂系统。
而神经网络辨识方法是通过训练神经网络模型来拟合系统的输入-输出数据,从而得到系统的模型和参数。
二、离散控制系统的参数辨识方法参数辨识是离散控制系统中常用的系统辨识方法之一。
参数辨识方法假设系统的数学模型已知,但其中的参数未知或者不准确,通过实验数据对这些参数进行估计。
在实际应用中,参数辨识方法可以分为两类:基于频域的辨识方法和基于时域的辨识方法。
基于频域的辨识方法主要利用系统的频率响应函数来识别参数,例如最小二乘法、极大似然法等。
而基于时域的辨识方法则是利用系统的时序数据来进行参数估计,例如递推最小二乘法、扩展卡尔曼滤波法等。
三、离散控制系统的经验模型辨识方法经验模型辨识方法是一种不需要假设系统的具体数学模型的系统辨识方法。
该方法通过将系统的输入-输出数据进行数据处理和分析,从中提取系统的特征,建立经验模型。
常见的经验模型辨识方法包括:自回归移动平均模型(ARMA)、自回归滑动平均模型(ARIMA)和动态线性模型(DLM)等。
这些方法都是通过对系统的输入-输出数据进行统计分析和数据建模,从中获得系统的经验模型参数。
非线性系统辨识方法综述系统辨识属于现代控制工程范畴,是以研究建立一个系统的数学模型的技术方法。
分析法和实验法是主要的数学模型建立方法。
系统辨是一种实验建立数学模型的方法,可实时建模,满足不同模型建立的需求。
L.A.Zadeh于1962年提出系统辨识的定义:在输入、输出的基础上,确定一个在一定条件下与所观测系统相等的系统。
系统辨识技术主要由系统的结构辨识和系统的参数估计两部分组成。
系统的数学表达式的形式称之为系统的结构。
对SISO系统而言,系统的阶次为系统的机构;对多变量线性系统而言,模型结构就是系统的能控性结构指数或能观性结构指数。
但实际应用中难以找到与现有系统等价的模型。
因此,系统辨识从实际的角度看是选择一个最好的能拟合实际系统输入输出特性的模型。
本文介绍一些新型的系统辨识方法,体现新型方法的优势,最后得出结论。
二、基于神经网络的非线性系统辨识方法近年来,人工神经网络得到了广泛的应用,尤其是在模式识别、机器学习、智能计算和数据挖掘方面。
人工神经网络具有较好的非线性计算能力、并行计算处理能力和自适应能力,这为非线性系统的辨识提供了新的解决方法。
结合神经网络的系统辨识法被用于各领域的研究,并不断提出改进型方法,取得了较好的进展。
如刘通等人使用了径向基函数神经网络对伺服电机进行了辨识,使用了梯度下降方法进行训练,确定系统参数;张济民等人对摆式列车倾摆控制系统进行了改进,使用BP神经对倾摆控制系统进行辨识;崔文峰等人将最小二乘法与传统人工神经网络结合,改善了移动机器人CyCab的运行系统。
与传统的系统识别方法相比较,人工神经网络具有较多优点:(一)使用神经元之间相连接的权值使得系统的输出可以逐渐进行调整;(二)可以辨识非线性系统,这种辨识方法是络自身来进行,无需编程;(三)无需对系统建行数模,因为神经网络的参数已都反映在内部;(四)神经网络的独立性强,它采用的学习算法是它收敛速度的唯一影响因素;(五)神经网络也适用于在线计算机控制。
系统辨识方法综述
王琳;马平
【期刊名称】《电力科学与工程》
【年(卷),期】2001(000)004
【摘要】对现有的系统辨识方法进行了介绍.首先说明了系统辨识的传统方法及其不足,进一步引出了把神经网络、遗传算法、模糊逻辑、小波网络等知识应用于系统辨识得到的一些新型辨识方法,最后介绍了系统辨识未来的发展方向.
【总页数】4页(P63-66)
【作者】王琳;马平
【作者单位】华北电力大学,动力系,河北,保定,071003;华北电力大学,动力系,河北,保定,071003
【正文语种】中文
【中图分类】TP27
【相关文献】
1.交流伺服系统实时惯量辨识方法综述 [J], 王朔;于东;王志成;刘京航;王昱忠;杜少华
2.电力系统异常数据检测辨识方法综述 [J], 王晶
3.发电机励磁系统参数辨识方法综述 [J], 苏宇;王政
4.高阶累积量的 FIR系统辨识方法综述 [J], 周小军;郭玉霞;高皑琼;谭薇
5.高阶累积量的FIR系统辨识方法综述 [J], 周小军;郭玉霞;高皑琼;谭薇;
因版权原因,仅展示原文概要,查看原文内容请购买。
系统辨识理论及应用本文旨在介绍系统辨识理论及其在实际应用中的重要性和背景。
系统辨识是一种重要的工具和技术,用于分析和推测系统的特性和行为。
通过系统辨识,我们能够对系统进行建模、预测和控制。
系统辨识理论的起源可以追溯到控制工程学科,并逐渐扩展到其他领域,如信号处理、人工智能和统计学等。
它在工程、科学和经济等领域都有广泛的应用。
系统辨识的目标是通过观察系统的输入和输出数据,从中提取出系统的特征和动态模型。
系统辨识理论和应用的重要性在于它能帮助我们理解和掌握复杂系统的行为,并能够对系统进行建模和预测。
通过系统辨识,我们可以获取关键的系统参数和结构信息,从而为系统设计和控制提供指导和支持。
本文将介绍系统辨识理论的基本原理和方法,包括信号采集和预处理、模型结构的选择和参数估计等。
我们还将探讨系统辨识在不同领域的应用案例,如机械系统、电力系统和金融市场等。
希望本文能够为读者提供关于系统辨识理论及应用的基本概念和方法,并激发对系统辨识领域的进一步研究兴趣。
本文将概述系统辨识理论的基本原理和方法,并介绍其在不同领域的应用。
系统辨识是一种通过分析数据和模型之间关系来推断系统特性和行为的方法。
它基于数学和统计学的原理,将现实世界中的系统建模为数学模型,并利用实验或观测数据来验证和修正这些模型。
系统辨识的基本原理是通过获取系统的输入和输出数据,并根据数据推断系统的结构、参数和动态特性。
通过此过程,系统辨识能帮助我们了解系统的内部机制和行为。
常用的系统辨识方法包括参数辨识、结构辨识和状态辨识。
参数辨识主要关注模型中的参数值,通过数据分析和优化算法来确定最佳参数估计值。
结构辨识则关注模型的拓扑结构,即确定模型的数学表达形式和连接关系。
状态辨识是根据系统的输入和输出数据,推断系统的状态变量值和状态转移方程。
系统辨识在各个领域有着广泛的应用。
在控制工程领域,系统辨识可以帮助设计控制器和优化控制策略。
在信号处理领域,系统辨识可以用于信号分析和滤波。
《系统辨识》新方法引言系统辨识是指通过收集系统的输入和输出数据,建立数学模型来描述系统的动态特性和行为规律的过程。
它在工程控制、通信系统、经济学、生物学等领域都有着广泛的应用。
传统的系统辨识方法包括最小二乘法、频域法、状态空间法等,然而这些方法在处理高维复杂系统时往往面临着诸多困难和局限性。
开发新的系统辨识方法成为当前研究的重要方向之一。
1. 基于深度学习的系统辨识方法深度学习是近年来发展迅猛的机器学习方法,其在图像识别、语音识别等领域已经取得了巨大的成功。
研究者们开始将深度学习方法引入系统辨识领域,希望通过深度神经网络对系统的非线性动态进行建模。
与传统的线性模型相比,深度学习方法更加灵活和准确,能够处理更加复杂的系统动态特性。
有研究者利用深度学习方法对非线性动力学系统进行辨识,取得了较好的效果。
这为系统辨识方法带来了新的思路和突破口。
2. 基于信息论的系统辨识方法信息论是研究信息传输、存储和处理的数学理论。
近年来,一些研究者开始探索将信息论方法引入系统辨识领域。
信息论方法可以量化系统输入与输出之间的信息流动,从而揭示系统的动态行为。
使用信息论方法进行系统辨识,不仅可以对系统的稳定性和故障诊断进行分析,还可以对系统的冗余信息和关键信息进行提取,提高辨识的准确性和鲁棒性。
基于信息论的系统辨识方法正逐渐受到研究者的重视。
3. 基于数据驱动的系统辨识方法传统的系统辨识方法需要先对系统的数学模型进行假设和构建,然后根据收集到的数据对模型进行参数估计和验证。
然而在实际应用中,许多系统的动态特性往往十分复杂,很难通过已知的数学模型来描述。
一些研究者开始提倡使用数据驱动的方法进行系统辨识。
即直接利用系统的输入和输出数据,通过数据挖掘和模式识别技术来揭示系统的内在规律和动态特性。
这种方法不需要对系统进行先验假设,能够更好地适应复杂系统的辨识需求。
4. 基于机器学习的系统辨识方法机器学习是一种实现人工智能的方法,其包括监督学习、无监督学习、强化学习等技术。
《系统辨识》新方法系统辨识是一种通过对已知输入和输出信号进行分析和建模,从而推断出系统的动态行为和特性的方法。
它在信号处理、控制系统、通信系统等领域都有广泛的应用。
本文将介绍一种新的系统辨识方法,讨论其原理、优势和应用。
传统的系统辨识方法主要包括基于频域分析的方法和基于时域分析的方法。
基于频域分析的方法主要是通过对输入和输出信号进行傅里叶变换,将信号的频谱特性进行分析和比较;而基于时域分析的方法则是通过对信号进行时序分析,如自相关函数、互相关函数等,来推断系统的动态行为。
传统的系统辨识方法存在一些问题,如对输入信号要求较高、计算复杂度高等。
为了克服这些问题,研究人员提出了一种基于机器学习的系统辨识方法。
该方法主要基于神经网络和深度学习算法,通过对大量输入和输出信号进行训练,从而得到系统的模型。
与传统的系统辨识方法相比,这种方法具有以下几个优势:新方法不对输入信号有特殊要求。
传统的系统辨识方法通常要求输入信号具有一定的随机性和谱密度特性,而新方法则不受此限制。
它可以处理各种类型的输入信号,如阶跃信号、脉冲信号等。
新方法具有更高的计算效率。
传统的系统辨识方法通常需要进行大量的计算和模型拟合,计算复杂度很高。
而新方法则可以通过深度学习算法快速训练和预测系统模型,计算效率更高。
新方法具有更好的鲁棒性。
传统的系统辨识方法对噪声和干扰的鲁棒性较差,容易受到干扰信号的影响。
而新方法通过神经网络的结构和训练方法,可以更好地解决噪声和干扰的问题,提高系统辨识的准确性和鲁棒性。
除了以上的优势,新方法还有一些其他的应用和发展方向。
在控制系统中,可以利用新方法对系统动态特性进行辨识和建模,进而设计出更加优化和高效的控制算法。
在通信系统中,可以利用新方法对信道的特性进行辨识和预测,从而提高信号的传输质量和可靠性。
新方法为系统辨识提供了一种新的思路和方法,通过利用机器学习和深度学习算法,可以更加准确、高效和鲁棒地推断系统的动态特性和行为。
系统辨识的常用方法系统辨识是根据系统的输入输出时间函数来确定描述系统行为的数学模型,是现代控制理论中的一个分支。
对系统进行分析的主要问题是根据输入时间函数和系统的特性来确定输出信号。
传统的系统辨识方法(1)脉冲响应脉冲响应一般是指系统在输入为单位冲激函数时的输出(响应)。
对于连续时间系统来说,冲激响应一般用函数h(t)来表示。
对于无随机噪声的确定性线性系统,当输入信号为一脉冲函数δ(t)时,系统的输出响应 h(t)称为脉冲响应函数。
辨识脉冲响应函数的方法分为直接法、相关法和间接法。
①直接法:将波形较理想的脉冲信号输入系统,按时域的响应方式记录下系统的输出响应,可以是响应曲线或离散值。
②相关法:由著名的维纳-霍夫方程得知:如果输入信号u(t)的自相关函数R(t)是一个脉冲函数kδ(t), 则脉冲响应函数在忽略一个常数因子意义下等于输入输出的互相关函数,即h(t)=(1/k)Ruy(t)。
实际使用相关法辨识系统的脉冲响应时,常用伪随机信号作为输入信号,由相关仪或数字计算机可获得输入输出的互相关函数Ruy(t),因为伪随机信号的自相关函数 R(t)近似为一个脉冲函数,于是h(t)=(1/k)Ruy(t)。
这是比较通用的方法。
也可以输入一个带宽足够宽的近似白噪声信号,得到h(t)的近似表示。
③间接法:可以利用功率谱分析方法,先估计出频率响应函数H(ω), 然后利用傅里叶逆变换将它变换到时域上,于是便得到脉冲响应h(t)。
(2)最小二乘法最小二乘法(LS)是一种经典的数据处理方法, 但由于最小二乘估计是非一致的、有偏差的, 因而为了克服它的不足, 形成了一些以最小二乘法为基础的辨识方法:广义最小二乘法(GLS)、辅助变量法(IVA)和增广矩阵法(EM), 以及将一般的最小二乘法与其它方法相结合的方法,有相关分析———最小二乘两步法(COR -LS)和随机逼近算法。
(3)极大似然法极大似然法(ML)对特殊的噪声模型有很好的性能, 具有很好的理论保证;但计算耗费大, 可能得到的是损失函数的局部极小值。
系统辨识知识点总结归纳一、系统辨识的基本概念系统辨识是指通过对系统的输入和输出进行观察和测量,利用数学模型和算法对系统的结构和行为进行识别和推断的过程。
它在工程技术领域中起着重要的作用,可以用来分析和预测系统的性能,对系统进行控制和优化。
系统辨识涉及信号处理、数学建模、统计推断等多个领域的知识,是一门非常复杂的学科。
二、系统辨识的基本原理系统辨识的基本原理是基于系统的输入和输出数据,利用数学模型和算法对系统的结构和参数进行识别和推断。
其基本步骤包括数据采集、模型建立、参数估计、模型验证等。
系统辨识的关键是如何选择合适的模型和算法,以及如何对系统的输入数据进行预处理和分析。
同时,还需要考虑数据的质量和可靠性,以及模型的简单性和准确性等因素。
三、系统辨识的方法和技术系统辨识的方法和技术包括参数辨识、结构辨识、状态辨识等,具体有线性系统辨识、非线性系统辨识、时变系统辨识、多变量系统辨识等。
这些方法和技术涉及到信号处理、最优控制、统计推断、神经网络、模糊逻辑等多个领域的知识,可以根据不同的系统和问题,选择合适的方法和技术进行应用。
四、系统辨识的应用领域系统辨识的应用领域非常广泛,包括控制系统、信号处理、通信系统、生物医学工程、工业生产等。
在控制系统中,系统辨识可以用来设计控制器,提高系统的稳定性和性能。
在信号处理中,系统辨识可以用来提取信号的特征,分析信号的性质。
在通信系统中,系统辨识可以用来设计调制解调器,提高系统的传输效率和可靠性。
在生物医学工程中,系统辨识可以用来分析生物信号,诊断疾病和设计医疗设备。
在工业生产中,系统辨识可以用来优化生产过程,提高产品质量和效率。
五、系统辨识的发展趋势随着科学技术的不断发展,系统辨识也在不断地发展和完善。
未来,系统辨识的发展趋势主要包括以下几个方面:一是理论方法的创新,将更多的数学、统计和信息理论方法引入系统辨识中,提高系统辨识的理论基础和分析能力;二是算法技术的提高,利用机器学习、深度学习等先进的算法技术,对系统进行更加准确和高效的辨识;三是应用领域的拓展,将系统辨识应用到更多的领域和行业中,为社会经济发展和科技进步作出更大的贡献。
科学技术创新2020.27基于BP 神经网络的双容水箱系统辨识孙明革张嘉诚罗唯(吉林化工学院信息与控制工程学院,吉林吉林132022)伴随着工业的日渐发达,控制领域也发展的越来越完善。
液位控制在工业生产中较为普遍,如灌装工艺、配液添加、溶液过滤、污水处理等多种行业的生产过程中都需要对一些工艺介质液位进行适当的控制,而很多液位系统都可以抽象成水箱系统模型。
水箱系统具有时变性、滞后性和非线性等特性,能够很好地模拟复杂工业液位系统的一些特性。
系统数学模型的建立对于控制系统的意义重大,因此在研究液位系统过程中,辨识系统模型这项工作变得尤为重要[1]。
应用BP 神经网络辨识双容水箱液位控制系统为该领域贡献了新的方法。
1双容水箱液位控制系统简述本课题研究的水箱系统为自主设计搭建的二阶双容水箱液位控制系统。
水箱结构包括储水箱、上水箱、下水箱、超声波液位计、电磁流量计、电动调节阀和无刷直流水泵,系统结构示意图如图1所示。
无刷直流水泵将储水箱中的水抽出,经电动调节阀调节开度改变给水量大小,水被送到上水箱,流经下水箱回到储水箱。
上、下水箱为串联互错上下式结构,大小相同,高度为250mm 。
本课题目的在于控制双容水箱的液位,使其稳定在设定值附近。
2BP 神经网络辨识概述辨识系统即为通过建立的系统结构测得实际输入输出数据,经过算法训练后,得到一个与原系统等价的理想模型。
本课题利用BP 神经网络辨识双容水箱液位系统模型,将电动调节阀开度由0%调整至70%,从而调整进水流量作为输入层信号值[2],将水泵开至最大功率向上水箱供水,下水箱液位高度作为输出数据,示波器可以观察到实时变化的液位随时间变化的曲线。
辨识过程采用并联方式训练单输入单输出模型,如图2所示,训练结束后模型成立,与双容水箱系统等价,实际曲线与仿真曲线基本一致,即为辨识成功[3]。
3辨识系统在LabVIEW 软件控制画面中,将AO 1无刷直流水泵赋最高电压5V ,将AO 0电动调节阀赋3.5V ,即70%开度,在系统连续作者简介:孙明革(1971-),男,汉族,吉林榆树人,博士,吉林化工学院教授,研究方向:工业自动化。
系统辨识三要素举例引言在系统辨识中,三要素是指系统的输入、输出和系统模型。
本文将依次介绍这三个要素,并通过实例进行详细探讨。
输入系统的输入是指对系统产生作用的影响或刺激。
输入可以是物质的,也可以是能量的,还可以是信息的。
下面通过几个例子来说明。
例子1:水龙头的流水当我们打开水龙头,水就会从水龙头中流出,这里的水流就是系统的输入。
水的流动对于水管系统来说,是一个重要的输入信号,系统会根据这个输入信号进行相应的处理和控制。
例子2:摄影机的光线对于一个摄影机来说,光线是其输入的重要因素之一。
当我们拍摄照片或录制视频时,摄影机会通过镜头接收到光线,将光线转化为电信号,并进行进一步的处理和记录。
例子3:人体感应灯的触发人体感应灯是一种智能照明设备,它可以根据人体的活动来自动感应开关。
当有人经过时,人体感应灯会检测到人体的热量和运动,从而触发开关动作。
这里的人体活动就是系统的输入。
输出系统的输出是指系统对输入作用的响应或处理结果。
输出可以是物质的,也可以是能量的,还可以是信息的。
下面通过几个例子来说明。
例子1:电饭煲的煮饭当我们把米和水放入电饭煲中,并设置好煮饭的时间和火力,电饭煲会通过控制加热和保温等操作,将米饭煮熟并保持在适宜的温度,这里的煮熟的米饭就是系统的输出。
例子2:汽车的速度当我们踩下汽车的油门,汽车会根据输入的油门信号,通过引擎和传动系统的协同工作,将化学能转化为机械能,将汽车推动前进。
这里汽车前进的速度就是系统的输出。
例子3:电视的图像和声音当我们打开电视,通过电视的天线、有线、光盘或网络等输入信号,电视会解码和处理这些信号,并将其转化为图像和声音,供我们观看和聆听。
这里的图像和声音就是电视的输出。
系统模型系统模型是对系统输入与输出关系的抽象描述和数学表达。
通过建立系统模型,可以更好地理解和分析系统的行为特性。
下面通过几个例子来说明。
例子1:弹簧振子弹簧振子是一个经典的力学系统,由质点和弹簧组成。
神经网络系统辨识综述
目前,国内外有许多利用神经网络来模拟设备性能、预测负荷的成功例子。
1993 年,美国的Mistry和Nair成功开发了一个用来决定预期平均满意率(PMV)
和温湿度参数的神经网络模型。1994 年,Curtiss利用神经网络模型成功地模
拟了一台往复压缩式的冷水机组和其它暖通空调设备的性能。随后,Darred和
Curtiss利用神经网络模型成功地预测了冷水机组的冷负荷和耗电量。在国内,
也有利用神经网络对暖通空调优化控制、对空调器进行仿真研究的成功例子。
神经网络之所以能够在国内外得到如此广泛的应用是因为:
a)神经网络具有模拟高度非线性系统的优点;
b)神经网络具有较强的学习能力、容错能力和联想能力;
c)神经网络具有较强的自适应能力。
例如可通过重新训练网络进行设备特性的动态校准功能,这也是它优于其它
控制方法的主要特点。此外,神经网络模型还具有建模时间短、易于进行计算机
模拟的优点。对于智能建筑,其热动力学参数模型本质上为分布参数系统,应用
系统辨识也很难获得其精确的数学模型,控制效果可想而知,而人工神经网络允
许在模型理论不完善的情况下,构成一种具有自学习、自适应的体系结构,在与
外界信息的交互作用中,形成一种非线性映射或线性动力学系统,以正确反映输
入和输出关系而不必预先知道这种关系的精确数学模型。
神经网络在线性系统辨识中的应用
自适应线性(Adaline-Mada Line)神经网络作为神经网络的初期模型与感知
机模型相对应,是以连续线性模拟量为输入模式,在拓扑结构上与感知机网络十
分相似的一种连续时间型线性神经网络。这种网络模型是美国学者Widrow和
Hoff于1960 年提出的,简称Adaline网络,它主要用于自适应系统等连续可调
过程,还可以用于天气预报、语言识别、心电图诊断、图像分析等领域。由于该
网络能逼近任意连续的线性函数,因此该网络可用于线性系统辨识,具体的方法
是:将连续输入信号的采样值经不同延时后,作为网络的输入模式,被辨识系统
数据量的采样值作为网络的希望输出模式。Adaline网络的各连接权实际上就是
被测系统微分方程中各阶导数的系数。随着网络学习过程的进行,这些系数逐渐
逼近系统的真实值,直至得到系统的数学模型。除此网络之外,还有其它神经网
络可以通近任意的线性和非线性系统。其中以Hopfield网络(HNN)为代表的反馈
型神经网络在联想记忆或分类、优化计算、人工智能等领域得到了广泛的研究与
应用。由于HNN可以通过VLS等硬件物理实现,这有利于充分发挥神经网络固有
的信息并行处理能力。这种潜在的应用前景引起了控制界的极大兴趣,为神经网
络在系统辨识方面研究工作的开展提供了动力。可以说,线性系统辨识的理论和
方法已经比较成熟和完善。
神经网络在非线性系统辨识中的应用
人工神经网络已在各个领域得到广泛应用,尤其是在智能系统中的非线性建模及
控制器的设计、模式分类与模式识别、联想记忆和优化计算等方面得到人们的极
大关注。从控制理论的观点来看,神经网络对非线性函数的逼近能力是最有意义
的,因为非线性系统的变化多端是采用常规方法无法建模和控制的基本原因,而
神经网络描述非线性函数的能力,也就是对非线性系统的建模能力,正适合于解
决非线性系统建模与控制器综合中的这些问题。具有这一特性的多层前馈神经网
络在实际应用中的比例要占所有人工神经网络应用的百分之八十以上。自前向神
经网络BP算法提出以来,己在控制界和其它领域得到广泛应用。由于BP算法学
习速度慢,容易陷入局部极小值,网络隐含层的层数及隐含层的单元数的选取尚
无理论上的指导,而是根据经验确定;同时网络的学习、记忆具有不稳定性。一
个训练结束的BP网络,当给它提供新的记忆模式时,将使己有的连接权打乱,
导致记忆模式的信息丢失。要避免这种现象,必须将原来的学习模式连同新加入
的学习模式一起重新进行训练。针对上述各种缺陷,迄今已提出大量改进算法。
如采用自适应调整学习速率加快BP算法的收敛速度,采用变动量因子改善学习
效果。但研究表明,单纯改变学习速率或动量因子对改善学习效果均有一定的局
限性,有时甚至不如基本BP算法。以上算法均是针对BP算法收敛速度慢而提出
来的。对于BP算法存在的局部极小值问题,也有许多改进的算法,如模拟退火
法、Alopex算法、遗传算法、粒子群算法等,这些算法都是随机化的批量算法,
不易在线执行。其中递推最小二乘(RLS)技术应用于多层前馈网络的训练,能得
到全局最优解,并易于在线执行,但算法在执行过程中,计算量和存储量都远超
过基本BP算法,给具体应用带来了困难。
从上可以看出,每一种算法都有各自的优缺点。因此,对于前馈神经网络来
说,在前面这些学习算法的基础上,还需要改进或研究一些新的容易实现的算法,
在算法的复杂度增加不多的情况下,来不断提高辨识精度、加快网络的收敛性,
更好地满足日益复杂的非线性系统辨识需要。最初,应用于系统辨识的神经网络
都是静态的前馈网络,而对于实际的控制系统来说,被控对象一般都是一个动力
学系统,所以,只能采用所谓的“外部抽头延迟线”反馈的方法,来建模和控制
动力学系统。这就需要知道动力学系统的阶或延迟,显然这不能适用于所有的动
力学系统。因此,对于动力学系统的建模和控制,需要研究动态的递归神经网络。
这正是目前神经网络的研究方向之一。对于递归网络的研究,现在提出了许多网
络结构。虽然在网络内部引入反馈的方式各种各样,但都是力图以尽量简单的形
式使整个网络能够描述非线性动力学信息,并应用于非线性动力学对象的辨识和
控制设计,大多数的递归网络是通过在前馈网络内部引入反馈构成的,学习算法
一般采用最速下降法。因此递归网络存在的问题有:
(1)不能保证权值收敛到误差函数的全局最小;
(2)稳定性问题。
基于梯度下降的连续学习算法,由于依赖梯度的瞬时估计,一般是很慢的。
最近,有人将递归网络的监督训练看作是最优滤波问题,可以克服这个严重的局
限,它的方法是以回溯到学习过程的第一次迭代的方式递归利用包含在训练数据
中的信息,但是,它是以增加算法的复杂度为代价的。另外,在优化理论中新近
发展的遗传算法(Genetic Algorithm,简称GA算法),它是一种全局随机寻优
算法,通过模仿生物进化的过程来逐步获得最好的结果。而且它需要的信息量少,
具有全局寻优、并行性、速度快和不需要目标函数可微或连续等优点,是一类比
较有前景的神经网络学习算法,利用它的强全局寻优能力可以防止神经网络陷入
局部极值。Kennedy和Eberhart于 1995 年提出了一类新型的随机全局优化算
法一粒子群优化算法(Particle Swarm Optimization Algorithm,简称PSO法),
它没有遗传算法的交叉变异操作,而是根据自己的速度来决定搜索,每一个粒子
都有记忆,其算法比较简单,是一类有着潜在竞争力的神经网络学习算法。总之
与前馈网络相比,递归网络的结构比较复杂,无论是对它的网络结构还是学习算
法,都有很多问题有待进一步研究。