上海大学2015 ～2016学年冬季学期研究生课程考试
小论文格式
课程名称：系统建模与辨识课程编号： 09SB59002
论文题目: 基于改进的BP神经网络模型的网络流量预测
研究生姓名: 李金田学号: 15721524
论文评语:
成绩: 任课教师: 张宪
评阅日期:
基于改进的BP神经网络模型的网络流量预测
15721524，李金田
2016/3/4
摘要：随着无线通信技术的快速发展，互联网在人们的日常生活中占据了越来越重要的位置。网络中流量监控和预测对于研究网络拓扑结构有着重要的意义。本文参考BP算法，通过分析算法的优势和存在的一些问题，针对这些缺陷进行了改进。通过建立新的流量传输的传递函数，对比了经典的传递函数，并且在网络中进行了流量预测的实验和验证。新方法在试验中表现出了良好的实验性能，在网络流量预测中有很好的应用，可以作为网络流量预测的一个新方法和新思路，并且对研究网络拓扑结构有着重要的启发作用。网络流量预测在研究网络行为方面有着重要的作用。ARMA时间序列模型是比较常见的用于网络流量预测的模型。但是用在普通时间序列模型里面的一些参数很难估计，同时非固定的时间序列问题用ARMA模型很难解决。人工神经网络技术通过对历史数据的学习可能对大量数据的特征进行缓存记忆，对于解决大数据的复杂问题很合适。IP6 网络流量预测是非线性的，可以使用合适的神经网络模型进行计算。
A Novel BP Neural Network Model for Traffic Prediction of
The Next Generation Network.
Abstract:With the rapid development of wireless communication technology, the internet occupy an important position in people’s daily life. Monitoring and predicting the traffic of the network is of great significant to study the topology of the network. According to the BP algorithm, this paper proposed an improved BP algorithm based on the analysis of the drawback of the algorithm. By establishing a new transfer function of the traffic transmission, we compare it with the previous transmission function. Then, the function is used to do experiments, found to be the better than before. This method can be used as a new way to predict the network traffic, which has important implications for the study of the network topology. Network traffic prediction is an important research aspect of network behavior. Conventionally, ARMA time sequence model is usually adopted in network traffic prediction. However, the parameters used in normal time sequence models are difficult to be estimated and the nonstationary time sequence problem cannot be processed using ARMA time sequence problem model. The neural network technique may memory large quantity of characteristics of data set by learning previous data, and is suitable for solving these problems with large complexity. IP6 network traffic prediction is just the problem with nonlinear feature and can be solved using appropriate neural network model.
1. 引言
人工神经网络是近年来的热点研究领域，涉及到电子科学与技术、信息与通信工程、计算机科学与技术、控制科学与技术等很多学科，其应用领域包括：建模、时间序列分析、模式识别和控制等，并在不断的拓展。神经网络的学习算法一直是人工神经网络理论研究和应用领域中一个重要的研究领域。神经网络的学习算法一直是人工神经网络理论研究和应用领域中的一个重要研究内容，尤其是对前馈神经网络学习算法的研究，至今没有一个十分理想的解决办法。其中BP神经网络在前馈神经网络学习算法中有着最广、最具有代表性。通过对BP神经网络算法较为深入的研究，提出了改进算法。
随着IPV6[14]的广泛应用，地址空间扩展到128位，网络结构变得越来越复杂。这就导致网络管理和运营出现了新的问题。网络流量通过建立网络流量模型，采用历史的数据可以预测网络中一段时间内的未来流量变化。一个好的模型不仅能够准确地反映历史数据的特性，并且能够预测未来一段时间内的网络流量。因此根据不同的网络特性，建立高效的网络流量模型对于网络流量的预测有着十分重要的意义。
和IPV4相比，IPV6网络有很多的新特性，比如说：多媒体流量和IPV6拓扑结构下的大量的有规律的数据流。因此，进行IPV6结构下的网络流量预测需要建立新的模型，使流量预测更加准确。人工神经网络技术广泛的应用到IPV4中进行流量预测，但是这些传统的网络模型通常都是假设网络中流量是线性的，使用数组和线性递归技术描述系统。但是IPV6中的网络流量没有表现出明显的规律性，因为网络流量包含了很多的非线性因素。最近的研究研究表明，传统的时间序列模型，线性预测模型不能够解决复杂的非线性流量预测，在一定程度上影响了网络流量预测的结果。
2. 研究背景
2.1神经网络简介
思维学普遍认为，人类大脑的思维分为抽象逻辑、形象逻辑和灵感思维三种基本方式。神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。神经网络所能实现的行为很多，主要的研究工作集中在以下几个方面：
（1）生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物学科方面研究神经细胞、神经网络、神经系统的生物原型结构机器功能机理。
（2）建立理论模型。根据生物原型的研究，建立神经元，神经网络的理论模型。其中包括概念模型、知识模型、物理模型、数学模型等。
（3）网络模型与算法研究。在理论模型研究的基础上构造相关的神经网络模型，以实现计算机模拟，也包括网络学习算法的研究，这方面的工作也称之为技术模型研究。
（4）人工神经网络应用系统。在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构造专家系统、制作机器人等等。
人工神经网络（ANN）也称为神经网络（NN），是由大量处理单元广泛连接而成的网络，是对人脑的抽象，简化和模拟，反映出人脑的基本特性。与人脑的相似之处可概括为两个方面：（1）通过学习过程利用神经网络从外部环境中获取知识；
（2）内部神经元用来存储获取的知识信息。
人工神经网络[15]的研究从20世纪40年代初开始，至今已有半个多世纪的历史。它是由众多的神经元和可调节的连接权值连接而成，具有大规模并行处理，分布式信息存储、良好的自组织学习能力等特点。BP （Back Propagation ）算法又称为误差反向传播算法，是人工神经网络中的一种监督式学习算法。BP 神经网络算法在理论上可以逼近任意函数，基本的结构由非线性变化单元构成，具有很强的非线性映射能力，而且网络的中间层数，各层的处理单元数以及网络的学习系数等参数可以根据具体的情况而定，灵活性很大。在优化、信号处理、模式识别[16]、智能控制、故障诊断等许多领域都有着广泛的应用前景。
人工神经网络是由大量的简单基本元件——神经元相互联接而成的自适应非线性动态系统。每个神经元的结构和功能比较简单，但大量神经元组合产生的系统行为却非常复杂。前向人工神经网络的基本结构如下：
输入
输入层输入神经元隐含层隐含神经元
输出层输出神经元
输出
图1. 人工神经元的基本结构模型
人工神经网络反映了人脑功能的若干基本特性，但并非生物系统的逼真描述，只是某种模仿、简化和抽象。与数字计算机比较，人工神经网络在构成原理和功能特点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别或过程控制。
人工神经网络的特点：
（1）人类大脑有很强的自适应与自组织特性，后天的学习与训练可以开发许多各具特色的活动功能。如盲人的听觉和触觉非常灵敏；聋哑人善于运用手势；训练有素的运动员可以表现出非凡的运动技巧等等。
普通计算机的功能取决于程序中给出的知识和能力。显然，对于智能活动要通过总结编制程序将十分困难。
人工神经网络也具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力
的系统，可以发展知识，以致超过设计者原有的知识水平。通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境（即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。
（2）泛化能力
泛化能力指对没有训练过的样本，有很好的预测能力和控制能力。特别是，当存在一些有噪声的样本，网络具备很好的预测能力。
(3)非线性映射能力
当对系统对于设计人员来说，很透彻或者很清楚时，则一般利用数值分析，偏微分方程等数学工具建立精确的数学模型，但当对系统很复杂，或者系统未知，系统信息量很少时，建立精确的数学模型很困难时，神经网络的非线性映射能力则表现出优势，因为它不需要对系统进行透彻的了解，但是同时能达到输入与输出的映射关系，这就大大简化设计的难度。
(4)高度并行性
并行性具有一定的争议性。承认具有并行性理由：神经网络是根据人的大脑而抽象出来的数学模型，由于人可以同时做一些事，所以从功能的模拟角度上看，神经网络也应具备很强的并行性。
多少年以来，人们从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度企图认识并解答上述问题。在寻找上述问题答案的研究过程中，这些年来逐渐形成了一个新兴的多学科交叉技术领域，称之为“神经网络”。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。不同领域的科学家又从各自学科的兴趣与特色出发，提出不同的问题，从不同的角度进行研究。
在神经元特征的基础上，我们能够得到经典的神经元模型：
x
x
x
图2. 神经元基本机构模型
人工神经网络的发展过程并不是一帆风顺的，大致可分为以下几个阶段：
1）1943年，MP模型被提出，从而给出了神经元的最基本模型及相应的工作方式。然后，神经生物学家D.Hebb发现，脑细胞之间的连通在参与某种活动时将被加强，从而给出了生理学与心理学之间的联系，被称之为Hebb学习规则。该规则至今仍然被许多神经网络的学习算法使用。在接下来F.Rosenblat提出了感知机模型，这是一个由线性阈值神经元组成的前馈神经网络模型。
2）低潮时期；1969年，人工智能的创始人M.Minsky和S.Paper指出：单层Perceptron只能作线性
化分，多层的Perceptron还没有可用的算法，因此认为Perception无实用价值。由于Minsky和Papert 在人工智能领域的地位，在人工神经网络研究人员之间产生了极大的反响，神经网络研究由此陷入低潮。但是在这个时期，仍然也有一些新的网络模型被提出，比如说Hopfield神经网络。用运算放大器搭成的反馈神经网络中，借用Lyapunov能量函数的原理，给出了网络的稳定性判据，并为注明的组合优化问题——旅行商问题提供了一个新的解决方案，该网络可用于联想存储、优化计算等领域。
3）高潮时期；1985年，Rumehart等人提出了多层感知器的权值训练的误差反向传播学习算法（BP 算法），从而解决了多层感知器的学习问题，自此引导了神经网络的复兴，神经网络的研究进入了一个崭新的阶段。
2.2 BP神经网络的研究现状及应用
检测大米中重金属的含量是农业生产管理部门和食物安全管理的重要工作。远程传感器能够提供一个高效，无损害的方法来检测农田中和土壤中的重金属含量。[1]提出了一个改进的BP神经网络算法，来预测大米中镉（Cd）的含量。该算法是在遗传算法和模拟退火算法的基础上提出来的。通过将提出的SA-GA-BP和BP神经网络算法进行对比，发现改进的算法更好。针对BP神经网络和改进的BP算法中学习效率低下，稳定性差，最优解容易陷入局部最优问题，[2]提出了一个改进的BP神经网络算法，用来设计学习效率和学习算法。通过使用拟牛顿算法代替梯度下降或者其他的学习算法，不仅能够避免局部最优问题，同时能够改善算法的学习速度。另一方面，学习因素的选择包括了两个重要的方面：专家意见和神经网络的最终输出。[3]详细介绍了BP神经网络模型和算法，指出了BP神经网络中局部最优和收敛速度慢等问题。通过对BP神经网络算法进行改进，解决了传统BP神经网络中出现的问题。
[4]依据IPV6中每天的数据流的特征，提出了一个新的改进的传输函数，有更快的收敛速度和更高的峰值，同时峰值的区间也很大，从而对IPV6中的网络流量进行了有效的实验和验证，和IPV4中传统的传递函数仿真结果对比，发现新提出的传递函数有明显的优势。当今，全球的环境问题引起了越来越多的人们的关注。我们不仅要知道环境健康的重要性，同时也要知道人类活动对我们周围环境的影响。[5]把网络模型应用到这个问题上，这些模型能够很好的帮助人们，在已知数据的基础上，分析出哪些因素对地球环境有着重要的影响。为了预测未来的地球环境，我们首先引用了经典的BP神经网络算法，然后我们将算法进行了改进，获得了良好的性能。
[6]在改进的BP神经网络算法的基础上，引进了多感知机制进行在线粮食中水分含量的检测。改进的算法能够帮助建立起多输入多输出模型，应用包含遗忘因子的梯度下降法，结合非线性映射能力和迭代学习能力，用更精确的取样进行神经网络算法的学习。最终水分检测系统模型在BP神经网络的基础上建立起来。在BP神经网络的有力的函数映射性能的帮助下，[7] 通过联合使用室内温度，室外活动和室内活动因素，出了一个BP神经网络实时检测系统，在家庭环境的预测上得到良好的应用。模型采用关联系数的大小来确定相对因素的权重。上面三种因素的关系才能够更加准确的确定下来，并且和传统的BP神经网络的算法进行了对比。时间序列预测是动态数据分析和处理，科学领域，经济领域，工程和其他应用方面有着重要的应用。[8]把人工神经网络和时间序列预测理论相互结合，在BP神经网络的模型上预测了特殊的时间需求，然后测试了BP神经网络时间序列预测模型以及其高效性和普遍性。为了解决短期能量负载预测的问题，[9]提出了一个自适应的粒子群算法来优化反向传播的神经网络模型（BP神经网络），成为PSO-BP模型，将粒子群算法和BP神经网络算法结合[17]，并且弥补了BP 算法的不足，最终，从实验的结果来看，新算法具有良好的性能。建立一个准确的数学模型来描述交通事故是很重要的，但是由于不可控因素（比如：人类，车辆和环境）的影响，使得模型的建立很困难。
为了获得一个更好的交通事故的评估，[10]提出了一个组合的灰色神经网络模型。通过不同的算法，使得交通事故的预测的准确性有了很好的提升。在应用神经网络进行识别的时候，BP 算法往往容易陷入局部最优，并且收敛速度慢，同时粒子群算法拥有很好的全局搜索能力。[11]提出了一个新的算法，结合了保证瘦脸的粒子群算法和BP 神经网络算法，对经典BP 神经网络算法中收敛速度问题进行了优化，并且和BP 算法和粒子群算法进行了对比。结果显示，新提出的算法是很好的。
3. 经典的BP 算法
3.1 经典的神经元模型
x x x 根据上述的神经元的经典模型，我们可以得到神经元模型的数学表示形式：
()j j Y f S =
(1) 1n j ji i j i S w x θ==-∑
(2)
其中，X 是输入集合，行向量j w 是神经元j 的链接权重，j S 代表了神经元的输出。如果阈值j θ代表的是第0个神经元的输入，那么001,j j x w θ=-=，那么j S 可以简写为：
0n j ji i i S w x ==∑ (3) 3.2 经典BP 神经网络模型及其算法
如图1所示，BP 神经网络模型有三个层次：输入层，隐含层，输出层。层与层之间相互紧密联系。考虑到P 组的样本输入，那么输出层的误差p E 定义为：
211=()2m p jp jp j E t y =-∑ (4) 第j 个输入表示为：
0q j jk k k S w z ==∑ (5) 那么输出的定义为：
()j j Y f S =
(6)
误差信号的表示形式为： p yj j E S δδδ=-
(7)
我们假设函数()f 是可微的，可以推出来： '()()p yj j j yj j j E t Y f S S δδδ=-
=- (8) 其中，'
()j yj f S ?为第j 个神经元的传输函数。
'11111''1'1()()......()()......()()m yj j z j z m T yj jk zk k zk k y z z j zq m yj jq zq q j w f S w f S W f w f S δδδδδδδδ===????????????????????===??????????????????????∑∑∑ (9)
BP 算法的步骤如下（假设有P 个样本）：
1） 初始化权重矩阵V ,W ；
2） 输入p x ，计算(,),()Z F V X Y F WZ ==；
3） 计算累积误差：
2111()2P m jp jp p j E t y ===-∑∑ (10)； 4） 计算误差信号 Y z δδ和；
5） 调整输出层和中间层的权重; T
Y T Z W W Z V V X ηδηδ=+=+
6） 返回到第2步，加入下一个输入样本，迭代知道P 个样本都得到计算，然后到下一步；
7） 如果累积误差小于事先确定的误差就停止，否则设定0E =,返回到第2步；
通常我们所用的()f 函数是标准的S 型函数，比如：
1(), (0()1)1x f x f x e -=<<+ (11)
3.3 改进策略
传统的BP 算法存在以下的限制，由于实际问题很多是非线性的，局部最优的问题仍然存在，同时该算法的收敛速度慢。中间层的神经元的选择数目基本上都没有明确的理论依据，通常都是根据日常实
验的经验。还有就是在对新样本就行学习操作的时候，算法就会很快忘掉过去使用的样本，同时每一个样本的特点被要求是相同的类似的才能够进行统一的处理。
针对加快收敛速度这个策略，有以下集中算法：
1） 改变学习速度η；
2） 动量法：依据误差估计把上次的调整权值计入到当前的权值调整计算中去；
3） 寻找合适的传递函数
其中，本文采取的是第3中方法，寻找合适的传递函数，加快收敛速度。在选择传输函数的时候，需要考虑到取值范围的变化，导数的变化范围。本文中函数的敏感范围是坐标原点附近的坐标。我们同事希望传递函数导数的曲线尽可能高，同时峰值区间尽可能广。标准的BP 问题的输出范围是0到1，函数的导数是'()()(1())f x f x f x =-，变化范围是0到0.25。标准的S 型函数的收敛速度很慢。为了加快收敛速度，我们选取的函数，倒数峰值尽可能大，变化范围大，比如： 121
(), 011(1)f x x x -=<<+- (12)
通过对该函数进行单调性分析，我们可以看出该函数是单极的，独立变量的值是有界的。因此，我们引入了λ扩大了独立变量的范围。得到如下的公式：
22()21f x x x λλ=+ (13) 对函数求一次和两次导数，得到：
2'2222()2(1))f x x x λλλ=-+ (14) 3''32222()4(3)(1)f x x x x λλλ=-+ (15)
4. 单调性仿真及分析
单调性分析可知，()f x 是一个单调递增函数，并且当0x =的时候，()=0f x ，当01x λ<时，传递函数是一个凸函数，相反是一个凹函数。我们发现0x =是函数的唯一拐点，根据BP 算法的需求，该函数可以用来解决BP 神经网络的非线性问题。函数的两端值分别是-1和+1。通过在matlab 中进行仿真，我们将两个函数的响应曲线进行了对比
图3. 标准的S型传递函数
图4. 新提出的传递函数
-6-4-20246图5. 标准传递函数的导数
图6. 改进的传递函数的导数曲线
通过对比，我们发现新提出的函数增长速度更快，同时我们应该注意到新函数在拐点处有更快的变化率。虽然形状看起来是一样的，但是图形上的范围是不同的。
本文通过对一个多输入单输出BP神经网络的仿真以及结果分析，得出来结论：新提出的传递函数在学习误差和预测结果上具有明显的优势。算法的具体情况如下：
中间层4个节点，中间层5个节点，输出层一个节点。权值是随机选取的，通过不断的反向修正误差，不断学习，从而对层与层之间的权值进行不断修正，在学习结束的时候取得最优解。算法的实例见[12].
5. 总结
5.1 工作总结
本文旨在通过建立一个特殊的神经网络模型来对网络流量进行预测，和经典的BP算法进行比较之后发现，改进的BP神经网络算法具有明显的性能。对于经典的BP神经网络算法来说，大多数都不具备系统的学习能力，而且收敛速度慢。在分析了经典的BP算法存在的问题之后，我们针对这些问题提出了一个改进的BP神经网络算法，建立新的传递函数，新的传递函数是一个双极的函数。通过仿真，和经典的传递函数相比，新的算法具有更快的收敛速度，在拐点处有更加陡峭的峰值。在IPV6中进行网络流量预测的时候，和传统的算法想必，新算法有更好的收敛速度和更加准确的精密度。
但是，由于数据样本空间不足，可能我们提出的新的改进算法不一定是最优的，需要更多的数据样本进行测试。同时隐含层的节点数目的选择同样没有理论依据，这仍然是一个经验性的选择。
5.2 未来展望
神经网络在国民经济和国防科技现代化建设中具有广阔的应用领域和应用前景[13]。主要领域有：语音识别、图像识别与理解、计算机视觉、智能机器人、鼓掌机器人、故障检测、实时语言翻译、企业管理、市场分析、决策优化、物资调运自适应控制、专家系统、智能接口、神经生理学、心理学和认知科学研究等等。
随着神经网络理论研究的深入以及网络计算能力的不断拓展，神经网络的应用领域将会不断拓展，应用水平将会不断提高，最终达到神经网络系统可用来帮助人们做事的目的，这也是神经网络最终的研究目标。神经网络研究在近十几年取得了引人注目的进展，从而机器了不同学科与领域的科学家的巨大热情和浓厚的兴趣。神经网络将使电子科学和信息科学产生革命性的变革。
参考文献
[1]Jiale Jiang, et al., An improved BP neural network model for estimating Cd stress in rice using remote sensing data,
IEEE Fuzzy Systems and Knowledge Discovery, Zhangjiajie, China, Aug. 2015: 859-863.
[2]N. Huang,et al., An improved BP Neural Network Model Based on Quasic-Newton Algorithm, IEEE Natural
Computation, Tianjin, China, Aug. 2009: 352-356.
[3]T. Lian, et al., Modified BP neural network model is used for oddeven discrimination of integer number, IEEE
Optoelectronics and Microelectronics, Harbin, China, Sept. 2013: 67-70.
[4]Z. Li, et al., A Novel BP Neural Network Model for Traffic Prediction of Next Generation Network, IEEE Natural
Computation, Tianjin, China, Aug. 2009: 32-38.
[5]L. Xi-zhe, Based on BP neutal network model and system dynamics of the earth’s ecological system network
modeling, IEEE Management Science and Engineering, Harbin, China, July 2013: 369-378.
[6]J. Jiang, et al., Model of Online Grain Moisture Test System Based on Improved BP Neural Network, IEEE Intelligent
Computation Technology and Automation, Changsha, China, vol. (1) Oct. 2009: 79-82.
[7]Yong Cao, et al., The application of BP neural net real-time data forecasting model used in home environment, IEEE
Cyber Technology in Automation, Control, and Intelligent Systems, Shenyang, China, June 2015: 1486-1490.
[8] D. Niu, et al., Research on short-term power load time series forecasting model based on BP neural network, IEEE
Advanced Computer Control, Shenyang, China, March 2010: 509-512.
[9]Y. He, et al., Short-term Power Load Forecasting Based on Self-Adapting PSO-BP Neural Network Model, IEEE
Computational and Information Sciences, Chongqing, China, Aug. 2012: 1096-1099.
[10]X. Zhu, Application of Composite Grey BP Neural Network Forecasting Model to Motor Vehicle Fatality Risk, IEEE
Computer Modeling and Simulation, vol. (2) Sanya, China, Jan, 2010: 236-240.
[11]P. Tang, et al., The Research on BP Neural Network Model Based on Guaranteed Convergence Particle Swarm
Optimization, IEEE Intelligent Information Technology Application, Shanghai, China, Dec. 2008: 13-16.
[12]BP algorithm example, https://www.doczj.com/doc/2510460381.html,
[13]巫影等, 神经网络综述, 科技进步与对策, 2002: 133-134.
[14]黄明超, 下一代互联网IPV6技术的研究[D], 南京邮电大学, 2013: 1-66.
[15]毛健等, 人工神经网络的发展及应用, 电子设计工程, 24(19), 2011: 62-65.
[16]周凌翱, 改进BP神经网络在模式识别中的应用及研究[D], 南京理工大学, 2010: 1-63.
[17]张丹, 基于改进粒子群算法的BP算法的研究, 计算机仿真, 2(28), 2011: 147-150.
神经网络动态系统的辨识与控制 摘要： 本论文表明神经网络对非线性动态系统进行有效的辨识与控制。本论文的侧重点是辨识与控制模型，并论述了动态反向传播以及静态反向传播方法在参数调节中的作用。在所介绍的模型中，加法器与重复网络结构的内部相连很独特，所以很有必要将他们统一起来进行研究。由仿真结果可知辨识与自适应控制方案的提出是可行的。整篇论文中都介绍到基本的概念和定义，也涉及了必须提出的学术性问题， 简介 用数学系统理论处理动态系统的分析与合成在过去的五十年里已经被列为应用广泛的权威科学原理了。权威系统理论最先进的地方定义于基于线性代数以及复合变量理论的先进技术线性操作器以及线性常微分方程。由于动态系统的设计技术与它们的稳定特性密切相关，线性时间不变系统的充分必要条件在上世纪已经产生了，所以已经建立了动态系统的著名设计方法。相反，只要在系统对系统基础上就可以基本上建立非线性系统的稳定性，因此对于大部分系统没有同时满足稳定性、鲁棒性以及良好动态响应的设计程序并不希奇。 过去三十年来，对线性、非时变和具有不确定参数的对象进行辨识与自适应控制的研究已取得了很大的进展。但是在这些研究中辨识器和控制器的结构选取和保证整个系统全局稳定性的自适应调参规律的构成等，都是建立在线性系统理论基础上的[1]。在本论文中，我们感兴趣的是神经网络非线性动态系统的控制与辨识。由于很少有可以直接应用的非线性系统理论结果存在，所以必须密切关注这个问题以及辨识器和控制器结构的选择和调整参数适应性规则的通用性问题。 在人工神经网络领域里，有两类网络今年来最引人注目：它们是（1）多层神经网络（2）回归神经网络。多层神经网络被证实在解决模式辨识问题[2]-[5]上非常成功。而回归神经网络则经常用于联想记忆以及制约优化问题的解决[[6]-[9]。从系统理论的观点来看，多层网络呈现静态非线性映射，而回归网络则通过非线性动态反馈系统显现。尽管两种网络存在外观上的不同外，但是很有必要将他们用统一成更一般化的网络。事实上，笔者确信将来会越来越多的用到动态因素以及反馈，这导致包括两种网络的复杂系统的产生。这样，将两个网络统一起来就成为必要。在本文的第三章，这个观点会得到进一步的阐述。 本文用了三个主要目标。第一个也是最重要的一个目标是在未知非线性动态系统中为自适应控制利用神经网络提出辨识以及控制器结构。当未知参数线性系
系统辨识作业一 学院信息科学与工程学院专业控制科学与工程 班级控制二班 姓名 学号
2018 年 11 月 系统辨识 所谓辨识就是通过测取研究对象在认为输入作用的输出响应，或正常运行时 的输入输出数据记录，加以必要的数据处理和数学计算，估计出对象的数学模型。 辨识的内容主要包括四个方面： ①实验设计； ②模型结构辨识； ③模型参数辨识； ④模型检验。 辨识的一般步骤：根据辨识目的，利用先验知识，初步确定模型结构；采集 数据；然后进行模型参数和结构辨识；最终验证获得的最终模型。 根据辨识方法所涉及的模型形式来说，辨识方法可以分为两类：一类是非参 数模型辨识方法，另一类是参数模型辨识方法。 其中，非参数模型辨识方法又称为经典的辨识方法，它主要获得的是模型是 非参数模型。在假定过程是线性的前提下，不必事先确定模型的具体结构，广泛 适用于一些复杂的过程。经典辨识方法有很多，其中包括阶跃响应法、脉冲响应法、相关分析法和普分析法等等，本次实验所采用的辨识方法为阶跃响应法和脉 冲响应法。 1．阶跃响应法 阶跃响应法是一种常用非参数模型辨识方法。常用的方法有近似法、半对数法、切线法、两点法和面积法等。本次作业采用面积法求传递函数。 1.1面积法 ① 当系统的传递函数无零点时，即系统传递函数如下： G(S) = + ?11?1+?+ 1+1 (1-1) 系统的传递函数与微分方程存在着一一对应的关系，因此，可以通过求取 微分方程的系数来辨识系统的传递函数。在求得系统的放大倍数K后，要得到无 因次阶跃响应y(t)(设τ=0)，其中y(t)用下式描述： () ?1 () (1-2) 面积法原则上可以求出n为任意阶的个系数。以n为3为例。有： 3() 2() () {| →∞ =| →∞ =| →∞ = 0 (1-3) ()| →∞ = 1
系统辨识习题解答 1-14、若一个过程的输入、输出关系可以用MA 模型描述，请将该过程的输入输出模 型写成最小二乘格式。 提示：① MA 模型z k D z u k ()()()=-1 ② 定义ττθ)](,),1(),([)(,],,,[10n k u k u k u k d d d n --== h 解：因为MA 模型z k D z u k ()()()=-1，其中 n n z d z d d z D ---+++= 1101)(，从而 )()1()()(10n k u d k u d k u d k z n -++-+= 所以当定义ττθ)](,),1(),([)(,],,,[10n k u k u k u k d d d n --== h ，则有最小二乘格式： )()()()()(0 k e k h k e k h d k z n i i i +=+=∑=τ ， 其中e(k)是误差项。 2-3、设)}({k e 是一个平稳的有色噪声序列，为了考虑这种噪声对辨识的影响，需要 用一种模型来描述它。请解释如何用白噪声和表示定理把)(k e 表示成AR 模型、MA 模型和ARMA 模型。 解：根据表示定理，在一定条件下，有色噪声e(k)可以看成是由白噪声v(k)驱动的线 性环节的输出，该线性环节称为成形滤波器，其脉冲传递函数可写成 ) () ()(1 11 ---=z C z D z H 即 )()()()(1 1k v z D k e z C --= 其中 c c n n z c z c z C ---+++= 1 11 1)( d d n n z d z d z D ---+++= 1 111)(
《热动力系统动态学》课程论文 题目：基于BP神经网络对电力系统负荷的预测控制学院：动力工程学院 专业：动力工程及工程热物理 姓名：赵乾学号：20091002055 指导教师：杨晨（教授） 成绩： 2010年7月30日
基于BP神经网络对电力系统负荷的预测控制摘要：电力系统的负荷曲线受很多因素的影响是一个非线性的函数，该文文献提出应用BP神经网络对电力负荷系统的预测控制，来抽取和逼近这种非线性函数。通过MATLAB仿真实验得到，对电力系统的短期负荷预测与实际负荷之间的误差很小，具有很好的应用前途。 关键词：BP神经网络，预测控制，电力负荷 引言 随着智能控制理论研究的不断深入及其在控制领域的广泛应用，神经网络[1]、遗传算法[2-3]模糊理论[4]等方法被应用于系统模型预测和辨识。其中，由于BP神经网络 (Back Propagation，BP)由于具有非线性逼近能力强，网络结构简单，学习速度快等优点已被广泛应用于对非线性系统的建立和预测。电力系统负荷的预测对电力系统和电厂设备的控制、运行和计划都有着重要的意义。电力系统负荷的变化一方面有未知不确定因素引起的随机波动，另一方面又具有周期变化的规律，使得负荷曲线具有相似性，而神经网络具有较强的非线性映射能力，能对负荷的变化具有很好预测性。 1.BP神经网络辨识理论基础 BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。1.1BP算法内容
上海大学2015 ～2016学年冬季学期研究生课程考试 小论文格式 课程名称：系统建模与辨识课程编号： 09SB59002 论文题目: 基于改进的BP神经网络模型的网络流量预测 研究生姓名: 李金田学号: 15721524 论文评语: 成绩: 任课教师: 张宪 评阅日期:
基于改进的BP神经网络模型的网络流量预测 15721524，李金田 2016/3/4 摘要：随着无线通信技术的快速发展，互联网在人们的日常生活中占据了越来越重要的位置。网络中流量监控和预测对于研究网络拓扑结构有着重要的意义。本文参考BP算法，通过分析算法的优势和存在的一些问题，针对这些缺陷进行了改进。通过建立新的流量传输的传递函数，对比了经典的传递函数，并且在网络中进行了流量预测的实验和验证。新方法在试验中表现出了良好的实验性能，在网络流量预测中有很好的应用，可以作为网络流量预测的一个新方法和新思路，并且对研究网络拓扑结构有着重要的启发作用。网络流量预测在研究网络行为方面有着重要的作用。ARMA时间序列模型是比较常见的用于网络流量预测的模型。但是用在普通时间序列模型里面的一些参数很难估计，同时非固定的时间序列问题用ARMA模型很难解决。人工神经网络技术通过对历史数据的学习可能对大量数据的特征进行缓存记忆，对于解决大数据的复杂问题很合适。IP6 网络流量预测是非线性的，可以使用合适的神经网络模型进行计算。 A Novel BP Neural Network Model for Traffic Prediction of The Next Generation Network. Abstract:With the rapid development of wireless communication technology, the internet occupy an important position in people’s daily life. Monitoring and predicting the traffic of the network is of great significant to study the topology of the network. According to the BP algorithm, this paper proposed an improved BP algorithm based on the analysis of the drawback of the algorithm. By establishing a new transfer function of the traffic transmission, we compare it with the previous transmission function. Then, the function is used to do experiments, found to be the better than before. This method can be used as a new way to predict the network traffic, which has important implications for the study of the network topology. Network traffic prediction is an important research aspect of network behavior. Conventionally, ARMA time sequence model is usually adopted in network traffic prediction. However, the parameters used in normal time sequence models are difficult to be estimated and the nonstationary time sequence problem cannot be processed using ARMA time sequence problem model. The neural network technique may memory large quantity of characteristics of data set by learning previous data, and is suitable for solving these problems with large complexity. IP6 network traffic prediction is just the problem with nonlinear feature and can be solved using appropriate neural network model.
毕业设计开题报告 电气工程与自动化 非线性Hammerstein模型的辨识 一、选题的背景与意义 系统辨识是是现代控制理论中的一个重要分支。通过辨识建立数学模型的目的是估计表征系统行为的重要参数，建立一个能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统输出的未来演变，以及控制器的设计。非线性系统辨识是系统辨识的一个重要的发展方向，一直是现代辨识领域中的一个主要课题，对其研究有十分重要的理论和实际意义。非线性问题的主要困难之一是一直缺乏描述各种非线性系统特性的统一的数学模型。为此，人们提出了多种类型的模型，如块联模型]1[、神经网络模型]2[、双线性模型]3[、非线性参数模型等等。 Hammerstein模型属于块联模型，由一个线性动态系统跟随一个非线性静态模块构成。自从Narendra& Gallman 1966年提出了Hammerstein模型后]4[，由于模型结构简单且能有效地描述常见的非线性动态系统特性，所以许多学者相继研究了Hammerstein模型参数的估计方法，近年来Hammerstein模型被广泛地应用于非线性系统辨识。辨识Hammerstein模型的意义在于：利用辨识结果获得中间层输出，选择合适的性能指标，就可以把原非线性系统的控制问题分解为线性模块的动态优化问题和非线性模块的静态求根问题，因此可以有效结合线性模型预测控制的成熟理论解决这类非线性对象的控制问题，避免传统非线性控制方法计算量大，收敛性和闭环稳定性不能得到保证等诸多问题。 二、研究的基本内容与模拟解决的主要问题： 针对Hammerstein模型的辨识问题，可以归结为线性模块的动态优化问题和非线性模块的静态求根问题。因此研究的重点就是如何运用比较新颖的优化算法得到Hammerstein模型的参数解集，并能通过和传统算法的比较论证阐述采用方法的合理性，可行性及有效性。具体需要解决的问题包括以下几点： 1.什么是Hammerstein模型，它的基本结构式怎么样的； 2.确定Hammerstein非线性系统辨识的思想和实现方法； 3.熟悉PSO/BFO优化算法和熟悉最小二乘法估计方法；
最小二乘法参数辨识 201403027 摘要:系统辨识在工程中的应用非常广泛,系统辨识的方法有很多种,最小 二乘法是一种应用极其广泛的系统辨识方法.阐述了动态系统模型的建立及其最小二乘法在系统辨识中的应用,并通过实例分析说明了最小二乘法应用于系统辨识中的重要意义. 关键词:最小二乘法;系统辨识;动态系统 Abstract: System identification in engineering is widely used, system identification methods there are many ways， least squares method is a very wide range of application of system identification method and the least squares method elaborated establish a dynamic system models in System Identification applications and examples analyzed by the least squares method is applied to illustrate the importance of system identification. Keywords: Least Squares; system identification; dynamic system
引言 随着科学技术的不断发展,人们认识自然、利用自然的能力越来越强,对于未知对象的探索也越来越深入.我们所研究的对象,可以依据对其了解的程度分为三种类型:白箱、灰箱和黑箱.如果我们对于研究对象的内部结构、内部机制了解很深入的话,这样的研究对象通常称之为“白箱”;而有的研究对象,我们对于其内部结构、机制只了解一部分,对于其内部运行规律并不十分清楚,这样的研究对象通常称之为“灰箱”;如果我们对于研究对象的内部结构、内部机制及运行规律均一无所知的话,则把这样的研究对象称之为“黑箱”.研究灰箱和黑箱时,将研究的对象看作是一个系统,通过建立该系统的模型,对模型参数进行辨识来确定该系统的运行规律.对于动态系统辨识的方法有很多,但其中应用最广泛,辨识 效果良好的就是最小二乘辨识方法,研究最小二乘法在系统辨识中的应用具有现实的、广泛的意义. 1．1 系统辨识简介 系统辨识是根据系统的输入输出时间函数来确定描述系统行为的数学模型。现代控制理论中的一个分支。通过辨识建立数学模型的目的是估计表征系统行为的重要参数，建立一个能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统输出的未来演变，以及设计控制器。对系统进行分析的主要问题是根据输入时间函数和系统的特性来确定输出信号。对系统进行控制的主要问题是根据系统的特性设计控制输入，使输出满足预先规定的要求。而系统辨识所研究的问题恰好是这些问题的逆问题。通常，预先给定一个模型类μ={M}（即给定一类已知结构的模型），一类输入信号u和等价准则J=L(y，yM)(一般情况下，J是误差函数，是过程输出y和模型输出yM的一个泛函)；然后选择使误差函数J达到最小的模型，作为辨识所要求的结果。系统辨识包括两个方面：结构辨识和参数估计。在实际的辨识过程中，随着使用的方法不同，结构辨识和参数估计这两个方面并不是截然分开的，而是可以交织在一起进行的。 1.2系统辨识的目的 在提出和解决一个辨识问题时，明确最终使用模型的目的是至关重要的。它对模型类（模型结构）、输入信号和等价准则的选择都有很大的影响。通过辨识建立数学模型通常有四个目的。 ①估计具有特定物理意义的参数有些表征系统行为的重要参数是难以直接测量的，例如在生理、生态、环境、经济等系统中就常有这种情况。这就需要通过能观测到的输入输出数据，用辨识的方法去估计那些参数。 ②仿真仿真的核心是要建立一个能模仿真实系统行为的模型。用于系统分析的仿真模型要求能真实反映系统的特性。用于系统设计的仿真，则强调设计参数能正确地符合它本身的物理意义。 ③预测这是辨识的一个重要应用方面，其目的是用迄今为止系统的可测量的输入和输出去预测系统输出的未来的演变。例如最常见的气象预报，洪水预报，其他如太阳黑子预报，市场价格的预测，河流污染物含量的预测等。预测模型辨识的等价准则主要是使预测误差平方和最小。只要预测误差小就是好的预测
系统辨识方学习总结 一．系统辨识的定义 关于系统辨识的定义，Zadeh是这样提出的：“系统辨识就是在输入和输出数据观 测的基础上，在指定的一组模型类中确定一个与所测系统等价的模型”。L.Ljung也给 “辨识即是按规定准则在一类模型中选择一个与数据拟合得最好的模型。出了一个定义： 二．系统描述的数学模型 按照系统分析的定义，数学模型可以分为时间域和频率域两种。经典控制理论中微 分方程和现代控制方法中的状态空间方程都是属于时域的范畴，离散模型中的差分方程 和离散状态空间方程也如此。一般在经典控制论中采用频域传递函数建模，而在现代控 制论中则采用时域状态空间方程建模。 三．系统辨识的步骤与内容 (1)先验知识与明确辨识目的 这一步为执行辨识任务提供尽可能多的信息。首先从各个方面尽量的了解待辨识的 系统，例如系统飞工作过程，运行条件，噪声的强弱及其性质，支配系统行为的机理等。 对辨识目的的了解，常能提供模型类型、模型精度和辨识方法的约束。 (2)试验设计 试验设计包括扰动信号的选择，采样方法和间隔的决定，采样区段（采样数据长度 的设计）以及辨识方式（离线、在线及开环、闭环等的考虑）等。主要涉及以下两个问 题，扰动信号的选择和采样方法和采样间隔 (3)模型结构的确定 模型类型和结构的选定是决定建立数学模型质量的关键性的一步，与建模的目的， 对所辨识系统的眼前知识的掌握程度密切相关。为了讨论模型和类型和结构的选择，引 入模型集合的概念，利用它来代替被识系统的所有可能的模型称为模型群。所谓模型结 构的选定，就是在指定的一类模型中，选择出具有一定结构参数的模型M。在单输入单 输出系统的情况下，系统模型结构就只是模型的阶次。当具有一定阶次的模型的所有参 数都确定时，就得到特定的系统模型M，这就是所需要的数学模型。 (4)模型参数的估计 参数模型的类型和结构选定以后，下一步是对模型中的未知参数进行估计，这个阶 段就称为模型参数估计。
1请叙述系统辨识的基本原理（方框图），步骤以及基本方法 定义：系统辨识就是从对系统进行观察和测量所获得的信息重提取系统数学模型的一种理论和方法。 辨识定义：辨识有三个要素——数据、模型类和准则。辨识就是按照一个准则在一组模型类中选择一个与数据拟合得最好的模型 辨识的三大要素：输入输出数据、模型类、等价准则 基本原理： 步骤：对一种给定的辨识方法，从实验设计到获得最终模型，一般要经历如下一些步骤：根据辨识的目的，利用先验知识，初步确定模型结构；采集数据；然后进行模型参数和结构辨识；最后经过验证获得最终模型。 基本方法：根据数学模型的形式：非参数辨识——经典辨识，脉冲响应、阶跃响应、频率响应、相关分析、谱分析法。参数辨识——现代辨识方法（最小二乘法等） 2随机语言的描述 白噪声是最简单的随机过程，均值为零，谱密度为非零常数的平稳随机过程。 白噪声过程（一系列不相关的随机变量组成的理想化随机过程） 相关函数： 谱密度： 白噪声序列，白噪声序列是白噪声过程的离散形式。如果序列 满足： 相关函数： 则称为白噪声序列。 谱密度： M 序列是最长线性移位寄存器序列，是伪随机二位式序列的一种形式。 M 序列的循环周期 M 序列的可加性：所有M 序列都具有移位可加性 辨识输入信号要求具有白噪声的统计特性 M 序列具有近似的白噪声性质，即 M 序列“净扰动”小，幅度、周期、易控制，实现简单。 3两种噪声模型的形式是什么 第一种含噪声的被辨识系统数学模型0011()()()()n n i i i i y k a y k i b u k i v k ===-+-+∑∑，式中,噪声序列v(k)通常假定为均值为零独立同分布的平稳随机序列,且与输入的序列u(k)彼此统计独立. 上式写成：0 ()()()T y k k v k ψθ=+。其中，()()()()()()()=1212T k y k y k y k n u k u k u k n ψ------????L L ，，，，，，， ) ()(2τδστ=W R +∞ <<∞-=ωσω2)(W S )}({k W Λ,2,1,0,)(2±±==l l R l W δσ2)()(σωω== ∑ ∞-∞=-l l j W W e l R S ???≠=≈+=?0 , 00,Const )()(1)(0ττττT M dt t M t M T R bit )12(-=P P N
系统辨识综述 张培硕研4班 摘要：本文主要介绍了系统辨识中的非线性系统辨识方法，包括多层递阶辨识方法，以及把神经网络、模糊逻辑、遗传算法等知识应用于非线性系统辨识而得到的一些新型辨识方法，最后概括了非线性系统辨识未来的发展方向。 关键词：非线性系统辨识；多层递阶；神经网络 1 引言 系统辨识作为现代控制论和信号处理的重要内容，是近几十年发展起来的一门学科，它研究的基本问题是如何通过运行(或实验)数据来建立控制与处理对象(或实验对象)的数学模型。因为系统的动态特性被认为必然表现在它变化着的输入/输出数据之中，辨识就是利用数学方法从数据序列中提炼出系统的数学模型。 从本质上说，系统辨识是一种优化问题，当前常用辨识算法的基本方法是通过建立系统的参数模型，把辨识问题转化为参数估计问题。这类算法能较好地解决线性系统或本质线性系统的辨识问题，但若要应用于本质非线性系统则比较困难。可是，真实世界中的模型都不是严格线性的，它们或多或少都表现出非线性特性，因此越来越多的非线性现象和非线性模型己经引起了人们广泛的重视。 非线性系统广泛的存在于人们的生产生活中，随着人类社会的发展进步，越来越多的非线性现象和非线性系统已经引起研究者们的广泛关注，混沌现象的发现被誉为“ 二十世纪三大发现之一” 。目前关于非线性理论的研究正处于发展阶段。建立描述非线性现象和非线性系统的模型是研究非线性问题的基础。线性系统辨识理论已经趋于成熟，但一般的线性模型实际上是某些非线性被忽略或用线性关系代替后得到的对真实系统的近似数学描述。随着科学技术的迅猛发展，控制系统越来越复杂，对控制精度的要求越来越高，具有复杂非线性的系统不能用线性模型来近似，所以研究非线性系统辨识理论有着很重要的实际意义。 对于非线性系统参数模型的辨识问题，人们最早涉及的是某些特殊类型的非线性系统，如双线性系统模型、Hammerstain 模型、Wiener 模型、非线性时间序列模型、输出仿射模型等。针对每一类特殊模型，各国学者都作了大量的工作，提出了不少辨识算法。同时，也对这些算法的估计一致性问题进行了讨论。随着人们对非线性系统辨识问题研究的日益深入，更为一般的普适性非线性模型的辨识问题就显得日益重要。常用的非线性系统描述方法有微分(或差分)法、泛函级数法、NARMAX 模型法及分块系统法等。一些学者已经对非线性系统辨识方法进行了某方面的综述。例如，1965 年Arnold 和Stark 讨论了正交展开方法在非线性系统辨识中的应用，1968 年Aleksandrovskii 和Deich及1977 年Hung 和Stark综述了核辨识算法，1989 年Titterington 和Kitsos总结了非线性试验设计的最新发展，并列举了十五个在化工领域中常遇到的非线性模型。 本文对近年来新的非线性系统的辨识方法作以简单的综述。
最小二乘法的系统辨识 摘要：在研究一个控制系统过程中，建立系统的模型十分必要。因此，系统辨识在控制系统的研究中起到了至关重要的作用。本文主要介绍了系统辨识的最小二乘方法，最小二乘法的一次完成过程进行了推导，最小二乘法的一次完成的缺陷在于对于有色噪声并没有很好的辨识效果。其中系统辨识在工程中的应用非常广泛,系统辨识的方法有很多种,最小二乘法是一种应用极其广泛的系统辨识方法，阐述了动态系统模型的建立及其最小二乘法在系统辨识中的应用,并通过实例分析最小二乘法应用于直流调速系统的系统辨识。 关键词：系统辨识、最小二乘法 一、系统辨识的定义 系统辨识、状态估计和控制理论是现代控制理论三个相互渗透的环节。1962年，L．A．zadeh给出“辨识”的定义为：系统辨识是在对输入和输出观测的基础上，在指定的一类系统中，确定一个与被识别的系统等价的系统。[1]最先提出了系统辨识的定义。 随着科技的发展，数学建模对科学研究及指导及生产都有非常重要的意义。给一个系统建立数学模型是一个比较复杂的工作，其中关键的一个环节是系统辨识。系统辨识就是研究如何利用系统的输入、输出信号建立系统的数学模型。[7]系统数学模型是系统输入、输出及其相关变量间的数学关系式，它描述系统输入、输出及相关变量之间相互影响、变化的规律性。换句话说，系统辨识就是从系统的运算和实验数据建立系统的模型(模型结构和参数)。系统辨识的三要素：数据、模型类和准则。系统辨识的基本原理：在输入输出的基础上，从一类系统中确定一个与所测系统等价的系统。[2] 二、最小二乘法的引出 最小二乘法是1795年高斯在预测星体运行轨道最先提出的，它奠定了最小二乘估计理论的基础．到了20世纪60年代瑞典学者Austron把这个方法用于动态系统的辨识中，在这种辨识方法中，首先给出模型类型，在该类型下确定系统模型的最优参数。 我们可以将所研究的对象按照对其了解的程度分成白箱、灰箱和黑箱。于其内部结构、机制只了解一部分，对于其内部运行规律并不十分清楚，这样的研究对象通常称之为“灰箱”；如果我们对于研究对象的内部结构、内部机制及运行规律均一无所知的话，则把这样的研究对象称之为“黑箱”。研究灰箱和黑箱时，将研究的对象看作是一个系统，通过建立该系统的模型，对模型参数进行辨识来确定该系统的运行规律。对于动态系统辨识的方法有很多，但其中应用最广泛，辨识效果良好的就是最小二乘辨识方法，研究最小二乘法在系统辨识中的应用具有现实的、广泛的意义。[4]
经典辨识方法报告 1. 面积法 辨识原理 分子多项式为1的系统 1 1 )(11 1++++= --s a s a s a s G n n n n Λ……………………………………………（） 由于系统的传递函数与微分方程存在着一一对应的关系，因此，可以通过求取微分方程的系数来辨识系统的传递函数。在求得系统的放大倍数K 后，要先得到无因次阶跃响应y(t)（设τ=0）。大多数自衡的工业过程对象的y(t)可以用下式描述来近似 1)() ()()(a 111=++++--t y dt t dy a dt t y d a dt t y d n n n n K ……………………………（） 面积法原则上可以求出n 为任意阶的各系数。以n=3为例，注意到 1|)(,0|)(d |)(d |)(d 23====∞→∞→∞→∞→t t t t t y dt t y dt t y dt t y …………………………（） 将式（）的y(t)项移至右边，在[0，t]上积分，得 ?-=++t dt t y t y a dt t dy a dt t y d a 01223 )](1[)() ()(…………………………………（） 定义 ?-=t dt t y t F 01)](1[)(……………………………………………………………（） 则由式（）给出的条件可知，在t →∞ ?∞ -=01)](1[a dt t y ……………………………………………………………（） 将式a 1y(t)移到等式右边，定义 )()]()([)() (a 201123 t F dt t y a t F t y a dt t dy t =-=+?…………………………………（） 利用初始条件（）当t →∞时 )(a 22∞=F …………………………………………………………………… （） 同理有a 3=F 3(∞) 以此类推，若n ≥2，有a n =F n (∞) 分子、分母分别为m 阶和n 阶多项式的系统
文献2：Model selection approaches for non-linear system identification: a review X. Hong, R.J. Mitchell, S. Chen, C.J. Harris, K. Li and G .W. Irwin. International Journal of Systems Science, 2008,39(10): 925–946 非线性系统辨识模型选择方法综述 摘要：近20年来基于有限观测数据集的非线性系统辨识方法的研究比较成熟。由于可利用现有线性学习算法，同时满足收敛条件，目前深入研究和广泛使用的非线性系统辨识方法是一类具有万能逼近能力的参数线性化非线性模型辨识（linear-in-the-parameters nonlinear model identification ）。本文综述了参数线性化的非线性模型选择方法。非线性系统辨识最基本问题是从观测数据中识别具有最好模型泛化性能的最小模型。综述了各种非线性系统辨识算法中实现良好模型泛化性的一些重要概念，包括贝叶斯参数正规化，基于交叉验证和实验设计的模型选择准则。机器学习的一个显著进步，被认为是确定的结构风险最小化原则为基础的内核模式，即支持向量机的发展。基于凸优化建模算法，包括支持向量回归算法，输入选择算法和在线系统辨识算法。 1 引言 控制工程学科的系统辨识，是指从测量数据建立系统/过程动态特性的数学描述，以便准确预测输入未来行为。系统辨识2个重要子问题：（1）确定描述系统输入和输出变量之间函数关系的模型结构；（2）估计选定或衍生模型结构范围内模型参数。最初自然的想法是使用输入输出观测值线性差分方程。早期研究集中在线性时不变系统，近期线性辨识研究考虑连续系统辨识、子空间辨识、变量误差法（errors-in-the-variable methods ）。 模型质量重要测度是未知过程逼近的拟合精度。由于大多数系统在某种程度上说都是非线性的，非线性模型通常要求满足合格的建模性能。定义非线性离散系统输入)(t u ，输出)(t y ，训练数据集合N D ={}N t t y t u 1)(),(=，基本目标是找到 )()),(()(t e t X f t y +=θ （1） )(?f 未知，θ相关参数向量，噪声)(t e ，通常假设方差（2σ）恒定，满足独立的同分布（i.i.d.）特 性。模型输入[]T e u y n t e t e n t u t u n t y t y t X )(),1(),(),1(),(),1()(------= 。y n ，u n ，e n 分别为输出、输入和噪声的延迟。方程式（1）是NARMAX 模型表达式，代表一大类非线性系统。 由于大多数工业过程满足光滑连续特性，非线性函数)(?f 辨识等价于函数逼近，即用f ?代替f 函数。为了逼近函数，用户选择各种非线性建模方法[1]，如分段线性模型、有理多项式模型、Hammerstein/Wiener 模型、投影寻踪回归（PPR ）和多项式自适应回归样条（MARS ）、周期神经网络。逼近论中，一种通用函数表示方法是非线性基函数的线性组合。具有参数线性化结构、表示非线性输入输出关系模型表达式 ∑==m i i i t X t X f 1))(()),((?θφθ （2） ((t X i φ为已知非线性基函数映射，例如RBF 或者B 样条函数，i θ未知参数，m 模型中基函数个 数。参数线性化模型具有适合自适应学习的良好结构，具有可证明的学习和收敛条件，具备并行处理能力，明确的工程应用[2]。然而，非线性系统辨识中仍然存在一些重大挑战和障碍： （1）模型的泛化性 采用有限数据辨识模型，不仅要求模型训练精度较好，同样要求模型测试精度良好。由于)(?f 未知，
开题报告 电气工程与自动化 非线性Hammerstein模型的辨识 一、选题的背景与意义 系统辨识是是现代控制理论中的一个重要分支。通过辨识建立数学模型的目的是估计表征系统行为的重要参数，建立一个能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统输出的未来演变，以及控制器的设计。非线性系统辨识是系统辨识的一个重要的发展方向，一直是现代辨识领域中的一个主要课题，对其研究有十分重要的理论和实际意义。非线性问题的主要困难之一是一直缺乏描述各种非线性系统特性的统一的数学模型。为此，人们提出了多种类型的模型，如块联模型]1[ 、神经网络模型、双线性模型、非线性参数模型等等。 ]2[]3[ Hammerstein模型属于块联模型，由一个线性动态系统跟随一个非线性静态模块构成。自从Narendra& Gallman 1966年提出了Hammerstein模型后，由于模型结构简 ]4[ 单且能有效地描述常见的非线性动态系统特性，所以许多学者相继研究了Hammerstein 模型参数的估计方法，近年来Hammerstein模型被广泛地应用于非线性系统辨识。辨识Hammerstein模型的意义在于：利用辨识结果获得中间层输出，选择合适的性能指标，就可以把原非线性系统的控制问题分解为线性模块的动态优化问题和非线性模块的静态求根问题，因此可以有效结合线性模型预测控制的成熟理论解决这类非线性对象的控制问题，避免传统非线性控制方法计算量大，收敛性和闭环稳定性不能得到保证等诸多问题。 二、研究的基本内容与模拟解决的主要问题： 针对Hammerstein模型的辨识问题，可以归结为线性模块的动态优化问题和非线性模块的静态求根问题。因此研究的重点就是如何运用比较新颖的优化算法得到Hammerstein模型的参数解集，并能通过和传统算法的比较论证阐述采用方法的合理性，可行性及有效性。具体需要解决的问题包括以下几点： 1.什么是Hammerstein模型，它的基本结构式怎么样的； 2.确定Hammerstein非线性系统辨识的思想和实现方法； 3.熟悉PSO/BFO优化算法和熟悉最小二乘法估计方法；
系统辨识大作业 最小二乘法及其相关估值方法应用 学院：自动化学院 学号： 姓名：日期：
基于最小二乘法的多种系统辨识方法研究 一、实验原理 1.最小二乘法 在系统辨识中用得最广泛的估计方法是最小二乘法(LS)。 设单输入-单输出线性定长系统的差分方程为 (5.1.1) 式中:为随机干扰；为理论上的输出值。只有通过观测才能得到，在观测过程中往往附加有随机干扰。的观测值可表示为 (5.1.2) 式中:为随机干扰。由式(5.1.2)得 (5.1.3) 将式(5.1.3)带入式(5.1.1)得 (5.1.4) 我们可能不知道的统计特性，在这种情况下，往往把看做均值为0的白噪声。 设 (5.1.5) 则式(5.1.4)可写成 (5.1.6) 在观测时也有测量误差，系统内部也可能有噪声，应当考虑它们的影响。因此假定不仅包含了的测量误差，而且包含了的测量误差和系统内部噪声。假定是不相关随机序列(实际上是相关随机序列)。 现分别测出个随机输入值，则可写成个方程，即 上述个方程可写成向量-矩阵形式 (5.1.7) 设 则式(5.1.7)可写为
(5.1.8) 式中：为维输出向量；为维噪声向量；为维参数向量；为测量矩阵。因此式(5.1.8)是一个含有个未知参数，由个方程组成的联立方程组。如果，方程数少于未知数数目，则方程组的解是不定的，不能唯一地确定参数向量。如果，方程组正好与未知数数目相等，当噪声时，就能准确地解出 (5.1.9) 如果噪声，则 (5.1.10) 从上式可以看出噪声对参数估计是有影响的，为了尽量较小噪声对估值的影响。在给定输出向量和测量矩阵的条件下求系统参数的估值，这就是系统辨识问题。可用最小二乘法来求的估值，以下讨论最小二乘法估计。 2.最小二乘法估计算法 设表示的最优估值，表示的最优估值，则有 (5.1.11) 写出式(5.1.11)的某一行，则有 (5.1.12) 设表示与之差，即 - (5.1.13)式中 成为残差。把分别代入式(5.1.13)可得残差。设 则有 (5.1.14) 最小二乘估计要求残差的平方和为最小，即按照指数函数 (5.1.15) 为最小来确定估值。求对的偏导数并令其等于0可得 (5.1.16) (5.1.17)
系统辨识研究综述 摘要：本文综述了系统辨识的发展与研究内容，对现有的系统辨识方法进行了介绍并分析其不足，进一步引出了把神经网络、遗传算法、模糊逻辑、小波网络知识应用于系统辨识得到的一些新型辨识方法。并对基于T-S模型的模糊系统辨识进行了介绍。文章最后对系统辨识未来的发展方向进行了介绍 关键词：系统辨识；建模；神经网络；遗传算法；模糊逻辑；小波网络；T-S 模型 1.系统辨识的发展和基本概念 1.1系统辨识发展 现代控制论是控制工程新的理论基础。辨识、状态估计和控制理论是现代控制论三个相互渗透的领域。辨识和状态估计离不开控制理论的支持；控制理论的应用又几乎不能没有辨识和状态估计。 而现代控制论的实际应用不能脱离被控对象的动态特性，且所用的数学模型需要选择一种使用方便的描述形式。但很多情况下建立被控对象的数学模型并非易事，尤其是实际的物理或工程对象，它们的机理复杂且含有各种噪声，使建立数学模型更加困难。系统辨识就是应此需要而形成的一门学科。 系统辨识和系统参数估计是六十年代开始迅速发展起来的。1960年，在莫斯科召开的国际自动控制联合会(IFCA)学术会议上，只有很少几篇文章涉及系统辨识和系统参数估计问题。然而，在此后，人们对这一学科给予了很大的注意，有关系统辨识的理论和应用的讨论日益增多。七十年代以来，随着计算机的开发和普及，系统辨识得到了迅速发展，成为了一门非常活跃的学科。 1.2系统辨识基本概念的概述 系统辨识是建模的一种方法。不同的学科领域,对应着不同的数学模型,从某种意义上讲,不同学科的发展过程就是建立它的数学模型的过程。建立数学模型有两种方法:即解析法和系统辨识。 L. A. Zadeh于1962年给辨识提出了这样的定义：“辨识就是在输入和输出数据的基础上，从一组给定的模型类中，确定一个与所测系统等价的模型。”当然按照Zadeh的定义，寻找一个与实际过程完全等价的模型无疑是非常困难的。根据实用性观点，对模型的要求并非如此苛刻。1974年，P. E. ykhoff给出辨识的定义“辨识问题可以归结为用一个模型来表示客观系统(或将要构造的系统) 本质为： 特征的一种演算，并用这个模型把对客观系统的理解表示成有用的形式。而1978
过程建模与系统辨识课程报告 班级： 姓名： 学号： 课题：人体运动计算机仿真建模方法地研究 1.人体运动计算机仿真地理论基础 （1）人体运动计算机仿真地理论 所谓人体运动计算机仿真地理论, 是指人体运动领域及其计算机仿真技术应用时作为基本立论地专业理论知识依据, 也就是指导人们从事人体运动计算机仿真应用与研究活动赖以建立和存在地专业领域内地前提和一些基本思想.总之, 因为仿真技术具有“学科面广、综合性强、应用领域宽、无破坏性、可多次重复、安全、经济、可控、不受气候和场地空间条件限制”等独特优点, 故而, 无论在交通工具安全、人机项目、虚拟设计、机器人、医疗康复、体育运动以及影视娱乐等诸多领域, 应用计算机仿真技术研究人体运动都有着其它技术所无法比拟地价值和效益.因此, 本文着眼于人体运动生物力学、计算机仿真等领域地知识基础, 从计算机仿真技术及其在人体运动领域地应用发展、人体及其运动建模等主要层面进行研究成果地综述性讨论, 旨在进一步促进人体运动领域应用计算机仿真技术在理论与实践上得以不断拓宽和深入发展. （2）人体及其运动建模 当人体被作为一种系统来看待时, 其本身及其运动包含了众多不
同层面而复杂地因素和交互作用.因此, 要深刻理解和把握人体及其运动, 模型化方法是不可或缺地.概略来说, 人体及其运动模型地构造主要有两种方式( 或者两者地结合) : 第一种方式从逻辑上看是演绎为主地, 即将人体系统分成子系统, 且子系统地性质和关系已被成熟地理论知识或规律所涵盖, 进而把这些子系统用数学方法加以联结得到整个系统地模型, 因为它无须对人体实际系统进行试验, 故而, 这种方式通常就被称为建模; 第二种方式则主要是归纳地, 它主要依据从实际人体地实验数据( 记录人体系统地输入输出) 并进而进行数据分析来建立数学模型或图象模型, 通常被称为系统辩识.就人体运动地力学模型而言, 从最简化地质点、刚体, 到多刚体、柔性多体等模型, 都以阐释人体机械运动形式地机理为目标, 其主要内容涵盖多体系统力学模型、非完整系统力学模型等, 并为人体地动力学研究提供了理论基础.在计算机仿真地交互效果上, 人体地逼真形象模型是在计算机图形学与先进仿真技术不断融合促进下发展起来地, 又在虚拟现实技术大力推动下, 三维“虚拟人”模型亦不断推出, 其中主要有如下几种形式: 骨架、体素、曲线、球体堆积、曲面等模型形式. （3）人体运动计算机仿真地理论地发展 随着系统仿真技术及相关地计算机图形学、数据库技术、虚拟现实技术地交互融合与推动, 加上以人体或其运动为核心地不同领域地强烈需求地推动, 虚拟人体及其运动成为当前研究发展地热点, 在建模方法与技术地核心理论基础方面, 人工智能( 专家知识、神经网