文献2：Model selection approaches for non-linear system identification: a review
X. Hong, R.J. Mitchell, S. Chen, C.J. Harris, K. Li and G .W. Irwin. International Journal of Systems Science, 2008,39(10): 925–946
非线性系统辨识模型选择方法综述
摘要：近20年来基于有限观测数据集的非线性系统辨识方法的研究比较成熟。由于可利用现有线性学习算法，同时满足收敛条件，目前深入研究和广泛使用的非线性系统辨识方法是一类具有万能逼近能力的参数线性化非线性模型辨识（linear-in-the-parameters nonlinear model identification ）。本文综述了参数线性化的非线性模型选择方法。非线性系统辨识最基本问题是从观测数据中识别具有最好模型泛化性能的最小模型。综述了各种非线性系统辨识算法中实现良好模型泛化性的一些重要概念，包括贝叶斯参数正规化，基于交叉验证和实验设计的模型选择准则。机器学习的一个显著进步，被认为是确定的结构风险最小化原则为基础的内核模式，即支持向量机的发展。基于凸优化建模算法，包括支持向量回归算法，输入选择算法和在线系统辨识算法。
1 引言
控制工程学科的系统辨识，是指从测量数据建立系统/过程动态特性的数学描述，以便准确预测输入未来行为。系统辨识2个重要子问题：（1）确定描述系统输入和输出变量之间函数关系的模型结构；（2）估计选定或衍生模型结构范围内模型参数。最初自然的想法是使用输入输出观测值线性差分方程。早期研究集中在线性时不变系统，近期线性辨识研究考虑连续系统辨识、子空间辨识、变量误差法（errors-in-the-variable methods ）。
模型质量重要测度是未知过程逼近的拟合精度。由于大多数系统在某种程度上说都是非线性的，非线性模型通常要求满足合格的建模性能。定义非线性离散系统输入)(t u ，输出)(t y ，训练数据集合N D ={}N t t y t u 1)(),(=，基本目标是找到 )()),(()(t e t X f t y +=θ （1）
)(?f 未知，θ相关参数向量，噪声)(t e ，通常假设方差（2σ）恒定，满足独立的同分布（i.i.d.）特
性。模型输入[]T e u y n t e t e n t u t u n t y t y t X )(),1(),(),1(),(),1()(------= 。y n ，u n ，e n 分别为输出、输入和噪声的延迟。方程式（1）是NARMAX 模型表达式，代表一大类非线性系统。
由于大多数工业过程满足光滑连续特性，非线性函数)(?f 辨识等价于函数逼近，即用f ?代替f 函数。为了逼近函数，用户选择各种非线性建模方法[1]，如分段线性模型、有理多项式模型、Hammerstein/Wiener 模型、投影寻踪回归（PPR ）和多项式自适应回归样条（MARS ）、周期神经网络。逼近论中，一种通用函数表示方法是非线性基函数的线性组合。具有参数线性化结构、表示非线性输入输出关系模型表达式
∑==m
i i i
t X t X f 1))(()),((?θφθ （2）
((t X i φ为已知非线性基函数映射，例如RBF 或者B 样条函数，i θ未知参数，m 模型中基函数个
数。参数线性化模型具有适合自适应学习的良好结构，具有可证明的学习和收敛条件，具备并行处理能力，明确的工程应用[2]。然而，非线性系统辨识中仍然存在一些重大挑战和障碍：
（1）模型的泛化性
采用有限数据辨识模型，不仅要求模型训练精度较好，同样要求模型测试精度良好。由于)(?f 未知，
选用)(t y 作为训练模型)(?t f 的逼近目标。随着模型复杂程度的增加，逼近目标)(t y 的建模精度增加。其结果是，如果过分追求模型精度，发生)(t y 中噪声过拟合现象。如何界定和获取模型的泛化能力对所有机器学习来说都是至关重要的。
（2）模型的解释性
模型经常用来解释它代表的过程属性，并提取系统潜在知识。线性系统许多好的属性并不适用于非线性模型。比如，时域和频域之间模型描述的可交换性。线性模型的参数通常与系统的物理特性相关。由于非线性本质和高阶模型复杂性，非线性模型很难解释系统的结构特性，除非建模者在建模过程中具有先验知识。
（3）维数灾难
参数个数过多与模型数据集有关。构建模型过程中，模型参数的数量与数据集的规模相比很容易过剩。一个过多参数的模型是病态的，参数无法精确估计，导致模型泛化能力较差。线性模型为保证张成输入空间的回归矩阵非奇异特性，PE 通常由输入信号设计获得。非线性模型为保证回归矩阵非奇异特性，需要设计输入信号和回归矩阵。
（4）计算复杂性
数据维数过高是计算复杂性过高的根源。非线性系统辨识的本质是一个棘手的问题。对于实际应用而言，希望采用高效的非线性系统识别算法。算法设计要求集成系统理论、统计、优化理论、智能学习和线性代数的新型计算工程。
（5）输入选择
许多非线性模型随着输入维数（x ）的增加，模型的大小以指数速度成倍增加。输入项过多，通过输入设定不正确或或过参数化，引起模型性能恶化。对于实际系统输出，如果模型中存在一些输入变量，另一些输入变量可能是冗余的或变得不重要了。输入选择作为预处理步骤，大大改善系统性能和模型可解释性。然而，最优输入选择通常是一个棘手问题，有效输入选择算法通常是许多模式识别领域重要因素。
（6）鲁棒性和噪声抑制
线性辨识方法的鲁棒性和噪声抑制技术很成熟。传统线性辨识方法假设系统线性时不变，通常具有高斯噪声。然而，大多数实际动态系统是复杂的，非线性、非稳态、随机和部分未知。传统学习算法在应用到实际系统时，通常具有局限性。为了改善模型鲁棒性和噪声抑制性能，有必要研究非线性、非高斯过程辨识方法。
（7）在线非线性系统辨识
在许多应用中，当数据样本连续可用时，模型用于实时操作。在线系统辨识算法计算优势在于模型在新样本到来时不断更新，而不是从零开始重学。在线学习概念在智能系统系统是一个重要概念，因为人类自然学习方式是基于先验知识逐步建立后验知识。线性迭代辨识算法更新的是固定模型结构的模型参数，在需要更新模型结构时可能存在一定局限性。基于变结构和具有高效计算能力的稀疏模型的在线估计算法是当前重要研究领域。
2 模型的泛化性
2.1 参数正则化（Parameter regularisation ）
模型泛化性定义：对新输入数据，模型逼近真实系统输出的能力。参数正则化技术是一个改善模型泛化能力的主要工具。模型参数估计对模型泛化能力的影响可以通过一个参数估计器的MSE （均方误差）来分析。它可以作为模型泛化能力的测量。一种改善模型泛化能力的方法是偏差和方差折中。
()()??????--θθθθ??T E =()()2
??θθbias Var + （3）
)()∑==??????--m i i LS T
LS E 121??λσθθθθ0min 21max >=≥≥≥=λλλλλm （4）
由于常规最小二乘方法估计参数MSE 存在病态条件，min λ很小时导致参数LS θ?的MSE 很大。
[][]θμθθθT T R y y J +Φ-Φ-= []y T T R Φ+ΦΦ=-1?μθ （5）
μ为正则参数。正则化或岭回归是简单有效的获取偏差/方差折中的方法。正则化参数估计器等效于贝叶斯方法中参数的最大后验概率密度函数MAP （maximum a posteriori pdf ）。该方法的一个潜在问题是优化过程中如何确定正则参数μ。
非线性系统辨识一个非常有前景的方法是最小二乘支持向量机LSSVM （least squares support vector
machine ）3，核特征空间范数参数正则化的应用。
系统辨识简化为一个优化问题。运用不同目标函数，在模型适配和结构/参数约束之间权衡折中，产生不同的模型。模型选择准则，用于判别不同模型之间的泛化能力。
2.2 模型选择准则
2.2.1 基于交叉验证的模型选择准则
统计学习和非线性系统辨识中，模型泛化能力的信息理论测度至关重要。评价模型泛化能力的基本概念之一是交叉验证。模型选择准则用作模型对未来数据的预报性能或者与其它有竞争力的模型相比评估模
型质量。假设（2）式系统模型，参数为T m ]?,,?,?[?21θθθθ =，令2?σ
为2σ的估计。则数据集的均方误差估计为：211]?)(()([)?(∑∑==-=N
t i m i i t x t y SSE θφθ。不同的模型选择标准如下：
2?()
2?p SSE C m N θσ=+-
??? ??-+?=m N m N N SSE FPE )?(θ
m N SSE N AIC 2)?(log +???? ??=θ
??
? ??+=N m PRESS 21?2σ 为了说明如何获得这些模型选择准则，考虑一种最常用的交叉验证法——留一验证法。其主要思路为对于任何一个预测器，数据集D N 中的每一个数据点轮流被选出，用其余的N-1个数据点估计模型，计算
选出点的预测误差。方便起见，)(?)(i y
-用来表示模型（1）中输入量)(i x 的输出，用留一法估计数据集)}(),({\i y i x D N ，)(?)(i y -的误差如下：)(?)()()()(i y i y i ---=ξ.留一验证法的均方差为])([2)(i E -ξ，用来度量模
型的泛化能力。留一误差可以用最小方差估计线性参数化模型（2）来计算。定义模型残差序列为
j m
j j i x i y i θφξ?)(()()(1)(∑=--=，N i i i i i T T ,,1)]([])[(1)
()(1)( =ΦΦ-=--φφξξ
其中)(i φ是向量Φ中的行向量。同样，经过参数正则化后，有
N i i i i i T T ,,1)]([])[(1)
()(1)( =+ΦΦ-=--φμφξξ
将上式中的所有采样数据用它们的均值代替，则为PRESS 统计：
2
212()2?1(1[]/)N i i m PRESS N tr N N ξσ=??=≈+ ?-??∑H 其中T T ΦΦΦΦ=-1][H ，∑==N
i i N 122)()/1(?ξσ。令T T Φ+ΦΦΦ=-1][μμ)H(，GVC 如下：
21
2()()(1[H ]/)N i i G C V N tr N ξμμ==-∑()
GVC 可以通过寻找μ来进行优化。
应用模型选择准则对模型参数个数的阶跃增加的灵敏度揭示模型选择准则的差异，特别是对小型数据集合和低维模型。尽管模型性选择准则之间存在差异，上述的模型选择准则共同的特征是在通常条件下是等价渐进的（Nishii 1984），并且同时具有估计数据适配程度与模型复杂性之间平衡。因此，信息理论度量与最小可能模型的简约建模基本原理一致。
一个更复杂的观点是偏差/方差矛盾，基于有限数据建立真实系统/过程动态时，简单模型泛化较好。偏差和方差的矛盾在于模型的泛化误差分为两部分：偏差和方差。逼近能力较高的模型方差较高，对估计数据集合适配性好，但是对新数据集合的泛化性差。偏差指的是模型任何灵活的约束。逼近能力较差的模型，偏差较高。
2.2.2 基于实验设计的模型选择准则
线性系统的两种实验设计方法为：输入信号PE 条件设计和鲁棒输入谱线密度设计。非线性系统辨识的实验设计缺少正式的范围，思想接近于主动学习(Plutowski and White 1993; Cohn, Ghahramani, and Jordan 1996)，局部建模(Murray-Smith 1994)，实验设计与实时控制组合(Stewart, Fleming, and Mackenzie, 2003)。这些方法通过获取相关操作域上的数据集或者定义模型结构来处理维数灾难问题。
应用优化实验设计理论进行模型选择的一种方法是测量设计矩阵ΦΦT 特征值的模型充分性。众所周知，最小二乘估计模型趋向近病态的回归矩阵。当min λ趋近于零时，参数LS θ?的均方误差MSE 会非常大。
在优化实验设计框架下，自然会考虑模型子集选择。子模型的构建是从全局模型回归矩阵Φ中的m 个回归量中选θn 个，m n <<θ。定义结果回归矩阵为θn N k ??∈Φ，设计矩阵为k T
k ΦΦ，θλn k k ,,1, =为特征值。
以下两个实验为模型子集选择设计标准：
定义1：A-最优性标准，最小化参数估计向量LS θ?的方差之和
??????????==∑=θλσ
θn k k LS A tr J 121)]?[cov(min
定义2：D-最优性标准，最大化设计矩阵k T
k ΦΦ的行列式
??????∏=ΦΦ==k n k k T k D J λθ1]det[max
这些准则通过较少的条件数保证LS θ?有较小的均方误差MSE ，改善模型的鲁棒性。值得注意的是，用
于模型子集选择时，这些准则与解释输出变量的回归因子意义无关，即没有考虑最终模型的逼近能力。
2.2.3 基于相关函数的模型验证
模型验证测试是为了检测模型的不充分性。如果模型结构和模型参数估计适当，来源于过去输入)(t u 和输出)(t y 的所有线性和非线性组合的残差序列i m
i i t x t y t θφξ?)(()()(1∑=-=，应该是不可预报的。尽管设计基
于相关函数的模型验证测试复杂和困难，也有不同的基于相关性模型验证测试方法以解决系统非线性[4]。
3. 采用逐步选择算法的模型构建
非线性建模的原理实际上就是找到一个泛化性最好的最小模型。工程应用中需要稀疏模型，因为模型计算的复杂性与模型的复杂性成正比。并且从知识提取的角度来说，稀疏模型较容易解释。认识到非线性系统辨识是一个难处理的优化问题是非常重要的，因为任何算法仅仅是针对一定假设条件下问题的求解。在实际应用中，迫切需要计算简约的优化算法。
在任何实际非线性系统辨识算法中，最初将这些问题形式上看做一些易处理的问题，获取次优解。 从m 个候选项中选择n θ个子集，假设500m =，40n θ=，可能的模型结构)59!!()! 2.244310m n m n θθ-=?。前向/后向子集选择算法是一种贪婪算法，目的是在每个回归阶段优
化某个目标函数。经典的前向（后向）方法一次添加（去掉）一个模型回归因子。选择对模型适配度ERR 最大贡献或（或最小恶化）的回归因子。前向算法候选模型计算降为40()210n k m k n m θθ=-<=?∑。
在各种逐步子集选择算法中，前向正交最小二乘（OLS ）是一种高效的非线性系统辨识算法，OLS 根据最大模型误差减小比以前向的方式选择回归因子。
前向OLS 估计器采用前向回归估计的方式，从m 个回归因子中选择一组n θ个变量
[(1),()],1,T k k k N k n θΦ=ΦΦ= 组成一组正交基
,1,k p k n θ= 。为了得到好的泛化性，通常将模型选择准则（如AIC ）与OLS 结合，确定模型结构。OLS 算法成为一种流行的神经网络建模工具，如模糊/神经模糊系统，并在工程领域广泛应用。
3.1 局部正则正交最小二算法LROLS （ locally regularised orthogonal least squares algorithm ）
正则技术与前向OLS 结合的正则正交最小二乘ROLS 的优势在于在正交空间用于辅助参数正则化，减少参数估计方差，大大简化参数估计的计算量。另外，Chen （2002）提出了局部LROLS ，自动选择一组n θ个回归因子构建简约模型[5]。
LROLS 用于模型选择一个可能缺点是模型泛化性不是直接优化求解。AIC 或其他基于信息的准则通常采用简化的测度作为逼近公式，对模型复杂度特别敏感。除了影响模型选择终点，LROLS （公式24）对模型泛化性比模型选择准则（AIC/PRESS/FPE/p C ）判别能力更强。这意味着回归因子可能引起模型性能
恶化，例如参数方差太大或回归矩阵病态，在模型选择期间，回归因子不会直接处于不利地位。
()(1)2
21
k k k k J J g k N -=- （24）
3.2 前向选择中模型选择准则的改进
基于实验设计标准，通过修改模型选择准则，最近出现了很多OLS 算法变体，确保根据试验设计标准在候选模型中找到最好模型。OLS 算法变体包括A-优化、D-优化、LOO 误差均方根优化、被也是正则优化等，其中A-优化和D-优化算法模型选择准则如下：
()(1)22()(1)221
:1
1:log k k A k k k k k k k D
k A optim ality O LS J J g k N
k D optim ality O LS J J g k N k ττ---+=-+??-+=-+???? （25） 在每个前向迭代步骤中，A τ和D τ是小正定数，在模型逼近能力和最优设计准则之间进行折中调节。公式
（25）中第（3）项基于模型表示的正交试验设计标准的结果。A τ和D τ由用户设定，大范围的A τ和D τ能够改进模型鲁棒性。A τ和D τ还可以采用另一数据集合的交叉验证经验设定。额外参数影响建模性能，保
持额外调整参数最小是有利的。
3.3其它逐步选择算法
（1）基于M-估计的正交模型选择算法，建立M 估计器处理观测数据中的离群点，用于鲁棒模型辨识。
（2）向后逐步选择（backward stepwise selection ）
向后删除方法一次去掉一个模型适配中最小恶化的回归因子。当候选模型维数小时，向后删除方法计算成本大幅度降低，因此，向后删除方法作为事后处理步骤，由于计算上的可行优势，用于混合建模，修剪其他方法辨识的模型。Hong （2007）使用模型适配度和A-优化、D-优化、LOO 误差之间的混合成本函数，改进传统后向选择方法[6]。
（3）模型结构选择和参数优化的混杂算法
进一步降低计算复杂度，改善可调参数神经模型紧密度，提出了一种同时选择模型结构和参数优化的混杂算法。正交前向选择算法设计采用一个可调的对角协方差矩阵，而不是固定的普通方差，和一个可调RBF 中心代替输入训练数据集合约束的RBF 中心。在这些方法中，在集成分析框架下实行网络生长和参数优化 ，大大增加了最小核模型的建模性能。
4. 采用凸优化算法的模型构建
尽管在实际数据建模中，分步子集选择算法(stepwise subset selection algorithm)应用广泛和高效，但致命的弱点是只能得到次优解，最终的模型不是最优的。随着不断增长的廉价计算资源，不是很贪婪的非线性建模方法引起广泛关注，比如基于凸优化的算法。在机器学习领域，最近的研究热点之一是支持向量机SVM ，一种易处理的基于结构风险最小化原理的分类和回归算法SVR 。
在机器学习中，模型的泛化性用于描述机器学习能力。由于SVR 模型公式
*1()()()(,())N
j f x j a j k x x j b α
=??=-+??∑中，仅仅()*()()j j αα-的非零数据点()x i 包含在SVR 模型内，所以SVR 模型具有稀疏属性。这些数据点被认为是支持向量SV （support vectors ），满足*1()()()(,())N
j y i j a j k x x j b αε=??---≥??∑。通过合理设定ε值，可控制支持向量SV 个数，最终模型含
有SV 个数较少。
SVM训练是一个保证全局优化的凸QP求解问题。然而，标准QP问题对大规模数据集的求解效率低，解决办法之一是分块（chunking），在一个工作集合上操作，训练数据集合维数固定，便于找到工作集合支持向量SV。重复（iterate）这个过程，并且在每一次迭代过程中，选择一组违背当前估计器最优条件的最差输入数据作为下一步迭代的工作集合。为了获取最大计算效率，Smola and Schlkopf(1998)[7]和Platt(1999) [8]提出了序列最小优化SMO（sequential minimal optimisation）。SMO将大型QP问题分为一系列最小可能二维的QP问题，这样，可求得分析解，而不是耗时的数值QP解题器作为内环。一种改进的SMO-SVR进一步改善Smola的SMO-SVR模型性能。
尽管SVR采用 不敏感损失函数，SVR具有稀疏性控制属性，但最终的SVR模型可能还是规模大。当前的研究热点集中在改善SVM的稀疏性。经验研究表明，OLS与SVR相比趋向小模型，然而在低信噪比情况下对噪声鲁棒性差。Lee and Billings （2002）[9]提出了SVM-OLS方法，用于减少模型尺寸，最终模型抑制噪声。
非线性系统辨识中最小二乘支持向量机LSSVM是一种非常有吸引力的方法。这部分是因为最初的LSSVM不是采用QP求解，而是一种简单得多的常规最小二乘算法。但是，LSSVM模型缺少稀疏性，该缺点可能通过将研究空间限制在数据集合子集范围内回避。另外还可以采用递阶建模策略，使用QP解题器获取模型有利的稀疏性表示。
5 输入选择算法（Input selection algorithms）
对于先验未知的非线性系统辨识是在有限数据集合学习最小模型表示（minimal model representation）。任何模型结构确定包括合适因果输入变量(appropriate causal input variables)选择和候选基函数集合. 对于实际系统的输出，当模型中存在某些其他输入变量，一些输入变量可能是冗余的或没有意义。过参数化(overparametrisation)对系统动态行为的影响采用定性分析方法从经验上研究过了，发现输入滞后（lag）过参数化严重影响。选择最小数目的相关输入作为预处理步骤可改善建模性能。
难点：因为系统输入输出关系呈非线性且输入变量通常不独立，最优输入选择非常棘手。影响模型性能因素和数据非常多，如何从大量的影响因素中选择出对期望输出影响较大的一些因素，组成一个有效输入变量集，成为系统辨识方法首先面对的问题。主要的输入选择算法包括：
(1) 互信息MI（Mutual information）
MI量化了两个随机变量之间的依赖程度，理论上适合作为输入选择的测度。两个随机变量之间互信息越大,意味它们之间关系越密切;相反,如果互信息为零,意味着这两个随机变量完全不相关,或称相互独立。与相关系数相比,互信息能兼顾变量间的线性和非线性。MI是一种贪婪算法，根据一次一考虑候选输入变量、输出变量和上一步所选变量集合之间的互信息来选择输入变量。基于互信息方法的缺点是需要估计概率密度且估计所需数据量要求高。
基于互信息变量选择的子空间回归，互信息量小于一个特定阈值的变量被淘汰,每个成员模型在原始变量的一个子空间得到训练。由于互信息量小于一个特定阈值的变量被淘汰,每个成员模型在原变量集的一个子空间训练,因此可避免多元共线性带来的诸多问题。
(2) 删除算法
一些简单的删除算法，如基于聚类算法、基于函数属性的规则方法，可以消除冗余输入[10]。
(3) 分段局部线性模型输入选择方法（piecewise local linear model-based input selection approach）
基于分段局部线性模型输入选择方法(Mao and Billings 1999) 采用泰勒技术展开，如果观测向量x(t)落在x(t0)小邻域内，输入输出关系由f(·)一阶导数主导，然后假设忽略高阶项,得到适合的局部线性模型。分段局部线性模型输入选择算法把输入空间划分为子区域，子区域数据集
D划分为不同组。对于每一个子
N
区域，使用线性模型形式，OLS算法用于选择输入变量的子集。所选输入变量的合并为最终模型结构中输入变量。文献(Hong and Harris 2001b) 将分段局部线性建模与OLS算法集成，提出了完全自动分段局部线性模型输入选择算法。
(4) 方差分析ANOVA (analysis of variance)
方差分析是在可比较的数组中，把数据间的总的―变差‖按各指定的变差来源进行分解的一种技术。对变差的度量，采用离差平方和。方差分析方法就是从总离差平方和分解出可追溯到指定来源的部分离差平方和，这是一个很重要的思想。一种同时降低输入变量和基函数方法是方差分析ANOV A 扩展方法
[11]
∑
∑∑==+=+++=n i n i n
i j j i j i i i x e x x f x f f X f 111,0)(),()()(
其中所有的i f 和j i f ,是基于输入向量子向量的基函数线性参数模型。因为正交选择算法选择最有意义项组
成一个简约模型，最终模型中仅仅包含有意义的变量，去掉了许多项。
6 在线辨识算法（On-line system identification algorithms ）
离线建模算法在模型训练过程中使用全部数据集。迭代参数估计算法，如迭代最小二乘（RLS ）和预报误差算法，直接适用于参数线性化模型。使用离线算法建模，模型数据类似估计数据集，模型结构固定，使用线性递归算法进行参数更新。若新数据特性明显不同于估计数据，保留模型。在线系统辨识算法是非常重要的一类建模算法，处理模型结构和新数据样本到来时更新模型参数。假设使用采集到)1(-t 时刻数据样本，辨识模型。已知t 时刻数据样本和)1(-t 时刻先验模型，在线模型辨识算法提出如何通过加入新数据样本产生的新息更新模型的问题。在线辨识算法优势在于新数据到来时模型更新，而不是重头开始重学。
在线非线性系统辨识算法的重要特征是具有改变模型结构适应数据样本的能力。在线辨识算法从最初的高斯RBF 网络发展起来的资源分配网络（RAN ）、扩展卡尔曼滤波器RAN （RANEKF ）、将删除算法与RAN-EKF 方法结合的最小资源分配网络（MRAN ），发展到生长-剪枝GAP-RBF 网络（growing and pruning RBF ）。该类方法在网络开始时没有隐层单元。在学习过程中,将根据下列―新颖性‖条件来确定是否将某个输入增加为新的隐层单元。GAP-RBF 算法在生长和剪枝策略中引入神经元―权‖的概念。在训练中，发现某个神经元的―权‖比学习精度小，这个神经元将被去掉，且只需要检查与最新输入数据距离最近的神经元的―权‖。如果新的输入数据并不需要增加新的神经元，那么只有距离最近的那个神经元的参数被调整。这样，计算量将减少，学习的速度也提高了。GAP-RBF 算法目的是实现较高的计算效率，这对于在线算法是一个关键的要求。
对任何在线辨识方法，由于时间约束，很难完成最优模型结构选择任务。实际上，在不同线性化算法确定生长-剪枝策略中，用户根据建模精度定义不同阈值。用于快速计算的逼近公式通常用于加快计算速度。基于RKHS 理论的生长-剪枝策略和模型泛化性之间的连接没有很好的研究，除增量映射学习IPL （incremental projection learning ）和核RLS 少数例外。核RLS 模型本质上是一种生长核模型，为提高计算效率，建立了在线稀疏方法。核算法计算复杂性与核基的稀疏性成正比。因为在线稀疏性有助于减少计算成本，核算法对线性应用的普遍适用性，严重依赖于核空间解的稀疏性。
7 结论
工业界广为接受，仅仅利用数据就可建立基本过程最简约模型的参数线性化系统辨识方法。对静态、随机过程，在现有批数据情况下，核方法和相关算法相对成熟，如SVM 。
未来研究问题：
（1） 目前一个崭新的和开放的研究领域是同时辨识模型结构和参数的在线迭代算法。
（2） 未知非平稳或时变非线性过程辨识也是非常重要领域，但目前不完全开放的原因是该问题非常棘
手。
[1] Ljung, L., and Vicino, A. (2005), Special Issue on Identification, IEEE Transactions on Automatic Control,
50(10), 1477–1634.
[2] uano, A.E. (2005), Intelligent Control Systems using Computational Intelligence Techniques, London: IEE
Publishing.
[3] Espinoza, M., Suykens, J.A.K., and De Moor, B. (2005b), Kernel Based Partially Linear Models and
Nonlinear
Identification, IEEE Transactions on Automatic Control, 50(10), 1602–1606.
[4] Zhang, L.F., Zhu, Q.M., and Longden, A. (2007), A Set of Novel Correlation Tests for Nonlinear System
V ariables, International Journal of Systems Science, 38(1), 47–60.
[5] Chen, S. (2002), Locally Regularised Orthogonal Least Squares Algorithm for the Construction of Sparse
Kernel Regression Models, Proceedings of 6th Int. Cof. Signal Processing, China: Beijing, pp. 1229–1232. [6] Hong, X., and Mitchell, R.J. (2007), Backward Elimination Model Construction for Regression and
classification using Leave one Out Criteria, International Journal of Systems Science, 38(2), 101–113.
[7] Smola, A.J. (1998), Learning with Kernels. Ph.D. thesis, Germany: Informatik der Technischen Universitate
Berlin.
[8] Platt, J. (1999), Fast Training of Support V ector Machines using Sequential Minimal Optimization, in
Advances in Kernel Methods – Support V ector Learning, eds. C.J.C. Burges, B. Scho¨ lkopf, and A.J. Smola, Cambridge, MA: MIT Press, pp. 185–208.
[9] Lee, K.L., and Billings, S.A. (2002), Time Series Prediction using Support V ector Machines, the Orthogonal,
and the Regularised Orthogonal Least Squares Algorithms,’’ International Journal of Systems Science, 33, 811–821.
[10] Sindelá?, R., and Babu?ka, R. (2004), ―Input Selection for Nonlinear Regression Models, IEEE Transactions
on Fuzzy Systems, 12(5), 688–696.
[11] Bossley, K.M. (1997), Neurofuzzy Modelling Approaches in System Identification, Ph.D. thesis, University
of Southampton, Dept. of ECS.
第17卷第2期 湖南城市学院学报（自然科学版）V ol.17 No.2 2008年6月 Journal of Hunan City University （Natural Science） Jun. 2008 公交最优路径选择的数学模型及算法 雷一鸣 （广东工业大学华立学院，广州 511325） 摘要：在公交出行查询系统中，最关键的部分是寻找两站点间乘车的出行最优路径问题．建立了以最小换乘次数为第一目标，最小途经站点为第二目标的公交出行最优路径模型．同时，设计了一种算法以确定最优公交线路序列，分析了线路相交的几种情况，给出了换乘点选择方法． 关键词：最优路径；换乘次数；公交网络 中图分类号：O232文献标识码：A文章编号：1672–7304(2008)02–0050–03 公交最优路径问题一直是应用数学、运筹学、计算机科学等学科的一个研究热点．对公交最优路径问题的理论研究主要包括公交网络的数学描述和设计最优路径算法．在公交网络描述方面，Anez等用对偶图描述能够涵盖公交线路的交通网络，Choi等讨论了利用GIS技术从街道的地理数据产生公交线路和站点的问题；在设计最优算法方面，常用的算法[1]有Dijkstra算法、Floyd 算法、Moore-pape算法等．Moore-pape算法计算速度较快，适用于大型网络，但它无法进行“一对一”的计算．Floyd算法虽然可以快速地进行“多对多”的计算，但它不能应用于大型网络，而Dijkstra算法是目前公认的最好的算法，但它数据结构复杂、算法时间长，不适合公交线路的查询．本文首先对公交网络进行了数学描述，考虑到公交乘客出行时所面临的各种重要因素，包括换乘次数、途径站点、出行耗时和出行费用等，选择以换乘次数最少作为最优路径算法的第一约束目标，而出行耗时虽难以准确测算但它与途径站点数相关，所以选择易于量化的途经站点数最少作为第二约束目标，建立公交乘车数学模型，设计相应的算法，并利用有关实验数据验证了它的有效性和可行性． 1 模型的建立及其算法 1.1 模型假设及符号规定 为了更好地建立数学模型，首先对公交网络及出行者作出以下假设[2]： 1)不考虑高峰期、道路交通堵塞等外界因素对乘车耗时的影响． 2)假设出行者熟悉公交站点及附近地理位置，并且知道可乘的各种公汽和地铁以及到达目的地有哪几种不同选择的机会．在公交线路网中， 不同的公交线路在行程上一定会有重叠，也就是说不同的线路上一定会有同名站点．在进行网络分析时，把空间上相近的异线同名站点合理抽象成一个节点． 3)假设出行者对公汽和地铁的偏好程度不一样．在不换乘的情况下，宁愿乘地铁，以求舒适；在路途较近的情况下，宁愿坐公汽而放弃乘地铁．出行者可根据自己的偏好结合自己的出行需求（换乘次数、最短路程、费用等），可在各种出行方案中选出满足自己出行需求的乘车方案．设() L I为经过点A或其附近的公交线路集，其中1,2,..., I m =；() S J为经过点B或其附近的公交线路集，其中,,..., J12n =；(,) E I U为线路 ) (I L上的站点，其中,,..., U12p =；(,) F J V为线路) (J S上的站点，其中,,..., V12q =；() X K为经过站点) ,(U I E的线路，其中,,..., K12w =；() Y O 为经过站点) , (V J F的线路，其中,,..., O12v =；(,) d E F M ≤表示从站点E步行到站点F之间的距离不超过乘客换车时步行的最大心理承受值M，其中M表示乘客在换车时步行的最大心理承受值．通常，M与公交站点间的平均距离呈线性正相关． Ai Z表示站点A的下行第i个站点； Bj Z表示站点B的上行第j个站点；另外，公交的可行线 路的集合可表示为：{| i i TR TR TR == 0112,1 ,,,,,, i i i i d a p a p a ? < ,} id d p a>，其中，{} 01,1 ,,,, i i d d a a a a ? 为站点集合，{} 12,1 ,,,, i i i d d p p p p ? 为公交车次的集合， i TR 收稿日期：2008-03-10 作者简介：雷一鸣(1972-)，男，湖南临武人，助教，硕士，主要从事数学模型及经济信息管理研究．
系统辨识作业一 学院信息科学与工程学院专业控制科学与工程 班级控制二班 姓名 学号
2018 年 11 月 系统辨识 所谓辨识就是通过测取研究对象在认为输入作用的输出响应，或正常运行时 的输入输出数据记录，加以必要的数据处理和数学计算，估计出对象的数学模型。 辨识的内容主要包括四个方面： ①实验设计； ②模型结构辨识； ③模型参数辨识； ④模型检验。 辨识的一般步骤：根据辨识目的，利用先验知识，初步确定模型结构；采集 数据；然后进行模型参数和结构辨识；最终验证获得的最终模型。 根据辨识方法所涉及的模型形式来说，辨识方法可以分为两类：一类是非参 数模型辨识方法，另一类是参数模型辨识方法。 其中，非参数模型辨识方法又称为经典的辨识方法，它主要获得的是模型是 非参数模型。在假定过程是线性的前提下，不必事先确定模型的具体结构，广泛 适用于一些复杂的过程。经典辨识方法有很多，其中包括阶跃响应法、脉冲响应法、相关分析法和普分析法等等，本次实验所采用的辨识方法为阶跃响应法和脉 冲响应法。 1．阶跃响应法 阶跃响应法是一种常用非参数模型辨识方法。常用的方法有近似法、半对数法、切线法、两点法和面积法等。本次作业采用面积法求传递函数。 1.1面积法 ① 当系统的传递函数无零点时，即系统传递函数如下： G(S) = + ?11?1+?+ 1+1 (1-1) 系统的传递函数与微分方程存在着一一对应的关系，因此，可以通过求取 微分方程的系数来辨识系统的传递函数。在求得系统的放大倍数K后，要得到无 因次阶跃响应y(t)(设τ=0)，其中y(t)用下式描述： () ?1 () (1-2) 面积法原则上可以求出n为任意阶的个系数。以n为3为例。有： 3() 2() () {| →∞ =| →∞ =| →∞ = 0 (1-3) ()| →∞ = 1
2015高教社杯全国大学生数学建模竞赛 承诺书 我们仔细阅读了《全国大学生数学建模竞赛章程》和《全国大学生数学建模竞赛参赛规则》（以下简称为“竞赛章程和参赛规则”，可从全国大学生数学建模竞赛下载）。 我们完全明白，在竞赛开始后参赛队员不能以任何方式（包括、电子、网上咨询等）与队外的任何人（包括指导教师）研究、讨论与赛题有关的问题。 我们知道，抄袭别人的成果是违反竞赛章程和参赛规则的，如果引用别人的成果或其他公开的资料（包括网上查到的资料），必须按照规定的参考文献的表述方式在正文引用处和参考文献中明确列出。 我们重承诺，严格遵守竞赛章程和参赛规则，以保证竞赛的公正、公平性。如有违反竞赛章程和参赛规则的行为，我们将受到严肃处理。 我们授权全国大学生数学建模竞赛组委会，可将我们的论文以任何形式进行公开展示（包括进行网上公示，在书籍、期刊和其他媒体进行正式或非正式发表等）。 我们参赛选择的题号是（从A/B/C/D中选择一项填写）： A 我们的参赛报名号为（如果赛区设置报名号的话）： 所属学校（请填写完整的全名 参赛队员(打印并签名) ：1 2 指导教师或指导教师组负责人(打印并签名)：
（论文纸质版与电子版中的以上信息必须一致，只是电子版中无需签名。以上容请仔细核对，提交后将不再允许做任何修改。如填写错误，论文可能被取消评奖资格。） 日期：2015年7 月27 日赛区评阅编号（由赛区组委会评阅前进行编号）：
2015高教社杯全国大学生数学建模竞赛 编号专用页 赛区评阅编号（由赛区组委会评阅前进行编号）： 全国统一编号（由赛区组委会送交全国前编号）：全国评阅编号（由全国组委会评阅前进行编号）：
1请叙述系统辨识的基本原理（方框图），步骤以及基本方法 定义：系统辨识就是从对系统进行观察和测量所获得的信息重提取系统数学模型的一种理论和方法。 辨识定义：辨识有三个要素——数据、模型类和准则。辨识就是按照一个准则在一组模型类中选择一个与数据拟合得最好的模型 辨识的三大要素：输入输出数据、模型类、等价准则 基本原理： 步骤：对一种给定的辨识方法，从实验设计到获得最终模型，一般要经历如下一些步骤：根据辨识的目的，利用先验知识，初步确定模型结构；采集数据；然后进行模型参数和结构辨识；最后经过验证获得最终模型。 基本方法：根据数学模型的形式：非参数辨识——经典辨识，脉冲响应、阶跃响应、频率响应、相关分析、谱分析法。参数辨识——现代辨识方法（最小二乘法等） 2随机语言的描述 白噪声是最简单的随机过程，均值为零，谱密度为非零常数的平稳随机过程。 白噪声过程（一系列不相关的随机变量组成的理想化随机过程） 相关函数： 谱密度： 白噪声序列，白噪声序列是白噪声过程的离散形式。如果序列 满足： 相关函数： 则称为白噪声序列。 谱密度： M 序列是最长线性移位寄存器序列，是伪随机二位式序列的一种形式。 M 序列的循环周期 M 序列的可加性：所有M 序列都具有移位可加性 辨识输入信号要求具有白噪声的统计特性 M 序列具有近似的白噪声性质，即 M 序列“净扰动”小，幅度、周期、易控制，实现简单。 3两种噪声模型的形式是什么 第一种含噪声的被辨识系统数学模型0011()()()()n n i i i i y k a y k i b u k i v k ===-+-+∑∑，式中,噪声序列v(k)通常假定为均值为零独立同分布的平稳随机序列,且与输入的序列u(k)彼此统计独立. 上式写成：0 ()()()T y k k v k ψθ=+。其中，()()()()()()()=1212T k y k y k y k n u k u k u k n ψ------????L L ，，，，，，， ) ()(2τδστ=W R +∞ <<∞-=ωσω2)(W S )}({k W Λ,2,1,0,)(2±±==l l R l W δσ2)()(σωω== ∑ ∞-∞=-l l j W W e l R S ???≠=≈+=?0 , 00,Const )()(1)(0ττττT M dt t M t M T R bit )12(-=P P N
《热动力系统动态学》课程论文 题目：基于BP神经网络对电力系统负荷的预测控制学院：动力工程学院 专业：动力工程及工程热物理 姓名：赵乾学号：20091002055 指导教师：杨晨（教授） 成绩： 2010年7月30日
基于BP神经网络对电力系统负荷的预测控制摘要：电力系统的负荷曲线受很多因素的影响是一个非线性的函数，该文文献提出应用BP神经网络对电力负荷系统的预测控制，来抽取和逼近这种非线性函数。通过MATLAB仿真实验得到，对电力系统的短期负荷预测与实际负荷之间的误差很小，具有很好的应用前途。 关键词：BP神经网络，预测控制，电力负荷 引言 随着智能控制理论研究的不断深入及其在控制领域的广泛应用，神经网络[1]、遗传算法[2-3]模糊理论[4]等方法被应用于系统模型预测和辨识。其中，由于BP神经网络 (Back Propagation，BP)由于具有非线性逼近能力强，网络结构简单，学习速度快等优点已被广泛应用于对非线性系统的建立和预测。电力系统负荷的预测对电力系统和电厂设备的控制、运行和计划都有着重要的意义。电力系统负荷的变化一方面有未知不确定因素引起的随机波动，另一方面又具有周期变化的规律，使得负荷曲线具有相似性，而神经网络具有较强的非线性映射能力，能对负荷的变化具有很好预测性。 1.BP神经网络辨识理论基础 BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。1.1BP算法内容
、水平台法大鼠睡眠剥夺模型复制相关因素的研究与睡眠眠剥夺前相比,体重为190g±30g的大鼠睡眠剥夺1天后,其睡眠时间与睡眠时相,两者相比较无显著性差异；体重为190g±30g的大鼠睡眠剥夺3天后,其睡眠时间与睡眠时相,两者相比较有极显著性差异(P<0.01)；体重为190g±30g的大鼠睡眠剥夺5天后,其睡眠时间与睡眠时相,两者相比较有极显著性差异(P<0.01)；体重为250g±30g的大鼠睡眠剥夺1天后,其睡眠时间与睡眠时相,两者相比较无显著性差异；体重为250g-30g的大鼠睡眠剥夺3天后,其睡眠时间与睡眠时相，两者相比较有极显著性差异(P<0.01)；体重为250g±30g的大鼠睡眠剥夺5天后,其睡眠时间与睡眠时相,两者相比较有极显著性差异(P<0.01)；体重为310g±30g的大鼠睡眠剥夺1天后,其睡眠时间与睡眠时相,两者相比较无显著性差异：体重为310g±30g的大鼠睡眠剥夺3天后,其睡眠时间与睡眠时相,两者相比较有极显著性差异(P<0.01)；体重为310g±30g的大鼠睡眠剥夺5天后,其睡眠时间与睡眠时相,两者相比较有极显著性差异(P<0.01)。 实验动物的体重与睡眠剥夺时间对水平台法大鼠睡眠剥夺模型的复制有显著地影响。在Wistar大鼠、雄性、体重(250g±30g),连续睡眠剥夺3天的条件下复制的模型较为符合实验要求。
②体重变化：造模开始到结束,观察第0、3、5、8天大鼠体重变化,对照组大鼠体重增加,模型组和三个用药组体重呈现不同程度减轻,与对照组比较,其余四组在4个时间点的体重都有非常显著差异,但四个组之间体重无差异 慢性不完全性睡眠剥夺对幼鼠学习记忆能力 :1.长期REM睡眠剥夺可使大鼠体重明显减轻,失去正常的体重增长曲线。2.REM睡眠剥夺可使大鼠运动活性发生改变。短期和长期的REM睡眠剥夺均可使大鼠的运动活性增加,瘦素可导致长期REM睡眠剥夺大鼠的运动活性降低。3.REM睡眠剥夺与大鼠焦虑行为的变化呈时间相关性。短期REM睡眠剥夺对大鼠焦虑行为无明显影响,长期REM睡眠剥夺可导致大鼠焦虑行为显著减少,而瘦素可消除长期REM睡眠剥夺导致的大鼠焦虑行为减少,因此,瘦素可能参与了REM睡眠剥夺的抗焦虑作用。4.长期REM睡眠剥夺可导致大鼠下丘脑神经肽Y mRNA表达增加,瘦素可抑制大鼠下丘脑神经肽Y mRNA 的表达。同时这种改变与大鼠焦虑行为变化相关,表明瘦素表达的下降,进而导致神经肽Y表达的上调可能是睡眠剥夺导致抗焦虑作用的机制之一
系统辨识方学习总结 一．系统辨识的定义 关于系统辨识的定义，Zadeh是这样提出的：“系统辨识就是在输入和输出数据观 测的基础上，在指定的一组模型类中确定一个与所测系统等价的模型”。L.Ljung也给 “辨识即是按规定准则在一类模型中选择一个与数据拟合得最好的模型。出了一个定义： 二．系统描述的数学模型 按照系统分析的定义，数学模型可以分为时间域和频率域两种。经典控制理论中微 分方程和现代控制方法中的状态空间方程都是属于时域的范畴，离散模型中的差分方程 和离散状态空间方程也如此。一般在经典控制论中采用频域传递函数建模，而在现代控 制论中则采用时域状态空间方程建模。 三．系统辨识的步骤与内容 (1)先验知识与明确辨识目的 这一步为执行辨识任务提供尽可能多的信息。首先从各个方面尽量的了解待辨识的 系统，例如系统飞工作过程，运行条件，噪声的强弱及其性质，支配系统行为的机理等。 对辨识目的的了解，常能提供模型类型、模型精度和辨识方法的约束。 (2)试验设计 试验设计包括扰动信号的选择，采样方法和间隔的决定，采样区段（采样数据长度 的设计）以及辨识方式（离线、在线及开环、闭环等的考虑）等。主要涉及以下两个问 题，扰动信号的选择和采样方法和采样间隔 (3)模型结构的确定 模型类型和结构的选定是决定建立数学模型质量的关键性的一步，与建模的目的， 对所辨识系统的眼前知识的掌握程度密切相关。为了讨论模型和类型和结构的选择，引 入模型集合的概念，利用它来代替被识系统的所有可能的模型称为模型群。所谓模型结 构的选定，就是在指定的一类模型中，选择出具有一定结构参数的模型M。在单输入单 输出系统的情况下，系统模型结构就只是模型的阶次。当具有一定阶次的模型的所有参 数都确定时，就得到特定的系统模型M，这就是所需要的数学模型。 (4)模型参数的估计 参数模型的类型和结构选定以后，下一步是对模型中的未知参数进行估计，这个阶 段就称为模型参数估计。
毕业设计开题报告 电气工程与自动化 非线性Hammerstein模型的辨识 一、选题的背景与意义 系统辨识是是现代控制理论中的一个重要分支。通过辨识建立数学模型的目的是估计表征系统行为的重要参数，建立一个能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统输出的未来演变，以及控制器的设计。非线性系统辨识是系统辨识的一个重要的发展方向，一直是现代辨识领域中的一个主要课题，对其研究有十分重要的理论和实际意义。非线性问题的主要困难之一是一直缺乏描述各种非线性系统特性的统一的数学模型。为此，人们提出了多种类型的模型，如块联模型]1[、神经网络模型]2[、双线性模型]3[、非线性参数模型等等。 Hammerstein模型属于块联模型，由一个线性动态系统跟随一个非线性静态模块构成。自从Narendra& Gallman 1966年提出了Hammerstein模型后]4[，由于模型结构简单且能有效地描述常见的非线性动态系统特性，所以许多学者相继研究了Hammerstein模型参数的估计方法，近年来Hammerstein模型被广泛地应用于非线性系统辨识。辨识Hammerstein模型的意义在于：利用辨识结果获得中间层输出，选择合适的性能指标，就可以把原非线性系统的控制问题分解为线性模块的动态优化问题和非线性模块的静态求根问题，因此可以有效结合线性模型预测控制的成熟理论解决这类非线性对象的控制问题，避免传统非线性控制方法计算量大，收敛性和闭环稳定性不能得到保证等诸多问题。 二、研究的基本内容与模拟解决的主要问题： 针对Hammerstein模型的辨识问题，可以归结为线性模块的动态优化问题和非线性模块的静态求根问题。因此研究的重点就是如何运用比较新颖的优化算法得到Hammerstein模型的参数解集，并能通过和传统算法的比较论证阐述采用方法的合理性，可行性及有效性。具体需要解决的问题包括以下几点： 1.什么是Hammerstein模型，它的基本结构式怎么样的； 2.确定Hammerstein非线性系统辨识的思想和实现方法； 3.熟悉PSO/BFO优化算法和熟悉最小二乘法估计方法；
承诺书 我们仔细阅读了《全国大学生数学建模竞赛章程》和《全国大学生数学建模竞赛参赛规则》（以下简称为“竞赛章程和参赛规则”，可从全国大学生数学建模竞赛网站下载）。 我们完全明白，在竞赛开始后参赛队员不能以任何方式（包括电话、电子邮件、网上咨询等）与队外的任何人（包括指导教师）研究、讨论与赛题有关的问题。 我们知道，抄袭别人的成果是违反竞赛章程和参赛规则的，如果引用别人的成果或其他公开的资料（包括网上查到的资料），必须按照规定的参考文献的表述方式在正文引用处和参考文献中明确列出。 我们郑重承诺，严格遵守竞赛章程和参赛规则，以保证竞赛的公正、公平性。如有违反竞赛章程和参赛规则的行为，我们将受到严肃处理。 我们授权全国大学生数学建模竞赛组委会，可将我们的论文以任何形式进行公开展示（包括进行网上公示，在书籍、期刊和其他媒体进行正式或非正式发表等）。 我们参赛选择的题号是（从A/B/C/D中选择一项填写）： A 我们的参赛报名号为（如果赛区设置报名号的话）： 所属学校（请填写完整的全名 参赛队员(打印并签名) ：1 2 指导教师或指导教师组负责人(打印并签名)： （论文纸质版与电子版中的以上信息必须一致，只是电子版中无需签名。以上内容请仔细核对，提交后将不再允许做任何修改。如填写错误，论文可能被取消评奖资格。） 日期： 2015年 7 月 27 日赛区评阅编号（由赛区组委会评阅前进行编号）：
编号专用页 赛区评阅编号（由赛区组委会评阅前进行编号）： 赛区评阅记录（可供赛区评阅时使用）： 评 阅 人 评 分 备 注 全国统一编号（由赛区组委会送交全国前编号）： 全国评阅编号（由全国组委会评阅前进行编号）：
经典辨识方法报告 1. 面积法 辨识原理 分子多项式为1的系统 1 1 )(11 1++++= --s a s a s a s G n n n n Λ……………………………………………（） 由于系统的传递函数与微分方程存在着一一对应的关系，因此，可以通过求取微分方程的系数来辨识系统的传递函数。在求得系统的放大倍数K 后，要先得到无因次阶跃响应y(t)（设τ=0）。大多数自衡的工业过程对象的y(t)可以用下式描述来近似 1)() ()()(a 111=++++--t y dt t dy a dt t y d a dt t y d n n n n K ……………………………（） 面积法原则上可以求出n 为任意阶的各系数。以n=3为例，注意到 1|)(,0|)(d |)(d |)(d 23====∞→∞→∞→∞→t t t t t y dt t y dt t y dt t y …………………………（） 将式（）的y(t)项移至右边，在[0，t]上积分，得 ?-=++t dt t y t y a dt t dy a dt t y d a 01223 )](1[)() ()(…………………………………（） 定义 ?-=t dt t y t F 01)](1[)(……………………………………………………………（） 则由式（）给出的条件可知，在t →∞ ?∞ -=01)](1[a dt t y ……………………………………………………………（） 将式a 1y(t)移到等式右边，定义 )()]()([)() (a 201123 t F dt t y a t F t y a dt t dy t =-=+?…………………………………（） 利用初始条件（）当t →∞时 )(a 22∞=F …………………………………………………………………… （） 同理有a 3=F 3(∞) 以此类推，若n ≥2，有a n =F n (∞) 分子、分母分别为m 阶和n 阶多项式的系统
系统辨识研究的现状 徐小平1,王 峰2,胡 钢1 (1.西安理工大学自动化与信息工程学院 陕西西安 710048;2.西安交通大学理学院 陕西西安 710049) 摘 要:综述了系统辨识问题的研究进展,介绍了经典的系统辨识方法及其缺点,引出了将集员、多层递阶、神经网络、遗传算法、模糊逻辑、小波网络等知识应用于系统辨识得到的一些现代系统辨识方法,最后总结了系统辨识今后的发展方向。 关键词:系统辨识;集员;多层递阶;神经网络;遗传算法;模糊逻辑;小波网络 中图分类号:TP27 文献标识码:B 文章编号:1004-373X (2007)15-112-05 A Survey on System Identif ication XU Xiaoping 1,WAN G Feng 2,HU Gang 1 (1.School of Automation and Information Engineering ,Xi ′an University of Technology ,Xi ′an ,710048,China ; 2.School of Science ,Xi ′an Jiaotong University ,Xi ′an ,710049,China ) Abstract :In this paper the advance in the study of system identification is summarized.First ,the traditional system identi 2fication methods and their disadvantages are introduced.Then ,some new methods based on set membership ,multi -level re 2cursive ,neural network ,genetic algorithms ,f uzzy logic and wavelet network are presented.Finally ,f urther research directions of system identification are pointed out. K eywords :system identification ;set membership ;multi -level recursive ;neural network ;genetic algorithms ;f uzzy logic ;wavelet network 收稿日期:2007-04-16 基金项目:教育部博士学科基金(20060700007); 陕西省自然科学基金(2005F15)资助项目 1 引 言 辨识、状态估计和控制理论是现代控制理论三个互相渗透的领域。辨识和状态估计离不开控制理论的支持,控制理论的应用又几乎不能没有辨识和状态估计技术。随着控制过程复杂性的提高,控制理论的应用日益广泛,但其实际应用不能脱离被控对象的数学模型。然而在大多数情况下,被控对象的数学模型是不知道的,或者在正常运行期间模型的参数可能发生变化,因此利用控制理论去解决实际问题时,首先需要建立被控对象的数学模型。系统辨识正是适应这一需要而形成的,他是现代控制理论中一个很活跃的分支。社会科学和自然科学领域已经投入相当多的人力和物力去观察、研究有关的系统辨识问题。从1967年起,国际自动控制联合会(IFAC )每3年召开一次国际性的系统辨识与参数估计的讨论会。历届国际自动控制联合会的系统辨识会议均吸引了众多的有关学科的科学家和工程师们的积极参加。 系统辨识是建模的一种方法,不同的学科领域,对应 着不同的数学模型。从某种意义上来说,不同学科的发展过程就是建立他的数学模型的过程。1962年,L.A.Zadeh 给出辨识这样的定义[1]:“辨识就是在输入和输出数据的基础上,从一组给定的模型类中,确定一个与所测系统等价的模型。”当然按照Zadeh 的定义,寻找一个与实际过程完全等价的模型无疑是非常困难的。而从实用性观点出发,对模型的要求并非如此苛刻,为此,对辨识又有一些实用性的定义。比如,1974年,P.E.ykhoff 给出辨识的定义[2]为:“辨识问题可以归结为用一个模型来表示客观系统(或将要构造的系统)本质特征的一种演算,并用这个模型把对客观系统的理解表示成有用的形式。”1978年,L. Ljung 给辨识下的定义[3] 更加实用:“辨识有三个要素—数 据,模型类和准则。辨识就是按照一个准则在一组模型类中选择一个与数据拟合得最好的模型。”总而言之,辨识的实质就是从一组模型类中选择一个模型,按照某种准则,使之能最好地拟合所关心的实际过程的静态或动态特性。 本文首先介绍了经典的系统辨识方法,并指出其存在的缺陷,接着对近年来系统辨识的现代方法作以简单的综述,最后指出了系统辨识未来的发展方向。2 经典的系统辨识 经典的系统辨识方法[4-6]的发展已经比较成熟和完 2 11
系统辨识综述 张培硕研4班 摘要：本文主要介绍了系统辨识中的非线性系统辨识方法，包括多层递阶辨识方法，以及把神经网络、模糊逻辑、遗传算法等知识应用于非线性系统辨识而得到的一些新型辨识方法，最后概括了非线性系统辨识未来的发展方向。 关键词：非线性系统辨识；多层递阶；神经网络 1 引言 系统辨识作为现代控制论和信号处理的重要内容，是近几十年发展起来的一门学科，它研究的基本问题是如何通过运行(或实验)数据来建立控制与处理对象(或实验对象)的数学模型。因为系统的动态特性被认为必然表现在它变化着的输入/输出数据之中，辨识就是利用数学方法从数据序列中提炼出系统的数学模型。 从本质上说，系统辨识是一种优化问题，当前常用辨识算法的基本方法是通过建立系统的参数模型，把辨识问题转化为参数估计问题。这类算法能较好地解决线性系统或本质线性系统的辨识问题，但若要应用于本质非线性系统则比较困难。可是，真实世界中的模型都不是严格线性的，它们或多或少都表现出非线性特性，因此越来越多的非线性现象和非线性模型己经引起了人们广泛的重视。 非线性系统广泛的存在于人们的生产生活中，随着人类社会的发展进步，越来越多的非线性现象和非线性系统已经引起研究者们的广泛关注，混沌现象的发现被誉为“ 二十世纪三大发现之一” 。目前关于非线性理论的研究正处于发展阶段。建立描述非线性现象和非线性系统的模型是研究非线性问题的基础。线性系统辨识理论已经趋于成熟，但一般的线性模型实际上是某些非线性被忽略或用线性关系代替后得到的对真实系统的近似数学描述。随着科学技术的迅猛发展，控制系统越来越复杂，对控制精度的要求越来越高，具有复杂非线性的系统不能用线性模型来近似，所以研究非线性系统辨识理论有着很重要的实际意义。 对于非线性系统参数模型的辨识问题，人们最早涉及的是某些特殊类型的非线性系统，如双线性系统模型、Hammerstain 模型、Wiener 模型、非线性时间序列模型、输出仿射模型等。针对每一类特殊模型，各国学者都作了大量的工作，提出了不少辨识算法。同时，也对这些算法的估计一致性问题进行了讨论。随着人们对非线性系统辨识问题研究的日益深入，更为一般的普适性非线性模型的辨识问题就显得日益重要。常用的非线性系统描述方法有微分(或差分)法、泛函级数法、NARMAX 模型法及分块系统法等。一些学者已经对非线性系统辨识方法进行了某方面的综述。例如，1965 年Arnold 和Stark 讨论了正交展开方法在非线性系统辨识中的应用，1968 年Aleksandrovskii 和Deich及1977 年Hung 和Stark综述了核辨识算法，1989 年Titterington 和Kitsos总结了非线性试验设计的最新发展，并列举了十五个在化工领域中常遇到的非线性模型。 本文对近年来新的非线性系统的辨识方法作以简单的综述。
第38卷第8期 2017年8月 哈尔滨工程大学学报 Journal of Harbin Engineering University Vol.38 No. 8 Aug. 2017 实时环境下多目标的路径选择模型 陈海鹏1’2，刘陪1’2，申铉京1’2，王玉1，2’3 (1.吉林大学计算机科学与技术学院，吉林长春130012; 2.吉林大学符号计算与知识工程教育部重点实验室，吉林长春130012; 3.吉林大学应用技术学院，吉林长春130012) 摘要:针对出行者出行需求多样化的问题，本文从时间、费用角度出发，构建了实时环境下基于多目标的路径选择模型。采用加权求和函数对多维数据聚集得到组合权重，而权重系数可依据出行者需求或喜好设定。为验证模型的实用价值，在仿真环境下，多目标模型与基于几何距离最短的路径选择模型在时间、费用、距离等评价指标进行了对比。实验结果证明实时环境下基于多目标的路径选择模型更具有实用价值。 关键词：智能交通系统；动态路径诱导系统；多目标；路径选择模型；加权求和函数；组合优化；广义自适应A'■算法 D O I：10. 11990/jheu. 201604080 网络出版地址：http://www. cnki. net/kcms/detail/23. 1390. u.20170427. 1510. 076. html 中图分类号:TP399 文献标志码:A文章编号:1006-7043(2017)08-1285-08 Route choice model based on multi-objective in a real-time environment CHEN Haipeng1’2,LIU Pei1’2,SHEN Xuanjing1’2,WANG Yu1’2’3 (1. College of Computer Science and Technology, Jilin University, Changchun 130012, China；2. Key Laboratory of Symbolic Compu-tation and Knowledge Engineering of Ministry of Education, Jilin University, Changchun 130012, China；3. Applied Technology Col-lege ,Jilin University, Changchun 130012, China) Abstract ；In view of this situation,a route choice model based on multi-objective was constructed and considered from the angles of cost and time in this paper.The weighted sum method was used to aggregate multi-target data ob-jects to obtain the composite weight value,and the weight coefficient can be set based on travelersr needs or prefer-ences.To verify the practical value of the model,the multi-objective-based model was compared with the route choice model on the basis of the shortest geometric distance in terms of time,cost,and distance.Experimental results show that the path of the multi-objective optimal route choice mode has more practical value based on a real-time environ-ment. Keywords ：intelligent transportation system；dynamic route guidance system；multi objective;route choice models; weighted sum method;combinatorial optimizing；generalized adaptive A*algorithm 智倉旨交通系统（intelligent transportation system，ITS)是集信息、通信、控制及网络等技术于一体的综 合研究学科，可以提供全方位、实时、准确以及高效 的服务信息，ITS是有潜力的研究方向，进一步说将 成为未来相关研究领域的热点[1]。动态路径诱导 系统（dynamic route guidance system,DRGS)是 ITS 一个重要的分支，利用计算机、通信等现代技术，为 出行者提供实时交通信息以及最优路径。在DRGS 中，路径选择模型可以确立DRGS的目标m。 路径诱导模型分为静态模型和动态模型，静态 收稿日期=2016 -04 -26. 网络出版日期=2017 -04 -27.基金项目：国家青年科学基金项目（61305046);吉林省自然科学基金 项目（20140101193JC，20150101055JC) ? 作者简介:陈海鹏（1978 -)，男，副教授； 王玉（1983 _)，男，讲师. 通信作者 :王玉,E-mail ：wangyu001@ jlu. edu. cn.模型以假设出行者获知路网信息为前提，并以随机 期望效用理论或积累前景理论为基础。而动态模型 包含一些信息获取和学习的过程，以随机虚拟理论 或增强学习理论作为指导[3]。目前，在国内路径诱 导模型的研究主要还是集中在静态模型且取得了阶 段性的成果。基于期望效用理论的模型是在确定性 框架下，以几何路径或者出行时间为效用值，以期望 获得效用最大化评价各备选方案的优劣。孟梦等针 对不同的出行时间，提出了组合出行工具的路径选 择模型，以组合出行工具的模式下为出行者提供最 优路径[4]。刘艳秋等构建了交通堵塞下基于实时 交通信息的路径选择模型[5]。相反，积累前景理论 是不确定性情况下的决策行为，决策者以财富的变 化量而不是最终量作为参考依据进行决策[6]，针对 交通信息不确定的特性，诸多学者以积累前景理论
文献2：Model selection approaches for non-linear system identification: a review X. Hong, R.J. Mitchell, S. Chen, C.J. Harris, K. Li and G .W. Irwin. International Journal of Systems Science, 2008,39(10): 925–946 非线性系统辨识模型选择方法综述 摘要：近20年来基于有限观测数据集的非线性系统辨识方法的研究比较成熟。由于可利用现有线性学习算法，同时满足收敛条件，目前深入研究和广泛使用的非线性系统辨识方法是一类具有万能逼近能力的参数线性化非线性模型辨识（linear-in-the-parameters nonlinear model identification ）。本文综述了参数线性化的非线性模型选择方法。非线性系统辨识最基本问题是从观测数据中识别具有最好模型泛化性能的最小模型。综述了各种非线性系统辨识算法中实现良好模型泛化性的一些重要概念，包括贝叶斯参数正规化，基于交叉验证和实验设计的模型选择准则。机器学习的一个显著进步，被认为是确定的结构风险最小化原则为基础的内核模式，即支持向量机的发展。基于凸优化建模算法，包括支持向量回归算法，输入选择算法和在线系统辨识算法。 1 引言 控制工程学科的系统辨识，是指从测量数据建立系统/过程动态特性的数学描述，以便准确预测输入未来行为。系统辨识2个重要子问题：（1）确定描述系统输入和输出变量之间函数关系的模型结构；（2）估计选定或衍生模型结构范围内模型参数。最初自然的想法是使用输入输出观测值线性差分方程。早期研究集中在线性时不变系统，近期线性辨识研究考虑连续系统辨识、子空间辨识、变量误差法（errors-in-the-variable methods ）。 模型质量重要测度是未知过程逼近的拟合精度。由于大多数系统在某种程度上说都是非线性的，非线性模型通常要求满足合格的建模性能。定义非线性离散系统输入)(t u ，输出)(t y ，训练数据集合N D ={}N t t y t u 1)(),(=，基本目标是找到 )()),(()(t e t X f t y +=θ （1） )(?f 未知，θ相关参数向量，噪声)(t e ，通常假设方差（2σ）恒定，满足独立的同分布（i.i.d.）特 性。模型输入[]T e u y n t e t e n t u t u n t y t y t X )(),1(),(),1(),(),1()(------= 。y n ，u n ，e n 分别为输出、输入和噪声的延迟。方程式（1）是NARMAX 模型表达式，代表一大类非线性系统。 由于大多数工业过程满足光滑连续特性，非线性函数)(?f 辨识等价于函数逼近，即用f ?代替f 函数。为了逼近函数，用户选择各种非线性建模方法[1]，如分段线性模型、有理多项式模型、Hammerstein/Wiener 模型、投影寻踪回归（PPR ）和多项式自适应回归样条（MARS ）、周期神经网络。逼近论中，一种通用函数表示方法是非线性基函数的线性组合。具有参数线性化结构、表示非线性输入输出关系模型表达式 ∑==m i i i t X t X f 1))(()),((?θφθ （2） ((t X i φ为已知非线性基函数映射，例如RBF 或者B 样条函数，i θ未知参数，m 模型中基函数个 数。参数线性化模型具有适合自适应学习的良好结构，具有可证明的学习和收敛条件，具备并行处理能力，明确的工程应用[2]。然而，非线性系统辨识中仍然存在一些重大挑战和障碍： （1）模型的泛化性 采用有限数据辨识模型，不仅要求模型训练精度较好，同样要求模型测试精度良好。由于)(?f 未知，
收稿日期:2009 09 27;修回日期:2009 11 02 基金项目:国家自然科学基金资助项目(20079862);国家教育部博士点基金资助项目(20040699025);2009年度浙江省教育厅科研项目研究课题;2010年度浙江省社科联研究课题和2010年度衢州市社科规划课题 作者简介:余燕芳(1976 ),女,浙江衢州人,讲师,主要研究方向为计算机信息安全与智能化信息处理等(yuyanfang2008@126.co m );陆军(1975 ),男,湖南长沙人,副教授,博士,主要研究方向为人工智能、计算机应用. 基于动态交通仿真模型的最优路径选择方法 * 余燕芳1,2 ,陆 军 2 (1.衢州广播电视大学,浙江衢州324000;2.国防科学技术大学计算机学院,长沙410073) 摘 要:采用动态交通仿真模型I NTEGRATI O N 搭建了动态交通仿真平台,应用组件式蚁群算法来求解动态交 通信息诱导下的最优路径选择问题。实例表明,基于动态交通仿真模型的最优路径选择方法是可行的、正确的和有效的。该方法易于理解和使用,具有很强的可重用性和可扩展性,为求解各类优化问题提供了可持续发展的框架。 关键词:动态交通仿真;组件式蚁群算法;最优路径选择中图分类号:U 491 1 文献标志码:A 文章编号:1001 3695(2010)05 1662 03 do:i 10.3969/.j i ssn .1001 3695.2010.05.014 Shortest path se l ecti on approach based on dyna m i c traffic si m u l ati on m odels YU Y an fang 1,2,LU Jun 2 (1.Quzh ou Rad i o &TV Un i versit y,Quzh ou Zheji ang 324000,C hina;2.C oll ege of Co mpu te rs ,N ationa l University of De fense T ec hnology , Chang sha 410073,Ch i na ) Abstract :Constructed dynam ic traffic sm i u l ati on s ystem by usi ng the dynam ic traffic m odel I NTEGRATI ON.Tack l ed the s hortest pat h sel ection w it h dynam ic traffic i n f or m ati on by t he component based ant colony optm i i zati on .The sm i u l ati on exa m ple s uggests that t he shortest path selecti on approach based on dyna m ic traffic sm i u lati on m odel s i s feasi ble ,correct and effecti ve .This proposed approach is very easy to understand and use ,it has the robust reusage and expansi b ility ;i ndeed provi de an excel lent fra m ework that can continuall y m i prove f or solvi ng d ifferent optm i izati on proble m s .Key words :dyna m ic traffic sm i u lati on ;co m ponent based ant col ony algorith m (C ACA);shortest path selection 随着机动车拥有量急剧增长而带来的交通拥堵、交通事故增多和环境污染加剧等交通问题,越来越成为影响城市正常功能发挥和城市可持续发展的重大难题。事实和经验证明,城市交通拥堵等问题仅仅依靠交通基础设施的建设是不能完全解决的。造成城市交通拥堵等问题的原因不仅是交通供给不能满足交通需求所产生的供需矛盾,而且现有交通系统的运行效率未得到充分利用,由交通网络效率浪费带来的交通问题同样严重。目前,对交通信息条件下的路径选择行为的研究主要基于意向调查和模拟仿真等方法。这些研究多局限于不同交通信息措施对驾驶员路径选择决策本身影响的研究,或通过虚拟路网简单研究交通信息下路径选择对路网运行状况的影响,而较少结合实际交通网络分析交通信息下路径选择对整个路网运行状态的影响,从而对信息策略与实施措施的制定和决策过程提供不了紧密联系实际路网交通状况的理论与技术支撑。鉴于上述背景,提出了一种基于动态交通仿真模型的最优路径选择方法。 应用蚁群算法(ant co lony algor i th m,A CA )求解交通优化问题是近年来研究的新方向[1]。蚁群算法[2]是一种源于自然界中生物世界的新的仿生类随机型搜索算法,通过其内在的搜索机制,已在一系列困难的组合优化问题求解中取得了成效。蚁群算法已经在求解旅行商问题[3]、二次分配问题[4]和车间作业调度问题[5]中取得了非常理想的结果。同时,为了克服基 本蚁群算法的不足,人们对其进行了各种改进,以期提高搜索效率,避免过早停滞。其中主要有D origo 等人[6]提出的An t Q Syste m 、Stutzle 等人[7]提出的MM AS 和G a m bardell a 等人[8]提出的HA S 等。尽管蚁群算法在相当广阔的领域内均取得了很大的成功,但现有方法仅从蚁群算法的基本结构出发设计软件,很难用来求解不同种类的问题。研究者还经常需要尝试使用不同的状态转移规则、信息素更新及参数调整策略来改进算法性能。如果没有一个好的软件结构实现关注分离,任何小的变化都有可能影响到整个软件结构,给算法的调整带来困难。鉴于此,提出了一种组件式蚁群算法(CACA )。为了提高算法的可理解性、可重用性和可扩展性,CACA 强调以接口为中心的设计理念,在结构上直接反映蚁群的本质思想和关键概念,最大程度降低与问题的相关性。 仿真优化方法研究的是基于仿真的目标优化问题,基于模型仿真给出的输出量通过优化算法得到最佳的优化结果。由于实际交通系统的复杂性及其本身的随机性,最短路径的合理规划问题需要使用仿真优化方法来解决。本文研究的总体思路如图1所示。 1 动态交通仿真模型 本章主要研究了动态交通仿真模型的构建与标定方法,搭建了实例动态交通仿真平台。动态交通仿真的基本原理是:对 第27卷第5期2010年5月 计算机应用研究Application R esearc h of C o m puters V o.l 27N o .5 M ay 2010