下载文档原格式
非线性系统参数识别及其应用研究
非线性系统是指其输出与输入不成比例的系统，这类系统广泛存在于各个领域中，如电力、机械、工业自动化等。
非线性系统的复杂性给系统参数识别带来了挑战。
因此，非线性系统参数识别一直是研究者们关注的问题之一。
非线性系统参数识别的目的是根据给定的数据序列，得到系统的参数估计值。
目前，常用的非线性系统参数识别方法包括最小二乘法、遗传算法等。
其中最小二乘法是一种广泛应用的参数估计方法，可以有效地解决非线性系统参数识别问题。
最小二乘法是基于误差平方和最小化的思想，通过求解目标函数的极值，得到系统参数估计值。
然而，最小二乘法在应用中存在一些问题，例如无法应对系统输出噪声、难以处理周期性信号等。
为了解决这些问题，近年来出现了一系列改进的非线性系统参数识别方法，如粒子群算法、RNA与ANN网络及其混合模型等。
这些方法在准确性与鲁棒性方面均有所提升，并逐渐得到广泛应用。
以机械领域为例，非线性系统参数识别的应用也广泛。
例如，通过参数识别，可以得到机械臂的动力学模型，从而实现精确控制。
另外，在机械设备维护领域，参数识别也可以通过监测信号变化，及时判断设备的健康状况，并进行相应的维护与修复。
总之，非线性系统参数识别是一个重要的研究方向，它有着广泛的应用前景。
随着相关算法的发展和改进，非线性系统参数识别的准确度和鲁棒性将会进一步提高，为各个领域的应用提供更好的技术支持。
控制系统设计中的模型鉴别方法综述在控制系统设计中，模型鉴别方法是一项关键性工作。
模型鉴别方法可以帮助工程师准确地识别出待控系统的数学模型，为后续的控制器设计和性能优化提供基础。
本文将对控制系统设计中常用的模型鉴别方法进行综述。
一、最小二乘法最小二乘法是一种常见的模型鉴别方法，它通过最小化误差的平方和来拟合实际测量数据和理论模型之间的差异。
最小二乘法可以用于线性和非线性模型的鉴别。
对于线性模型，最小二乘法可以通过矩阵运算求解最优解。
而对于非线性模型，最小二乘法可以通过迭代优化算法求解。
二、频域方法频域方法是一种将系统响应与频率特性相关联的模型鉴别方法。
它通常基于输入和输出信号的频谱分析，可以用于连续时间和离散时间系统。
频域方法可以采用傅里叶变换、拉普拉斯变换等数学工具，通过求解传递函数或频率响应函数来获得系统模型。
频域方法适用于具有周期性输入和输出信号的系统。
三、时域方法时域方法是一种将系统响应与时间域特性相关联的模型鉴别方法。
它通常基于实际采集到的离散时间数据，通过插值、拟合等技术来获得离散时间系统的模型。
时域方法可以采用多项式插值、曲线拟合等数学工具，通过建立系统差分方程或状态空间模型来进行模型鉴别。
时域方法适用于实际工程中获得的离散时间数据。
四、系统辨识方法系统辨识方法是一种通过试验数据来识别系统动态特性的模型鉴别方法。
它可以通过对系统施加特定的输入信号，观测系统输出响应来获得系统模型。
系统辨识方法可以分为参数辨识和非参数辨识两种方法。
参数辨识方法假设系统具有某种结构，通过最小化残差的平方和来确定模型参数。
非参数辨识方法不对系统结构进行假设，通过直接拟合试验数据来获得系统模型。
五、神经网络方法神经网络方法是一种基于人工神经网络的模型鉴别方法。
它可以通过输入输出数据训练神经网络，从而获得系统的模型。
神经网络方法可以适用于非线性系统的建模和鉴别。
神经网络方法具有较强的自适应能力和非线性拟合能力，但对于网络结构和训练样本的选择具有一定的要求。
非线性系统系统辨识与控制研究引言：非线性系统是指系统在其输入与输出之间的关系不符合线性关系的系统。
这种系统具有复杂的动态行为和非线性特性，使得其辨识与控制变得非常具有挑战性。
然而，非线性系统在现实生活中的应用非常广泛，例如电力系统、机械系统和生物系统等。
因此，对非线性系统的系统辨识与控制研究具有重要意义。
一、非线性系统辨识方法研究1. 仿射变换法仿射变换法是一种常用的非线性系统辨识方法之一。
它通过将非线性系统进行仿射变换，将其转化为线性系统的形式，从而利用线性系统辨识的方法进行处理。
该方法适用于具有输入输出非线性关系的系统，但对于参数模型的选择和计算量较大的问题需要进一步研究。
2. 基于神经网络的方法神经网络作为一种强大的表达非线性关系的工具，被广泛应用于非线性系统辨识。
基于神经网络的方法可以通过训练神经网络模型，从大量的输入输出数据中学习非线性系统的映射关系。
该方法的优点是可以逼近任意非线性函数，但对于网络结构的选择和训练过程中的收敛性等问题还需深入研究。
3. 基于系统辨识方法的非线性系统辨识传统的系统辨识方法主要适用于线性系统的辨识，但其在非线性系统辨识中也有应用的价值。
通过对非线性系统进行线性化处理，可以将其转化为线性系统的辨识问题。
同时，利用最小二乘法、频域法等常用的系统辨识方法对线性化后的系统进行辨识。
这种方法的优势在于利用了线性系统辨识的经验和技术，但对于线性化的准确性和辨识结果的合理性需要进行评估。
二、非线性系统控制方法研究1. 反馈线性化控制反馈线性化是一种常用的非线性系统控制方法。
该方法通过在非线性系统中引入反馈控制器，将非线性系统转化为可控性的线性系统。
然后，利用线性系统控制方法设计控制器，并通过反馈线性化控制策略实现对非线性系统的控制。
该方法的优点在于简化了非线性系统控制的设计和分析过程，但对于系统的稳定性和性能等问题还需要进行进一步的研究。
2. 自适应控制自适应控制是一种针对非线性系统的适应性控制方法。
非线性系统辨识方法综述系统辨识属于现代控制工程范畴，是以研究建立一个系统的数学模型的技术方法。
分析法和实验法是主要的数学模型建立方法。
系统辨是一种实验建立数学模型的方法，可实时建模，满足不同模型建立的需求。
L.A.Zadeh于1962年提出系统辨识的定义：在输入、输出的基础上，确定一个在一定条件下与所观测系统相等的系统。
系统辨识技术主要由系统的结构辨识和系统的参数估计两部分组成。
系统的数学表达式的形式称之为系统的结构。
对SISO系统而言，系统的阶次为系统的机构；对多变量线性系统而言，模型结构就是系统的能控性结构指数或能观性结构指数。
但实际应用中难以找到与现有系统等价的模型。
因此，系统辨识从实际的角度看是选择一个最好的能拟合实际系统输入输出特性的模型。
本文介绍一些新型的系统辨识方法，体现新型方法的优势，最后得出结论。
二、基于神经网络的非线性系统辨识方法近年来，人工神经网络得到了广泛的应用，尤其是在模式识别、机器学习、智能计算和数据挖掘方面。
人工神经网络具有较好的非线性计算能力、并行计算处理能力和自适应能力，这为非线性系统的辨识提供了新的解决方法。
结合神经网络的系统辨识法被用于各领域的研究，并不断提出改进型方法，取得了较好的进展。
如刘通等人使用了径向基函数神经网络对伺服电机进行了辨识，使用了梯度下降方法进行训练，确定系统参数；张济民等人对摆式列车倾摆控制系统进行了改进，使用BP神经对倾摆控制系统进行辨识；崔文峰等人将最小二乘法与传统人工神经网络结合，改善了移动机器人CyCab的运行系统。
与传统的系统识别方法相比较，人工神经网络具有较多优点：（一）使用神经元之间相连接的权值使得系统的输出可以逐渐进行调整；（二）可以辨识非线性系统，这种辨识方法是络自身来进行，无需编程；（三）无需对系统建行数模，因为神经网络的参数已都反映在内部；（四）神经网络的独立性强，它采用的学习算法是它收敛速度的唯一影响因素；（五）神经网络也适用于在线计算机控制。
一种新型的非线性系统模型参数辨识方法耿永刚【摘要】针对传统模型参数辨识方法和遗传算法用于模型参数辨识时的缺点,提出了一种基于微粒群优化(PSO)算法的模型参数辨识方法,利用PSO算法强大的优化能力,通过对算法的改进,将过程模型的每个参数作为微粒群体中的一个微粒,利用微粒群体在参数空间进行高效并行的搜索来获得过程模型的最佳参数值,可有效提高参数辨识的精度和效率.【期刊名称】《微型机与应用》【年(卷),期】2010(029)017【总页数】4页(P74-76,80)【关键词】微粒群算法;非线性系统;参数辨识【作者】耿永刚【作者单位】常州机电职业技术学院,江苏,常州,213164【正文语种】中文【中图分类】TP18非线性模型参数估计是控制领域研究的重要问题。
目前已有许多成熟的系统辨识和参数估计方法，如最小二乘法[1]、极大似然估计法[2]、神经网络用于参数辨识法[3]、遗传算法[4-5]等。
但是最小二乘法和极大似然估计法都是基于过程梯度信息的辨识方法，其前提是可微的代价函数、性能指标和平滑的搜索空间。
但在实际应用中，由于获得的数据含有噪声或所辨识的系统非连续，使得这一条件难以满足；利用神经网络进行系统参数辨识虽然具有以任意精度逼近非线性函数的能力，但是在实际应用中，只有选择了合适的网络结构，才能获得好的结果，但选择合适的网络结构往往是非常困难的；利用遗传算法特有的复制、交叉和变异功能以及群体寻优的方式来克服陷入局部最优解，可获得较好的模型参数估计，但是遗传算法需涉及到繁琐的编码、解码过程以及较大的计算量，而且整个种群是比较均匀地向最优解区域移动，因此其搜索效率不高。
由Kennedy等人提出的微粒群(PSO)算法[6-13]是一种有效的随机全局优化技术，已经被证明是一种很好的优化方法。
PSO算法对优化目标函数形式没有特殊要求，而且没有遗传算法中的交叉、变异算子，各个算子根据自己的速度来搜索，整个搜索过程跟随当前最优解进行。
(LSE —SVD)，仅需假设输入为持续激励，并可获得在有噪声情况下系统的有效辨识，但这种算法只在被控对象可无误差的分解为非线性和线性环节且非线性部分的基先验已知时，且最小二乘所得参数矩阵的秩为l ，才能保证辨识误差在额定范围内，否则辨识误差将受到参数矩阵其他特征值干扰，无法保证辨识落入允许范围；第四类是参]5[数过度化法，是使Hamerstein 系统过度参数化，从而在未知参数下过度参数化的系]7,6[统就线性化了，然后就可以使用线性估计算法进行辨识，这种方法的难点在于所得到的线性系统维数可能很大，因此系统的收敛性和鲁棒性就可能成问题；第五类子空间辨识法，通常适用于多输入、多输出的非线性系统的辨识。
]9,8[在近年来的研究中，基于群集智能方法的发展，越来越多演化计算技术被应用到复杂系统辨识当中。
如蚁群算法（ACO ），粒子群优化（PSO ）算法和细菌觅食（BFO ）优化算法等在Hammerstein 模型的辨识中得到了广泛的发展和应用，其理论也在不断地改进和完善。
下面简要介绍下粒子群优化（PSO ）算法和细菌觅食（BFO ）优化算法。
1. 粒子群优化PSO 算法1995年，Kennedy 和Eberhar 提出一种较为新颖的优化算法—— 粒子群优化算]11,10[法(ParticleSwarm Optimization ，PSO)。
该算法与蚁群算法(AntColony Optimization ，ACO)相似，也是一种基于群体智能(Swarm Intelligence ，SI)的优化算法，即模拟鸟群觅食的过程，而其功能与遗传算法(Genetic Algorithm ，GA)非常相似。
PSO 优化算法起源于对简单社会系统的模拟，PSO 算法是一种有效的解决优化问题的群集智能算法，它的突出特点是算法中需要选择的参数少，程序实现简单，并在种群数量、寻优速度等方面较其他进化算法具有一定的优势，尤其是在高噪信比情况下，也收到较满意的结果。
系统辨识综述张培硕研4班摘要：本文主要介绍了系统辨识中的非线性系统辨识方法，包括多层递阶辨识方法，以及把神经网络、模糊逻辑、遗传算法等知识应用于非线性系统辨识而得到的一些新型辨识方法，最后概括了非线性系统辨识未来的发展方向。
关键词：非线性系统辨识；多层递阶；神经网络1 引言系统辨识作为现代控制论和信号处理的重要内容，是近几十年发展起来的一门学科，它研究的基本问题是如何通过运行(或实验)数据来建立控制与处理对象(或实验对象)的数学模型。
因为系统的动态特性被认为必然表现在它变化着的输入/输出数据之中，辨识就是利用数学方法从数据序列中提炼出系统的数学模型。
从本质上说，系统辨识是一种优化问题，当前常用辨识算法的基本方法是通过建立系统的参数模型，把辨识问题转化为参数估计问题。
这类算法能较好地解决线性系统或本质线性系统的辨识问题，但若要应用于本质非线性系统则比较困难。
可是，真实世界中的模型都不是严格线性的，它们或多或少都表现出非线性特性，因此越来越多的非线性现象和非线性模型己经引起了人们广泛的重视。
非线性系统广泛的存在于人们的生产生活中，随着人类社会的发展进步，越来越多的非线性现象和非线性系统已经引起研究者们的广泛关注，混沌现象的发现被誉为“ 二十世纪三大发现之一” 。
目前关于非线性理论的研究正处于发展阶段。
建立描述非线性现象和非线性系统的模型是研究非线性问题的基础。
线性系统辨识理论已经趋于成熟，但一般的线性模型实际上是某些非线性被忽略或用线性关系代替后得到的对真实系统的近似数学描述。
随着科学技术的迅猛发展，控制系统越来越复杂，对控制精度的要求越来越高，具有复杂非线性的系统不能用线性模型来近似，所以研究非线性系统辨识理论有着很重要的实际意义。
对于非线性系统参数模型的辨识问题，人们最早涉及的是某些特殊类型的非线性系统，如双线性系统模型、Hammerstain 模型、Wiener 模型、非线性时间序列模型、输出仿射模型等。
非线性控制系统中的系统识别和建模随着科技的不断进步，非线性控制系统的应用越来越广泛，成为控制领域的核心技术之一。
而非线性控制系统的有效设计与实现，必然离不开系统识别和建模的支持。
系统识别和建模是非线性控制系统的基础，为系统的稳定性和性能提供了重要保障。
本文将从系统识别和建模两个角度，分析在非线性控制系统中，系统识别和建模的基本方法和实现技术。
一、系统识别非线性控制系统是由多个非线性子系统组成的复杂系统。
在实际应用过程中，如何准确地识别各个子系统，以便更好地控制整个系统，是非线性控制系统设计中的关键问题。
基础方法系统识别是指根据系统输入输出的数据，确定系统特性、结构和参数的一种方法。
基础方法包括参数估计方法、参数辨识方法和模型结构识别方法等。
其中参数估计方法是使用已知的输入输出数据，根据参数化的模型，用最小二乘法等算法求解模型参数的方法。
参数估计方法通常用于确定一般的线性或非线性系统模型的参数。
而参数辨识方法则是通过试验的方式，生成数据，并利用模型将试验数据与模拟数据进行比较，从而确定模型参数的方法。
参数辨识方法主要应用于非线性系统和非稳定系统的建模。
模型结构识别方法则是主要以模型拟合误差为指标，通过尝试各种可能的模型结构，寻找最优模型结构的方法。
模型结构识别方法与参数估计和参数辨识方法不同，它并不是直接求解模型的参数，而是综合考虑系统输入输出的特性，对模型结构进行优化。
实现技术对于非线性控制系统，其系统识别需要通过大量的实验数据进行，因而实现技术显得尤为重要。
系统识别的实现技术可分为离散和连续两种。
离散方法通常基于传统的离散算法和时间序列分析技术，通过获取系统输入输出数据序列，进行系统信号处理和统计计算，得到模型参数。
而连续方法则主要应用连续算法和运动估计技术，以连续时间信号为基础，对系统的动态特性进行分析，提取信息。
此外，随着人工智能技术的不断发展，人工智能在系统识别中的应用也越来越普遍。
人工智能主要应用于非线性系统和高维系统的建模，通过机器学习和深度学习等技术，从大量数据中提取出变量关系和规律特征，最终得到一个优化的模型。
文献2：Model selection approaches for non-linear system identification: a reviewX. Hong, R.J. Mitchell, S. Chen, C.J. Harris, K. Li and G.W. Irwin. International Journal of Systems Science, 2008,39(10): 925–946非线性系统辨识模型选择方法综述摘要：近20年来基于有限观测数据集的非线性系统辨识方法的研究比较成熟。
由于可利用现有线性学习算法，同时满足收敛条件，目前深入研究和广泛使用的非线性系统辨识方法是一类具有万能逼近能力的参数线性化非线性模型辨识（linear-in-the-parameters nonlinear model identification ）。
本文综述了参数线性化的非线性模型选择方法。
非线性系统辨识最基本问题是从观测数据中识别具有最好模型泛化性能的最小模型。
综述了各种非线性系统辨识算法中实现良好模型泛化性的一些重要概念，包括贝叶斯参数正规化，基于交叉验证和实验设计的模型选择准则。
机器学习的一个显著进步，被认为是确定的结构风险最小化原则为基础的内核模式，即支持向量机的发展。
基于凸优化建模算法，包括支持向量回归算法，输入选择算法和在线系统辨识算法。
1 引言控制工程学科的系统辨识，是指从测量数据建立系统/过程动态特性的数学描述，以便准确预测输入未来行为。
系统辨识2个重要子问题：（1）确定描述系统输入和输出变量之间函数关系的模型结构；（2）估计选定或衍生模型结构范围内模型参数。
最初自然的想法是使用输入输出观测值线性差分方程。
早期研究集中在线性时不变系统，近期线性辨识研究考虑连续系统辨识、子空间辨识、变量误差法（errors-in-the-variable methods ）。
模型质量重要测度是未知过程逼近的拟合精度。
由于大多数系统在某种程度上说都是非线性的，非线性模型通常要求满足合格的建模性能。
定义非线性离散系统输入)(t u ，输出)(t y ，训练数据集合N D ={}Nt t y t u 1)(),(=，基本目标是找到 )()),(()(t e t X f t y +=θ （1）)(⋅f 未知，θ相关参数向量，噪声)(t e ，通常假设方差（2σ）恒定，满足独立的同分布（i.i.d.）特性。
模型输入[]T e u y n t e t e n t u t u n t y t y t X )(),1(),(),1(),(),1()(------= 。
y n ，u n ，e n 分别为输出、输入和噪声的延迟。
方程式（1）是NARMAX 模型表达式，代表一大类非线性系统。
由于大多数工业过程满足光滑连续特性，非线性函数)(⋅f 辨识等价于函数逼近，即用fˆ代替f 函数。
为了逼近函数，用户选择各种非线性建模方法[1]，如分段线性模型、有理多项式模型、Hammerstein/Wiener 模型、投影寻踪回归（PPR ）和多项式自适应回归样条（MARS ）、周期神经网络。
逼近论中，一种通用函数表示方法是非线性基函数的线性组合。
具有参数线性化结构、表示非线性输入输出关系模型表达式∑==m i ii t X t X f 1))(()),((ˆθφθ （2）))((t X i φ为已知非线性基函数映射，例如RBF 或者B 样条函数，i θ未知参数，m 模型中基函数个数。
参数线性化模型具有适合自适应学习的良好结构，具有可证明的学习和收敛条件，具备并行处理能力，明确的工程应用[2]。
然而，非线性系统辨识中仍然存在一些重大挑战和障碍：（1）模型的泛化性采用有限数据辨识模型，不仅要求模型训练精度较好，同样要求模型测试精度良好。
由于)(⋅f 未知，选用)(t y 作为训练模型)(ˆt f的逼近目标。
随着模型复杂程度的增加，逼近目标)(t y 的建模精度增加。
其结果是，如果过分追求模型精度，发生)(t y 中噪声过拟合现象。
如何界定和获取模型的泛化能力对所有机器学习来说都是至关重要的。
（2）模型的解释性模型经常用来解释它代表的过程属性，并提取系统潜在知识。
线性系统许多好的属性并不适用于非线性模型。
比如，时域和频域之间模型描述的可交换性。
线性模型的参数通常与系统的物理特性相关。
由于非线性本质和高阶模型复杂性，非线性模型很难解释系统的结构特性，除非建模者在建模过程中具有先验知识。
（3）维数灾难参数个数过多与模型数据集有关。
构建模型过程中，模型参数的数量与数据集的规模相比很容易过剩。
一个过多参数的模型是病态的，参数无法精确估计，导致模型泛化能力较差。
线性模型为保证张成输入空间的回归矩阵非奇异特性，PE 通常由输入信号设计获得。
非线性模型为保证回归矩阵非奇异特性，需要设计输入信号和回归矩阵。
（4）计算复杂性数据维数过高是计算复杂性过高的根源。
非线性系统辨识的本质是一个棘手的问题。
对于实际应用而言，希望采用高效的非线性系统识别算法。
算法设计要求集成系统理论、统计、优化理论、智能学习和线性代数的新型计算工程。
（5）输入选择许多非线性模型随着输入维数（x ）的增加，模型的大小以指数速度成倍增加。
输入项过多，通过输入设定不正确或或过参数化，引起模型性能恶化。
对于实际系统输出，如果模型中存在一些输入变量，另一些输入变量可能是冗余的或变得不重要了。
输入选择作为预处理步骤，大大改善系统性能和模型可解释性。
然而，最优输入选择通常是一个棘手问题，有效输入选择算法通常是许多模式识别领域重要因素。
（6）鲁棒性和噪声抑制线性辨识方法的鲁棒性和噪声抑制技术很成熟。
传统线性辨识方法假设系统线性时不变，通常具有高斯噪声。
然而，大多数实际动态系统是复杂的，非线性、非稳态、随机和部分未知。
传统学习算法在应用到实际系统时，通常具有局限性。
为了改善模型鲁棒性和噪声抑制性能，有必要研究非线性、非高斯过程辨识方法。
（7）在线非线性系统辨识在许多应用中，当数据样本连续可用时，模型用于实时操作。
在线系统辨识算法计算优势在于模型在新样本到来时不断更新，而不是从零开始重学。
在线学习概念在智能系统系统是一个重要概念，因为人类自然学习方式是基于先验知识逐步建立后验知识。
线性迭代辨识算法更新的是固定模型结构的模型参数，在需要更新模型结构时可能存在一定局限性。
基于变结构和具有高效计算能力的稀疏模型的在线估计算法是当前重要研究领域。
2 模型的泛化性2.1 参数正则化（Parameter regularisation ）模型泛化性定义：对新输入数据，模型逼近真实系统输出的能力。
参数正则化技术是一个改善模型泛化能力的主要工具。
模型参数估计对模型泛化能力的影响可以通过一个参数估计器的MSE （均方误差）来分析。
它可以作为模型泛化能力的测量。
一种改善模型泛化能力的方法是偏差和方差折中。
()()⎥⎦⎤⎢⎣⎡--θθθθˆˆT E =()()2ˆˆθθbias Var + （3）()()∑==⎥⎦⎤⎢⎣⎡--m i i LS T LS E 121ˆˆλσθθθθ0min 21max >=≥≥≥=λλλλλm （4）由于常规最小二乘方法估计参数MSE 存在病态条件，min λ很小时导致参数LSθˆ的MSE 很大。
[][]θμθθθT T R y y J +Φ-Φ-= []y T T R Φ+ΦΦ=-1ˆμθ （5）μ为正则参数。
正则化或岭回归是简单有效的获取偏差/方差折中的方法。
正则化参数估计器等效于贝叶斯方法中参数的最大后验概率密度函数MAP （maximum a posteriori pdf ）。
该方法的一个潜在问题是优化过程中如何确定正则参数μ。
非线性系统辨识一个非常有前景的方法是最小二乘支持向量机LSSVM （least squares support vector machine ）3，核特征空间范数参数正则化的应用。
系统辨识简化为一个优化问题。
运用不同目标函数，在模型适配和结构/参数约束之间权衡折中，产生不同的模型。
模型选择准则，用于判别不同模型之间的泛化能力。
2.2 模型选择准则2.2.1 基于交叉验证的模型选择准则统计学习和非线性系统辨识中，模型泛化能力的信息理论测度至关重要。
评价模型泛化能力的基本概念之一是交叉验证。
模型选择准则用作模型对未来数据的预报性能或者与其它有竞争力的模型相比评估模型质量。
假设（2）式系统模型，参数为T m ]ˆ,,ˆ,ˆ[ˆ21θθθθ =，令2ˆσ为2σ的估计。
则数据集的均方误差估计为：211]ˆ)(()([)ˆ(∑∑==-=Nt i m i i t x t y SSE θφθ。
不同的模型选择标准如下： 2ˆ()2ˆp SSE C m N θσ=+- ⎪⎭⎫ ⎝⎛-+⋅=m N m N N SSE FPE )ˆ(θ m N SSE N AIC 2)ˆ(log +⎪⎪⎭⎫ ⎝⎛=θ ⎪⎭⎫ ⎝⎛+=N m PRESS 21ˆ2σ 为了说明如何获得这些模型选择准则，考虑一种最常用的交叉验证法——留一验证法。
其主要思路为对于任何一个预测器，数据集D N 中的每一个数据点轮流被选出，用其余的N-1个数据点估计模型，计算选出点的预测误差。
方便起见，)(ˆ)(i y-用来表示模型（1）中输入量)(i x 的输出，用留一法估计数据集)}(),({\i y i x D N ，)(ˆ)(i y-的误差如下：)(ˆ)()()()(i y i y i ---=ξ.留一验证法的均方差为])([2)(i E -ξ，用来度量模型的泛化能力。
留一误差可以用最小方差估计线性参数化模型（2）来计算。
定义模型残差序列为j m j j i x i y i θφξˆ)(()()(1)(∑=--=，N i i i i i T T ,,1)]([])[(1)()(1)( =ΦΦ-=--φφξξ 其中)(i φ是向量Φ中的行向量。
同样，经过参数正则化后，有N i i i i i T T ,,1)]([])[(1)()(1)( =+ΦΦ-=--φμφξξ将上式中的所有采样数据用它们的均值代替，则为PRESS 统计：2212()2ˆ1(1[]/)N i i m PRESS N tr N N ξσ=⎛⎫=≈+ ⎪-⎝⎭∑H 其中T T ΦΦΦΦ=-1][H ，∑==Ni i N 122)()/1(ˆξσ。
令T T Φ+ΦΦΦ=-1][μμ)H(，GVC 如下：212()()(1[H ]/)Ni i GCV N tr N ξμμ==-∑() GVC 可以通过寻找μ来进行优化。
应用模型选择准则对模型参数个数的阶跃增加的灵敏度揭示模型选择准则的差异，特别是对小型数据集合和低维模型。
