递推最小二乘辨识分解

实验二 递推最小二乘估计(RLS)及模型阶次辨识(F-Test ）1 实验方案设计1.1 生成输入数据和噪声用M 序列作为辨识的输入信号，噪声采用标准正态分布的白噪声。

生成白噪声时，首先利用乘同余法生成U[0,1]均匀分布的随机数，再利用U[0,1]均匀分布的随机数生成标准正态分布的白噪声。

1.2 过程仿真辨识模型的形式取)()()()()(11k e k u z B k z z A +=--，为方便起见，取n n n b a == 即nn n n zb a b z b z B z a a a z a z A ------++++=++++=...1)(...1)(22112211用M 序列作为辨识的输入信号。

1.3 递推遗忘因子法数据长度L 取534，初值⎪⎪⎪⎩⎪⎪⎪⎨⎧⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡==1000010000100001)0(001.0)0(P θ 1.4 计算损失函数、噪声标准差损失函数⎥⎦⎤⎢⎣⎡+---+-=μθμττ)()1()()]1(ˆ)()([)1()(2k h k P k h k k h k z k J k J噪声标准差θλdim )(ˆ-=L L J1.6 F-Test 定阶法计算模型阶次统计量t)22,2(~222)1()1()()1,(----++-=+n L F n L n J n J n J n n t其中，)(∙J 为相应阶次下的损失函数值，L 为所用的数据长度，n 为模型的估计阶次。

若a t n n t >+)1,(，拒绝00:n n H >，若a t n n t <+)1,(，接受00:n n H >，其中αt 为风险水平α下的阀值。

这时模型的阶次估计值可取1+n 。

1.6 计算噪信比和性能指标噪信比22ye σση= 参数估计平方相对偏差i i i ni i i θθθθθδˆ~,~1221-=⎪⎪⎭⎫ ⎝⎛=∑= 参数估计平方根偏差ii i n i ini iθθθθθδˆ~,)()~(2122122-==∑∑== 2 编程说明M 序列中，M 序列循环周期取15124=-=p N ，时钟节拍t ∆=1Sec ，幅度1=a ，特征多项式为1)(56⊕⊕=s s s F 。

1最小二乘法的理论基础1.1最小二乘法设单输入单输出线性定长系统的差分方程表示为：其中δ(k)为服从N(0,1)的随机噪声,现分别测出n+N 个输出输入值y(1),y(2),…,y(n+N),u(1),u(2),…,u(n+N),则可写出N 个方程，写成向量－矩阵形式()()()()()()()()1201121n n y k a y k a y k a y k n b u k b u k b u k n k ξ=-------++-++-+L L ()()()()()()()()()()()()()()()()()()10111121222112n n y n y n y u n u y n y n y u n u y n N y n N y N u n N u N a n a n b n N b ξξξ+--+⎡⎤⎡⎤⎢⎥⎢⎥+-+-+⎢⎥⎢⎥=⨯⎢⎥⎢⎥⎢⎥⎢⎥+-+--+⎢⎥⎢⎥⎣⎦⎣⎦⎡⎤⎢⎥+⎡⎤⎢⎥⎢⎥⎢⎥+⎢⎥+⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥+⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦LLL L M M MMLL M M M(4.1.1)则式(1.1.1)可写为 （4.1.2）式中：y 为N 维输出向量；ξ为N 为维噪声向量；θ为（2n+1）维参数向量；Φ为N ×（2n+1）测量矩阵。

因此，式（4.1.1）是一个含有（2n+1）个未知参数，由N 个方程组成的联立方程组。

11y θφφξ--=-在给定输出向量y 和测量矩阵Φ的条件下求参数θ的估计，这就是系统辨识问题。

设 表示 θ 的估计值，ŷ表示y 的最优估计，则有 （4.1.3） 式中：()()()10ˆˆ1ˆˆ2ˆˆ,ˆˆˆn n ay n a y n y b y n N b θ⎡⎤⎢⎥+⎡⎤⎢⎥⎢⎥⎢⎥+⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥+⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦M M M ()()()()()()()()()()()()()()()()()()101122,,11112221n n a y n n y n a n y b y n N n N b y n y u n u y n y u n u y n N y N u n N u N ξξθξξφ⎡⎤⎢⎥++⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥++⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥++⎢⎥⎢⎥⎣⎦⎣⎦⎢⎥⎢⎥⎣⎦--+⎡⎤⎢⎥-+-+⎢⎥=⎢⎥⎢⎥-+--+⎢⎥⎣⎦M M M M L LL L M MMLL y φθξ=+ˆθˆˆyθ=Φ设e(k)=y(k)- ŷ(k), e(k)称为残差，则有e=y- ŷ=y-Φθ 最小二乘估计要求残差的平方和最小，即按照指数函数（4.1.4）求Ｊ对 的偏导数并令其等于0可得：（4.1.5）由式（4.1.5）可得的 θ 最小二乘估计：（4.1.6）J 为极小值的充分条件是：即矩阵ΦT Φ为正定矩阵，或者说是非奇异的。

递归最小二乘法辨识参数递归最小二乘法（Recursive Least Squares, RLS）是一种参数辨识方法，它使用递归算法来求解最小二乘法中的参数。

在许多领域中，例如系统辨识、自适应控制、信号处理等，递归最小二乘法都是一个广泛使用的方法。

递归最小二乘法的基本思想是：通过递归迭代来更新参数估计值，使其逼近最优解。

在递归过程中，每一次迭代时，都会通过当前的测量值来更新参数的估计值，同时保留历史测量值的影响，从而获得更精确的估计值。

具体地说，在递归过程中，首先需要定义一个初始参数向量，然后通过观测数据序列来递归更新参数向量。

假设有一个如下所示的线性关系：y(k) = Φ(k) * θ + v(k)其中，y(k)是被观测到的输出值，Φ(k)是与该输出值相关的输入向量，θ是待辨识的参数向量，v(k)是误差项。

递归最小二乘法的目标就是通过观测数据来估计θ的值。

在递归最小二乘法中，首先需要定义一个初始的参数向量θ0，然后通过数据序列递归地更新θ的值。

每一次迭代时，都会用最新的观测数据来更新参数向量，使得估计值更接近真实值。

具体来说，每次观测到新的数据之后，都会根据当前参数估计值和新的观测值来计算估计误差，并更新参数向量。

具体的迭代步骤如下：1.从数据序列中读取观测值y(k)和输入向量Φ(k)；2.计算估计值y(k)hat和估计误差e(k)：y(k)hat = Φ(k) * θ(k-1)e(k) = y(k) - y(k)hat3.计算卡尔曼增益K(k)和参数估计值θ(k)：K(k) = P(k-1) * Φ(k) / (λ + Φ(k)' * P(k-1) * Φ(k))θ(k) = θ(k-1) + K(k) * e(k)其中，P(k-1)是先前迭代步骤中的误差协方差矩阵，λ是一个小的正数，用于确保逆矩阵的存在性。

需要注意的是，递归最小二乘法的计算量相对较大，因此通常需要对算法进行优化，以提高计算效率和精度。

综述最小二乘法的系统辨识姓名：费冬妹学号：2010108102 专业：控制理论与控制工程摘要：在研究一个控制系统过程中，建立系统的模型十分必要。

因此，系统辨识在控制系统的研究中起到了至关重要的作用。

本文主要介绍了系统辨识的最小二乘方法，最小二乘法的一次完成过程进行了推导，最小二乘法的一次完成的缺陷在于对于有色噪声并没有很好的辨识效果。

其中系统辨识在工程中的应用非常广泛,系统辨识的方法有很多种,最小二乘法是一种应用极其广泛的系统辨识方法，阐述了动态系统模型的建立及其最小二乘法在系统辨识中的应用,并通过实例分析说明了最小二乘法应用于系统辨识中的重要意义。

关键词：系统辨识、最小二乘法一、系统辨识的定义系统辨识、状态估计和控制理论是现代控制理论三个相互渗透的环节。

1962年，L．A．zadeh给出“辨识”的定义为：系统辨识是在对输入和输出观测的基础上，在指定的一类系统中，确定一个与被识别的系统等价的系统。

[1]最先提出了系统辨识的定义。

随着科技的发展，数学建模对科学研究及指导及生产都有非常重要的意义。

给一个系统建立数学模型是一个比较复杂的工作，其中关键的一个环节是系统辨识。

系统辨识就是研究如何利用系统的输入、输出信号建立系统的数学模型。

[7]系统数学模型是系统输入、输出及其相关变量间的数学关系式，它描述系统输入、输出及相关变量之间相互影响、变化的规律性。

换句话说，系统辨识就是从系统的运算和实验数据建立系统的模型(模型结构和参数)。

系统辨识的三要素：数据、模型类和准则。

系统辨识的基本原理：在输入输出的基础上，从一类系统中确定一个与所测系统等价的系统。

[2]二、最小二乘法的引出最小二乘法是1795年高斯在预测星体运行轨道最先提出的，它奠定了最小二乘估计理论的基础．到了20世纪60年代瑞典学者Austron把这个方法用于动态系统的辨识中，在这种辨识方法中，首先给出模型类型，在该类型下确定系统模型的最优参数。

我们可以将所研究的对象按照对其了解的程度分成白箱、灰箱和黑箱。

广义递推最小二乘辨识一、实验目的1 通过实验掌握广义最小二乘辨识算法；2 运用MATLAB编程，掌握算法实现方法。

二、实验原理广义最小二乘法的基本思想是基于对数据先进行一次滤波预处理，然后利用普通最小二乘法对滤波后的数据进行辨识。

如果滤波模型选择得合适，对数据进行了较好的白色化处理，那么直接利用普通最小二乘法就能获得无偏一致估计。

广义最小二乘法所用的滤波模型实际上就是一种动态模型，在整个迭代过程中不断靠偏差信息来调整这个滤波模型，使它逐渐逼近于一个较好的滤波模型，以便对数据进行较好的白色化处理，使模型参数估计称为无偏一致估计。

理论上说，广义最小二乘法所用的动态模型经过几次迭代调整后，便可对数据进行较好的白化处理，但是，当过程的输出噪信比比较大或模型参数比较多时，这种数据白色化处理的可靠性就会下降。

此时，准则函数可能出现多个局部收敛点，因而辨识结果可能使准则函数收敛于局部极小点上而不是全局极小点上。

这样，最终的辨识结果往往也会是有偏的。

其收敛速度比较慢，需要经过多次迭代计算，才能得到较准确的参数估计值。

一般情况下，经过多次迭代后，估计值便会收敛到稳态值。

但在某些情况下（如噪声比较低时）存在局部极小值，估计值不一定收敛到准则函数的全局极小值上。

为了防止参数估计值收敛到局部极小值，最好选定初值接近最优解，一般可以用最小二乘法的批处理估计值作为初值。

如果系统是时变的，或为了克服数据饱和现象，可以在两次RLS算法中分别引进遗忘因子。

三、实验内容<1> 数据获取：实验数据按照表9-1，为二阶线性离散系统的输入输出数据<2> 数据处理：为了提高辨识精度，实验者必须对原始数据进行剔除坏数据、零均值化、工频滤波等处理。

实验进行了白化滤波处理。

<3> 辨识算法：利用处理过的数据（取适当的数据长度），选择某种辨识方法（如RLS递推最小二乘法、RELS、RIV或RML等参数估计算法及F-检验或AIC定阶法），估计出模型参数和阶次，同时分析辨识结果。

目录1引言 (2)1.1概述 (2)1.2辨识的基本步骤 (2)2系统辨识输入信号的产生方法和理论依据 (3)2.1白噪声序列 (3)2.1.1白噪声序列的产生方法 (3)2.2 M序列的产生 (4)2.2..1 伪随机噪声 (4)2.2.2 M序列的产生方法 (4)3应用经典辨识方法的辨识方案。

(6)3.1经典辨识方法概述 (6)3.2经典辨识方法的实现 (6)4最小二乘法的理论基础 (7)4.1最小二乘法 (7)4.1.1最小二乘法估计中的输入信号 (9)4.1.2最小二乘估计的概率性质 (9)4.2递推最小二乘法 (10)5两种算法的实现方案 (11)5.1最小二乘法一次完成算法实现 (11)5.1.1最小二乘一次完成算法程序框图 (11)5.1.2一次完成法程序 (11)5.1.3一次完成算法程序运行结果 (11)5.1.4辨识数据比较 (12)5.1.5程序运行曲线 (12)5.2递推最小二乘法的实现 (12)5.2.1递推算法实现步骤 (12)5.2.2程序编制思路： (13)5.2.3递推最小二乘法程序框图 (14)5.2.4程序运行曲线 (15)5.2.5测试结果 (16)5.2.6递推数据表 (16)6结论 (16)7参考文献 (17)8附录 (17)应用最小二乘一次完成法和递推最小二乘法算法的系统辨识摘要：本题针对一个单输入单输出系统的便是问题，辨识的输入信号采用的是伪随机二位式序列（M序列），系统噪声为独立同分布高斯随机向量序列（白噪声），辨识的算法是递推最小二乘法和广义最小二乘法，本文简单描述应用经典辨识方法的辨识方案，详细描述了输入信号、噪声的产生方法及matlab程序，阐述了用两种不同算法的辨识原理并对它们的推导过程及辨识程序编制思路做了详细的描述。

最后结合真值与估计值对不同辨识算法的优劣进行了比较。

关键词：系统辨识M序列最小二乘法1引言1.1概述系统辨识是现代控制理论中的一个分支，它是根据系统的输入输出时间函数来确定描述系统行为的数学模型。

《系统辨识基础》第17讲要点第5章 最小二乘参数辨识方法5.9 最小二乘递推算法的逆问题辨识是在状态可测的情况下讨论模型的参数估计问题，滤波是在模型参数已知的情况下讨论状态估计问题，两者互为逆问题。

5.10 最小二乘递推算法的几种变形最小二乘递推算法有多种不同的变形，常用的有七种情况：① 基于数据所含的信息内容不同，对数据进行有选择性的加权；② 在认为新近的数据更有价值的假设下，逐步丢弃过去的数据；③ 只用有限长度的数据；④ 加权方式既考虑平均特性又考虑跟综能力；⑤ 在不同的时刻，重调协方差阵P (k )；⑥ 设法防止协方差阵P (k )趋于零；5.10.1 选择性加权最小二乘法把加权最小二乘递推算法改写成[]⎪⎪⎩⎪⎪⎨⎧--=+--=--+-=-)1()]()([)(1)()1()()()()1()()()]1(ˆ)()()[()1(ˆ)(ˆ1k k k k k k k k k k k k k k k z k k k P h K P h P h h P K h K τττθθθI ΛΛ 算法中引进加权因子，其目的是便于考虑观测数据的可信度．选择不同的加权方式对算法的性质会有影响，下面是几种特殊的选择：① 一种有趣的情况是Λ()k 取得很大，在极限情况下，算法就退化成正交投影算法。

也就是说，当选择⎩⎨⎧=-≠-∞=0)()1()(,00)()1()(,)(k k k k k k k h P h h P h ττΛ 构成了正交投影算法⎪⎪⎩⎪⎪⎨⎧--=--=--+-=)1()]()([)()()1()()()1()()]1(ˆ)()()[()1(ˆ)(ˆk k k k k k k k k k k k k z k k k P h K P h P h h P K h K τττθθθI 算法初始值取P ()0=I 及∃()θε0=(任定值)，且当0)()1()(=-k k k h P h τ时，令K ()k =0。