下载文档原格式
控制理论与控制工程学位课程《系统辨识》考试报告递推阻尼最小二乘法公式详细推导专业：控制理论与控制工程班级：2011双控（研）学生姓名：江南学号：20110201016任课教师：蔡启仲老师2012年06月29 日摘要在参数辨识中，递推最小二乘法是用得最多的一种算法。
但是，最小二乘法存在一些缺点，如随着协方差矩阵的减小，易产生参数爆发现象；参数向量和协方差矩阵的处置选择不当会使得辨识过程在参数收敛之前结束；在存在随机噪声的情况下，参数易产生漂移，出现不稳定等。
为了防止参数爆发现象，Levenberg 提出在参数优化算法中增加一个阻尼项，以增加算法的稳定性。
本文在一般的最小二乘法中增加了阻尼因子，构成了阻尼最小二乘法。
又根据实时控制的要求，详细推到了递推阻尼最小二乘公式，实现在线辨识。
关键字：系统辨识，最小二乘法，递推算法正文1.题目的基本要求已知单入单出系统的差分方程以及噪声，在应用最小二乘法进行辨识的时候，在性能指标中加入阻尼因子，详细推导阻尼最小二乘法的递推公式。
2.输入辨识信号和系统噪声的产生方法和理论依据 2.1系统辩识信号输入选择准则（1）输入信号的功率或副度不宜过大，以免使系统工作在非线性区，但也不应过小，以致信噪比太小，直接影响辩识精度；（2）输入信号对系统的“净扰动”要小，即应使正负向扰动机会几乎均等； （3）工程上要便于实现，成本低。
2.2白噪声及其产生方法 （1） 白噪声过程（2）白噪声是一种均值为0、谱密度为非0常数的平稳随机过程。
（3）白噪声过程定义：如果随机过程()t ω的均值为0，自相关函数为()()2R t t ωσδ= （2.2.1）式中()t δ 为狄拉克（Dirac) 分布函数，即(){(),00,01t t t dt δδ∞∞=≠∞==⎰-且t （2.2.2）则称该随机过程为白燥声过程。
2.3白噪声序列 (1) 定义 如果随机序列{()}w t 均值为0，并且是两两不相关的，对应的自相关函数为()2,0,1,2w l R l l σδ==±± 式中{1,00,0l l l δ=≠=则称这种随机序列{()}w t 为白噪声序列。
递推最小二乘算法simulink 递推最小二乘算法是一种常用的数学算法，用于估计数据的最佳拟合曲线。
Simulink是一款强大的系统建模和仿真工具，它可以方便地进行算法的模拟和验证。
本文档将介绍如何在Simulink中使用递推最小二乘算法来实现数据的最佳拟合。
首先，我们需要明确递推最小二乘算法的基本原理。
递推最小二乘算法是一种迭代算法，根据已知的数据点，通过不断更新拟合曲线的参数，使得拟合曲线与实际数据的残差平方和最小化。
其核心思想是通过迭代计算，不断调整参数，逐步优化拟合效果。
在Simulink中，我们可以使用递归结构来实现递推最小二乘算法。
首先，我们需要建立一个递推模型框架，包括数据输入、参数更新、残差计算和拟合曲线输出等组件。
其次，我们需要确定递推算法的初始参数值，通常可以使用数据的平均值作为初始参数。
然后，我们可以通过迭代计算的方式，不断更新参数值，直到拟合曲线达到最佳效果。
在模型的具体实现中，我们可以使用Simulink中的线性系统模块、运算模块和数据存储模块等进行建模。
通过连接和配置不同的模块，我们可以构建一个完整的递推最小二乘算法模型。
在模型的验证过程中，我们可以使用Simulink提供的仿真功能，输入实际数据，并观察拟合曲线与实际数据的吻合程度。
需要注意的是，在使用递推最小二乘算法之前，我们需要确定一些参数，如迭代次数、收敛准则和阈值等。
这些参数的选择将直接影响到递推算法的收敛速度和拟合效果。
因此，我们需要根据具体的应用场景和数据特点进行合理选择和调整。
总结来说，递推最小二乘算法是一种有效的数据拟合算法，可以在Simulink中得到方便的实现和验证。
通过合理配置模型和参数，我们可以得到与实际数据最佳拟合的拟合曲线。
在实际应用中，递推最小二乘算法具有广泛的应用领域，如信号处理、系统辨识和机器学习等。
希望本文档能够帮助您更好地理解和应用递推最小二乘算法。
Harbin Institute of Technology–HIT系统辨识与自适应控制黄显林、班晓军黄显林班晓军控制理论与制导技术研究中心哈尔滨工业大学banxiaojun@2013-03-22控制理论与制导技术研究中心第1页Harbin Institute of Technology–HIT第五讲渐消记忆与限定记忆最小二乘法内容提要:1. 数据饱和现象实例据现实2. 数据饱和现象原因33. 渐消记忆法算法流程4. 渐消记忆法算法推导5. 渐消记忆法算法算例2013-03-22控制理论与制导技术研究中心第2页Harbin Institute of Technology–HIT6. 限定记忆法算法流程7. 限定记忆法算法推导8. 限定记忆法算例算2013-03-22控制理论与制导技术研究中心第3页Harbin Institute of Technology–HIT数据饱和现象：直观上，随着采集到的数据越来越多，递推最小二乘法应该给出更精确地参数估计值；但实际上，随着迭代次应该给出更精确地参数估计值但实际上随着迭代次数增加，“估计值”与“真实值”的偏差会愈来愈远。
2013-03-22控制理论与制导技术研究中心第24页Harbin Institute of Technology–HIT二、数据饱和现象的原因见板书2013-03-22控制理论与制导技术研究中心第25页Harbin Institute of Technology–HIT三、解决的方案1. 增加“新数据”在计算中的权重，减小“老数据”在计算中的权重——渐消记忆法；2. 去掉一部分老数据——限定记忆法。
2013-03-22控制理论与制导技术研究中心第26页Harbin Institute of Technology–HIT四、渐消记忆算法流程82013-03-22控制理论与制导技术研究中心第27页Harbin Institute of Technology–HIT为了确保P(N)的对称性8(01]其中2013-03-22控制理论与制导技术研究中心第28页2(0,1]λρ=∈其中，Harbin Institute of Technology–HIT仿真结论：1. 渐消记忆法在一定程度上克服了“数据饱和问题。
各种最小二乘算法总结1. 一般最小二乘法例 1 考虑如下仿真对象z k 2 1.5 z k 1 0.7 z k u k1 0.5u k v k 其中，v k 为服从N 01 分布的白噪声。
输入信号u k采用M 序列，幅度为1。
M 序列由9 级移位寄存器产生，xi xi 4⊕xi 9 。
选择如下的辨识模型z k 2 a1 z k 1 a2 z k b1u k 1 b2u k vk 观测数据长度取L 400 。
加权阵取∧I 。
1.1. 一次计算最小二乘算法a1 -1.4916 θ LS a 2 H T H 1 H T Z 0.7005 1.1 L L L L 1.0364 b10.4268 b2 Z 3 hT 3 Z 2 Z 1 u 2 u 1 T其中，Z L Z 4 ，H h 4 Z 3 Z 2 u3 u 2 ... L ... ... ... ... ... Z 402 hT 402 Z 401 Z 400 u 401 u 400Matlab程序见附录1。
1.2. 递推最小二乘算法递推最小二乘算法公式：θ k θ kK k P k 1hk h k P k 1hk 1.2 ∧k Pk I K k h k Pk 11 K k z k h k θ k 1 1 13 盛晓婷最小二乘算法总结报告a1 3 初始条件θ 0 a 2 3 P0 100I 。
3 4×4 b1 3 b2经过编程计算，各个参数的估计值为a1 -1.4976 a2程序见附录2。
待估参数0.6802θ LS 1.0284 1.3 b1 0.3341 b2Matlab过渡过程 3 2.5 2 1.5 b1 1 a2 0.5 0 b2 -0.5 -1 a1 -1.5 -2 0 50 100 150200 250 300 350 400 450 图 1 一般最小二乘参数过渡过程 4 盛晓婷最小二乘算法总结报告估计方差变化过程100908070605040302010 0 0 50 100 150 200 250 300 350 400 450 图2 一般最小二乘方差变化过程 5 盛晓婷最小二乘算法总结报告 2.遗忘因子最小二乘算法采用的辨识模型与例1相同。
![递推最小二乘法[整理版]](https://img.taocdn.com/s1/m/bb7c26feb9f67c1cfad6195f312b3169a451eafc.png)
线性方程组的最优求解方法一．递推最小二乘法设线性方程组b Ax = (1)则有k b k =x :A ),(, (n k ,2,1=) (2)其中，[]kn k k a a a k ,,,:),(21 =A ，[]Tn x x x ,,,21 =x 。
设x :A ),()(k k f = (3)下面采用基于递推最小二乘法(RLS)的神经网络算法来训练权值向量x ，以获得线性方程组（1）的解x 。
由式（3）可知，若以)(k f 为神经网络输出，以k b 为神经网络训练样本，以x 为神经网络权值向量，[]kn k k a a a k ,,,:),(21 =A 为神经网络输入向量，则解线性方程组的神经网络模型如同1所示。
图1 神经网络模型采用RLS 算法训练神经网络权值向量x ，其算法如下：（1）神经网络输出：x :A ),()(k k f = (4)（2）误差函数：)()(k f b k e k -= (5)（3）性能指标：∑==n k k e J 12)(21 (6)（4）使min =J 的权值向量x ，即为所求的神经网络权值向量x ，这是一个多变量线性优化问题，为此，由0=∂∂xJ可得最小二乘递推法（RLS ）：]),([1k k k k k k b x :A Q x x -+=+ (7)),(),(1),(:A P :A :A P Q k k k Tk T k k+= (8)k k k k P :A Q I P )],([1-=+ (9)()n k ,,2,1 =随机产生初始权值向量)1,(0n rand =x ，设n n ⨯∈=R I P α0（α是足够大的正数（一般取10610~10=α），n n ⨯∈R I 是单位矩阵），通过对样本数据训练，即可获得神经网络权值向量x ，此即为线性方程组（1）的解。
二．具有遗忘因子的递推最小二乘估计公式为：]),([1k k k k k k b x :A Q x x -+=+ (10)),(),(),(:A P :A :A P Q k k k Tk T k k+=λ (11)k k k k P :A Q I P )],([11-=+λ(12)式中，1:)],(:),([)(-=k A k A k T W P ，W 为加权对角阵：⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=--10021λλλn n W（nn ⨯∈=R I P α0，10610~10=α）。
控制理论与控制工程学位课程《系统辨识》考试报告递推阻尼最小二乘法公式详细推导专业：控制理论与控制工程班级：2011双控（研）学生姓名：江南学号：20110201016任课教师：蔡启仲老师2012年06月29 日摘要在参数辨识中，递推最小二乘法是用得最多的一种算法。
但是，最小二乘法存在一些缺点，如随着协方差矩阵的减小，易产生参数爆发现象；参数向量和协方差矩阵的处置选择不当会使得辨识过程在参数收敛之前结束；在存在随机噪声的情况下，参数易产生漂移，出现不稳定等。
为了防止参数爆发现象，Levenberg 提出在参数优化算法中增加一个阻尼项，以增加算法的稳定性。
本文在一般的最小二乘法中增加了阻尼因子，构成了阻尼最小二乘法。
又根据实时控制的要求，详细推到了递推阻尼最小二乘公式，实现在线辨识。
关键字：系统辨识，最小二乘法，递推算法正文1.题目的基本要求已知单入单出系统的差分方程以及噪声，在应用最小二乘法进行辨识的时候，在性能指标中加入阻尼因子，详细推导阻尼最小二乘法的递推公式。
2.输入辨识信号和系统噪声的产生方法和理论依据 2.1系统辩识信号输入选择准则（1）输入信号的功率或副度不宜过大，以免使系统工作在非线性区，但也不应过小，以致信噪比太小，直接影响辩识精度；（2）输入信号对系统的“净扰动”要小，即应使正负向扰动机会几乎均等； （3）工程上要便于实现，成本低。
2.2白噪声及其产生方法 （1） 白噪声过程（2）白噪声是一种均值为0、谱密度为非0常数的平稳随机过程。
（3）白噪声过程定义：如果随机过程()t ω的均值为0，自相关函数为()()2R t t ωσδ= （2.2.1）式中()t δ 为狄拉克（Dirac) 分布函数，即(){(),00,01t t t dt δδ∞∞=≠∞==⎰-且t （2.2.2）则称该随机过程为白燥声过程。
2.3白噪声序列 (1) 定义 如果随机序列{()}w t 均值为0，并且是两两不相关的，对应的自相关函数为()2,0,1,2w l R l l σδ==±± 式中{1,00,0l l l δ=≠=则称这种随机序列{()}w t 为白噪声序列。
%限定记忆最小二乘的递推算法%Z(k+2)=1.5*Z(k+1)-0.7*Z(k)+u(k+1)+0.5*u(k)+v(k)%========================================clearclc%==========400产生M序列作为输入===============x=[0 1 0 1 1 0 1 1 1]; %initial valuen=403; %n 为脉冲数目M=[]; %存放M序列for i=1:ntemp=xor(x(4),x(9));M(i)=x(9);for j=9:-1:2x(j)=x(j-1);endx(1)=temp;end%===========产生均值为0，方差为1的高斯白噪声=========v=randn(1,402);%==============产生观测序列=================z=zeros(402,1);z(1)=-1;z(2)=0;for i=3:402z(i)=1.5*z(i-1)-0.7*z(i-2)+M(i-1)+0.5*M(i-2)+v(i);end%递推求解P_a=100*eye(4); %估计方差Theta_a=[3;3;3;3];Pstore=zeros(4,381); %存放方差中间过程Theta_Store=zeros(4,381); %参数的估计值，存放中间过程估值L=20; %记忆长度for i=3:L-1h=[-z(i-1);-z(i-2);M(i-1);M(i-2)];K=P_a*h*inv(h'*P_a*h+1);Theta_a=Theta_a+K*(z(i)-h'*Theta_a);P_a=(eye(4)-K*h')*P_a;endfor k=0:380hL=[-z(k+L-1);-z(k+L-2);M(k+L-1);M(k+L-2)];K_b=P_a*hL*inv(1+hL'*P_a*hL);Theta_b=Theta_a+K_b*(z(k+L)-hL'*Theta_a);P_b=(eye(4)-K_b*hL')*P_a;hk=[-z(k+L);-z(k+L-1);M(k+L);M(k+L-1);];K_a=P_b*hk*inv(1+hk'*P_b*hk);Theta_a=Theta_b-K_a*(z(k+L+1)-hk'*Theta_b);P_a=(eye(4)+K_a*hk')*P_b;Pstore(:,k+1)=[P_a(1,1),P_a(2,2),P_a(3,3),P_a(4,4)];Theta_Store(:,k+1)=Theta_a;end%========================输出结果及作图=========================== disp('参数a1 a2 b1 b2 的估计值为：')Theta_ai=1:381;figure(1)plot(i,Theta_Store(1,:),i,Theta_Store(2,:),i,Theta_Store(3,:),i,Theta_S tore(4,:))title('待估参数过渡过程')figure(2)plot(i,Pstore(1,:),i,Pstore(2,:),i,Pstore(3,:),i,Pstore(4,:))title('估计方差过渡过程')运行结果如下：参数a1 a2 b1 b2 的估计值为：Theta_a =-1.54260.72971.00690.3365.仿真图如下所示：图1 待估参数过渡过程图2 估计方差过渡过程。
