下载文档原格式
相关分析法辨识系统单位脉冲响应1辨识原理对于下图示的单输入单输出线性系统，其输入输出的因果关系可用卷积公式描述。
公式为：0()()()y t g x t d λλλ∞=-⎰把变量t 换成t +τ，上式两边同乘以x (t )，取时间的平均值，得11lim()(+)(){lim()(+)}22TTTTT T x t y t dt g x t x t dt d TTτλτλλ∞--→∞→∞=-⎰⎰⎰即 0()()()x y x R g R d τστλλ∞=-⎰上式即为维纳-霍夫方程，其给出了输入的自相关函数，输入、输出的互相关函数及脉冲响应函数三者之间的关系。
令x (t )为白噪声信号，则其自相关函数为：()(), ()()x x R k R k τδττλδτλ=-=-代入维纳-霍夫方程得：()()()()xy x R g R d kg τλτλλτ∞=-=⎰则有：()()xy R g kττ=这样，只要记录x(t)、y(t)的值，并计算它们的互相关函数，即可求得脉冲响应函数g(τ)。
在系统有正常输入的情形下，辨识脉冲响应的原理图如下图所示。
2辨识过程2.1预备实验以二阶系统22()2G s s s ++=作为辨识对象。
在实验前首先要进行预备实验，以了解系统特性。
通过简单阶跃响应确定系统过度过程时间T s 大约为11s ，如下图所示。
给系统施加不同周期的正弦信号，系统输出为输入的0.707倍时，确定截止频率f M 大约为0.318Hz 。
2.2选择二位式伪随机序列的参数（1）选择t 和N 由0.3Mt f ∆≤，得0.94t s ∆≤。
因为系统的时间常数1nT s ζω=，根据时间常数可按照0.050.1t T ∆= （）选择t ∆。
由二位式伪随机序列周期要大于系统过渡过程时间，若t ∆选择0.94s ，则由(1)s N t T -⨯∆≥，得12.7021N ≥；若t ∆选择0.195s ，则由(1)s N t T -⨯∆≥，得57.4103N ≥。
1、利用cftool拟合曲线得Coefficients (with 95% confidence bounds):a = 0.4601 (0.3711, 0.5492)b = -5.1 (-6.108, -4.092)c = 13.42 (11, 15.83)2、最小二乘法：最小二乘的思想就是寻找一个θ 的估计值θ ，使得各次测量的Z i (i = 1,⋯ m)与由估计θ 确定的量测估计Z i = H iθ 之差的平方和最小，由于此方法兼顾了所有方程的近似程度，使整体误差达到最小，因而对抑制误差是有利的。
但是最小二乘一般方法的估计精度不够高，这是由于对各个测量数据同等对待，而各次测量数据一般不会在相同的条件下获得，造成测量数据的置信度不变较大，当新数据源源而来时，将出现以下问题：1.数据增加，要求计算机的存储空间增加2、每增加一组数据，即作一次求逆，导致计算量增加，难以用于在线辨识。
只有当模型的噪声项是独立的随机变量时，普通最小二乘法才能得到真实参数的无偏估计值，否则所得到的估计值是有偏的。
因此，最小二乘法有很多改进算法，虽然没有一个是完美的，但是能够适应不同的情况、条件，对应选择不同的算法，其各自的性能及优缺点如下：广义最小二乘法的优点是计算精度高，估计的效果比较好，是无偏估计，但广义最小二乘法缺点是计算量大，其收敛是比较缓慢的，为了得到准确的参数估值，往往需要进行多次迭代计算，另外，对于循环的循环性没有给出证明，并非总是收敛于最优估值上。
由于一般情况下，系统信噪比比较低，准则函数为非单值函数（即存在多个局部极小值），如果初值给的不合理，用GLS方法得到的将是局部极小值，若想得到总体最优解，初值应接近该最优值。
递推算法实现了实时控制，减少了计算量和存储量，但未解决最小二乘法的递推算法有偏估计问题。
矩形窗（限定记忆）RLS 方法需要保留一定的数据存储量，此存储量大小取决于矩形窗宽度，因而在应用范围上有一定程度的限制。
系统辨识之最小二乘法方法一、最小二乘一次性算法：首先对最小二乘法的一次性辨识算法做简要介绍如下：过程的黑箱模型如图所示：其中u(k)和z(k)分别是过程的输入输出，)(1-z G 描述输入输出关系的模型，成为过程模型。
过程的输入输出关系可以描述成以下最小二乘格式：)()()(k n k h k z T +=θ （1）其中z(k)为系统输出，θ是待辨识的参数，h(k)是观测数据向量，n(k)是均值为0的随机噪声。
利用数据序列{z （k ）}和{h （k ）}极小化下列准则函数：∑=-=Lk T k h k z J 12])()([)(θθ （2）使J 最小的θ的估计值^θ，成为最小二乘估计值。
具体的对于时不变SISO 动态过程的数学模型为 )()()()()(11k n k u z B k z z A +=-- （3）应该利用过程的输入、输出数据确定)(1-z A 和)(1-Z B 的系数。
对于求解θ的估计值^θ，一般对模型的阶次a n ，b n 已定，且b a n n >；其次将（3）模型写成最小二乘格式)()()(k n k h k z T +=θ （4）式中=------=T n n T b a b a b b b a a a n k u k u n k z k z k h ],,,,,,,[)](,),1(),(,),1([)(2121 θ （5）L k ,,2,1 =因此结合式（4）（5）可以得到一个线性方程组L L L n H Z +=θ （6）其中==T L TL L n n n n L z z z z )](),2(),1([)](),2(),1([ （7）对此可以分析得出，L H 矩阵的行数为),max(b a n n L -，列数b a n n +。
在过程的输入为2n 阶次，噪声为方差为1，均值为0的随机序列，数据长度)(b a n n L +>的情况下，取加权矩阵L Λ为正定的单位矩阵I ，可以得出：L T L L T L z H H H 1^)(-=θ （8）其次，利用在Matlab 中编写M 文件，实现上述算法。
作业四宋家亮15030024一、实验题目用MatLAB辨识系统，系统输出分别叠加两种不同类型的噪声，针对每一种情况使用最小二乘整批算法、递推算法和广义最小二乘法实现辨识。
图1 图2二、实验思路及目的对图1、图2分别通过构造的系统给定输入（白噪声和M序列）并叠加噪声（白噪声和有色噪声），测得输出数据并显示，对未知系统定阶并用整批、递推、广义最小二乘算法进行辨识，显示辨识结果；比较三种算法对不同噪声模型的辨识精度（λ取相同的值），显示辨识结果的脉冲响应图像并于理想系统响应对比，对结果给予合理的解释；改变 值(0.01,0.02,0.03等)，比较辨识结果的精度，说明信噪比对各种算法辨识精度的影响。
三、实验过程1、设计界面利用guide编辑器针对所要实现的功能添加控件进行界面初步的设计，设计结果如图1.1所示图1.12、设置控件属性对界面的控件设置属性，形成实验所需要的最终界面，如图2.1所示：图2.1其中系统噪声和输入信号设置成可选择的属性，其value值作为后面函数中的控制条件，这个刚开始走了弯路，直接用string属性做控制条件，结果发现根本实现不了，请教大神后选择value值作为控制条件，因为value值默认为1，当通过下拉选项选择下一个信号时其value值会自动加1。
如图2.2所示。
图2.23、设计guide回调函数（1）噪声参数输入的回调函数本实验设计成噪声参数可输入的程序，所以为达到这一目的，添加了参数输入控件，通过如图3.1所示打开回调函数，添加如下程序，可以将输入的容转变成数字用于后续函数的运算。
global zaoshengxishuzaoshengxishu=get(handles.zaoshengxishu,'String'); zaoshengxishu=str2num(zaoshengxishu);%将输入的字符串λ变成数值图3.1（2）开始辨识按钮的回调函数（主体程序）如图3.2打开开始辨识按钮回调函数，添加主程序（见附录），这样通过点击该按钮可实现本实验的所有功能。
系统辨识大作业最小二乘法及其相关估值方法应用学院：自动化学院学号：姓名：日期：基于最小二乘法的多种系统辨识方法研究一、实验原理1.最小二乘法在系统辨识中用得最广泛的估计方法是最小二乘法(LS)。
设单输入-单输出线性定长系统的差分方程为(5.1.1)式中:为随机干扰；为理论上的输出值。
只有通过观测才能得到，在观测过程中往往附加有随机干扰。
的观测值可表示为(5.1.2)式中:为随机干扰。
由式(5.1.2)得(5.1.3)将式(5.1.3)带入式(5.1.1)得(5.1.4)我们可能不知道的统计特性，在这种情况下，往往把看做均值为0的白噪声。
设(5.1.5)则式(5.1.4)可写成(5.1.6)在观测时也有测量误差，系统内部也可能有噪声，应当考虑它们的影响。
因此假定不仅包含了的测量误差，而且包含了的测量误差和系统内部噪声。
假定是不相关随机序列(实际上是相关随机序列)。
现分别测出个随机输入值，则可写成个方程，即上述个方程可写成向量-矩阵形式(5.1.7) 设则式(5.1.7)可写为(5.1.8)式中：为维输出向量；为维噪声向量；为维参数向量；为测量矩阵。
因此式(5.1.8)是一个含有个未知参数，由个方程组成的联立方程组。
如果，方程数少于未知数数目，则方程组的解是不定的，不能唯一地确定参数向量。
如果，方程组正好与未知数数目相等，当噪声时，就能准确地解出(5.1.9)如果噪声，则(5.1.10)从上式可以看出噪声对参数估计是有影响的，为了尽量较小噪声对估值的影响。
在给定输出向量和测量矩阵的条件下求系统参数的估值，这就是系统辨识问题。
可用最小二乘法来求的估值，以下讨论最小二乘法估计。
2.最小二乘法估计算法设表示的最优估值，表示的最优估值，则有(5.1.11)写出式(5.1.11)的某一行，则有(5.1.12) 设表示与之差，即-(5.1.13)式中成为残差。
把分别代入式(5.1.13)可得残差。
设则有(5.1.14) 最小二乘估计要求残差的平方和为最小，即按照指数函数(5.1.15) 为最小来确定估值。
2012系统辨识实验姓名：周自飞学号：P4*******年级专业：09自动化线性系统参数估计的最小二乘法一、实验目的：1、掌握线性离散系统的数学模型；2、掌握线性离散系统在无噪声时的单位脉冲响应；3、掌握线性系统参数估计的最小二乘法。
二、实验原理：1、基本最小二乘算法2、递推最小二乘算法3、渐消记忆递推最小二乘算法4、辅助变量递推最小二乘算法5、增广递推最小二乘算法三、实验内容：设带有噪声的离散系统模型为：()()()()()()k213.0-13.0-+.028.11-412+ukkukyk--yξky=现给定系统的一列长度为50的输入序列：u(k)= 1,0.3,-0.5,0.9,-0.5,-0.3,-0.2,0.4,0.8,-0.6,-0.1,0,0.1,0.5,-0.6,-0.2,0.3,0.9,0.5,0.2,-0.6,-0.3,-0.1,0.7,0,0.3,-0.6,0.3,0.1,0.5,-0.7,-0.4,-0.9,-0.6,-0.2,-0.4,-0.2,0.1,-0.1,0.1,0.9,0.5,0.3,0.7,0.4,-0.2,-0.7,-0.2,0.1,01. 构造离散系统模型函数，给出无噪声时系统在单位脉冲输入下的响应序列；%zhouzifei.mb=[0.3 -0.213];a=[1 -1.28 0.41];impz(b,a,30);title(‘系统单位脉冲响应’);axis([-1 30 -0.2 0.5]);2. 给出系统在给定输入u(k)和噪声()kξ下的输出信号y(k)；%zifei2.m3. 利用已有输入信号u(k)和在第2步中得出的输出信号y(k)，使用下列方法辨识系统的参数：(1) 基本最小二乘算法%LS.m参数：a1 =-1.2803a2 =0.4138b0 = 0.2867b1 = -0.2104(2) 递推最小二乘算法%RLS.m参数：a1 =-1.2800 a2 =0.4100 b0 = 0.3000 b1 = -0.2130(3) 渐消记忆递推最小二乘算法%FMRLS参数：a1 =-1.2800 a2 =0.4100 b0 = 0.3000 b1 = -0.2130(4) 辅助变量递推最小二乘算法%IVLS.m参数：a1 =-1.2800 a2 =0.4100b0 = 0.3000 b1 = -0.2130(5) 增广递推最小二乘算法（可选做，有加分）%ARLS.m参数：a1 =-1.2800 a2 =0.4100 b0 = 0.3000 b1 = -0.2130四、实验结果：最小二乘法思想是使各次观测值和计算值之间差值的平方乘以度量其精确度的数值后的和为最小。
系统辨识大作业最小二乘法及其相关估值方法应用学号：2012302259姓名：王家琦基于最小二乘法的多种系统辨识方法研究1.最小二乘法的引出在系统辨识中用得最广泛的估计方法是最小二乘法(LS)。
设单输入-单输出线性定长系统的差分方程为，，，，(5.1.1)式中:为随机干扰；为理论上的输出值。
只有通过观测才能得到，在观测过程中往往附加有随机干扰。
的观测值可表示为(5.1.2)式中:为随机干扰。
由式(5.1.2)得(5.1.3)将式(5.1.3)带入式(5.1.1)得(5.1.4)我们可能不知道的统计特性，在这种情况下，往往把看做均值为0的白噪声。
设(5.1.5)则式(5.1.4)可写成(5.1.6)在观测时也有测量误差，系统内部也可能有噪声，应当考虑它们的影响。
因此假定不仅包含了的测量误差，而且包含了的测量误差和系统内部噪声。
假定是不相关随机序列(实际上是相关随机序列)。
现分别测出个随机输入值，，，，，，，，则可写成个方程，即上述个方程可写成向量-矩阵形式(5.1.7)设，，则式(5.1.7)可写为(5.1.8)式中：为维输出向量；为维噪声向量；为维参数向量；为测量矩阵。
因此式(5.1.8)是一个含有个未知参数，由个方程组成的联立方程组。
如果，方程数少于未知数数目，则方程组的解是不定的，不能唯一地确定参数向量。
如果，方程组正好与未知数数目相等，当噪声时，就能准确地解出(5.1.9)如果噪声，则(5.1.10) 从上式可以看出噪声对参数估计是有影响的，为了尽量较小噪声对估值的影响。
在给定输出向量和测量矩阵的条件下求系统参数的估值，这就是系统辨识问题。
可用最小二乘法来求的估值，以下讨论最小二乘法估计。
2.最小二乘法估计算法设表示的最优估值，表示的最优估值，则有(5.1.11)，写出式(5.1.11)的某一行，则有，，，，(5.1.12)设表示与之差，即-，，，，(5.1.13)式中成为残差。
把，，，分别代入式(5.1.13)可得残差，，，。
系统辨识与参数估计大作业第一题 递推最小二乘估计参数考虑如上图所示的仿真对象，选择模型结构为：)()2()1()2()1()(2121k v k u b k u b k z a k z a k z +-+-=-+-+，其中)(k v 是服从)1,0(N 正态分布的不相关随机噪声；输入信号)(k u 采用4阶逆M 序列，特征多项式取41)(s s s F ⊕⊕=，幅度为1，循环周期为bit N p 62=；控制λ值，使数据的噪信比分别为10％，73％，100％三种情况。
加权因子1)(=Λk ；数据长度L=500;初始条件取001.0)0(ˆ,10)0(6==θI P ， （1） 利用递推最小二乘算法在线估计参数，（2） 利用模型阶次辨识方法（AIC 准则），确定模型的阶次。
（3） 估计噪声)(k v 的方差和模型静态增益K （4） 作出参数估计值随时间的变化图 答：设过程的输入输出关系可以描述成()()()Tz k h k n k θ=+()z k 是输出量，()h k 是可观测的数据向量，n (k)是均值为0的随机噪声[]()(1),(2),(1),(2)Th k z k z k u k u k =------[]1212,,,Ta ab b θ=选取的模型为结构是1212()(1)(2)(1)(2)z k a z k a z k bu k bu k =----+-+- 12121.5,0.7, 1.0,0.5a a b b =-===加权最小二乘参数估计递推算法RWLS 的公式如下，11()(1)()()(1)()()()(1)()()()(1)()()()(1)T T TK k p k h k h k p k h k k k k K k z k h k k p k I K k h k p k θθθ-⎡⎤=--+⎢⎥Λ⎣⎦⎡⎤=-+--⎣⎦⎡⎤=--⎣⎦为了把p(k)的对称性，可以把p(k)写成1()(1)()()()(1)()()T T p k p k K k K k h k p k h k k ⎡⎤=---+⎢⎥Λ⎣⎦如果把()k Λ设成1的时候，加权最小二乘法就退化成最小二乘法。
系统辨识大作业最小二乘法及其相关估值方法应用学院：自动化学院专业：信息工程学号：**********姓名：***日期：2010.11.14基于最小二乘法的多种系统辨识方法研究1.最小二乘法的引出在系统辨识中用得最广泛的估计方法是最小二乘法(LS)。
设单输入-单输出线性定长系统的差分方程为x(k)+a1x(k−1)+⋯+a n(k−n)=b0u(k)+⋯+b n u(k−n)，k=1，2，3，⋯(5.1.1)式中: u(k)为随机干扰；x(k)为理论上的输出值。
x(k)只有通过观测才能得到，在观测过程中往往附加有随机干扰。
x(k)的观测值y(k)可表示为y(k)=x(k)+n(k)(5.1.2)式中: n(k)为随机干扰。
由式(5.1.2)得x(k)=y(k)−n(k)(5.1.3)将式(5.1.3)带入式(5.1.1)得y(k)+a1y(k−1)+⋯+a n y(k−n)n=b0u(k)+b1u(k−1)+⋯+b n u(k−n)+n(k)+∑a i(k−i)i=1(5.1.4)我们可能不知道n(k)的统计特性，在这种情况下，往往把n(k)看做均值为0的白噪声。
设nξ(k)=n(k)+∑a i(k−i)i=1(5.1.5)则式(5.1.4)可写成y(k)=−a1y(k−1)−a2y(k−2)−⋯−a n y(k−n)+b0u(k)+b1u(k−1)+⋯+b n u(k−n)+ξ(k)(5.1.6)在观测u(k)时也有测量误差，系统内部也可能有噪声，应当考虑它们的影响。
因此假定ξ(k)不仅包含了x(k)的测量误差，而且包含了u(k)的测量误差和系统内部噪声。
假定ξ(k)是不相关随机序列(实际上ξ(k)是相关随机序列)。
现分别测出n+N个随机输入值y(1)，y(2)，⋯，y(n+N)，u(1)，u(2)，⋯，u(n+ N)，则可写成N个方程，即y(n+1)=−a1y(n)−a2y(n−1)−⋯−a n y(1)+b0u(n+1)+b1u(n)+⋯+b n u(1) +ξ(n+1)y(n+2)=−a1y(n+1)−a2y(n)−⋯−a n y(2)+b0u(n+2)+b1u(n+1)+⋯+b n u(2) +ξ(n+2)⋮y(n+N)=−a1y(n+N−1)−a2y(n+N−2)−⋯−a n y(N)+b0u(n+N)+b1u(n+N−1)+⋯+b n u(N)+ξ(n+N)上述N个方程可写成向量-矩阵形式[y(n+1) y(n+2)⋮y(n+N)]=[−y(n)−y(n+1)⋯⋯−y(1)u(n+1)⋯u(1)−y(2)u(n+2)⋯u(2)⋮⋮ ⋮ ⋮⋮−y(n+N−1)⋯−y(N)u(n+N)⋯u(N)]×[a1⋮a nb0⋮b n]+[ξ(n+1)ξ(n+2)⋮ξ(n+3)](5.1.7)设y=[y(n+1) y(n+2)⋮y(n+N)]，θ=[a1⋮a nb0⋮b n]，ξ=[ξ(n+1)ξ(n+2)⋮ξ(n+N)]Φ=[−y(n)−y(n+1)⋯⋯−y(1)u(n+1)⋯u(1)−y(2)u(n+2)⋯u(2)⋮⋮ ⋮ ⋮⋮−y(n+N−1)⋯−y(N)u(n+N)⋯u(N)]则式(5.1.7)可写为y=Φθ+ξ(5.1.8)式中：y为N维输出向量；ξ为N维噪声向量；θ为(2n+1)维参数向量；Φ为N×(2n+1)测量矩阵。
因此式(5.1.8)是一个含有(2n+1)个未知参数，由N个方程组成的联立方程组。
如果N<2n+1，方程数少于未知数数目，则方程组的解是不定的，不能唯一地确定参数向量。
如果N=2n+1，方程组正好与未知数数目相等，当噪声ξ=0时，就能准确地解出θ=Φ−1y(5.1.9)如果噪声ξ≠0，则θ=Φ−1y−Φ−1ξ(5.1.10)从上式可以看出噪声ξ对参数估计是有影响的，为了尽量较小噪声ξ对θ估值的影响。
在给定输出向量y和测量矩阵Φ的条件下求系统参数θ的估值，这就是系统辨识问题。
可用最小二乘法来求θ的估值，以下讨论最小二乘法估计。
2.最小二乘法估计算法设θ̂表示 θ的最优估值，ŷ表示 y的最优估值，则有ŷ=Φθ̂(5.1.11)ŷ=[ŷ(n+1) ŷ(n+2)⋮ŷ(n+N)]，θ̂=[a1̂⋮a n̂b0̂⋮b n̂]写出式(5.1.11)的某一行，则有ŷ(k)=−a1̂y(k−1)−a2̂y(k−2)−⋯−a n̂y(k−n)+b0̂u(k)+b1̂u(k−1)+⋯+b n̂u(k−n)+ξ(k)=−∑a îy(k−i)ni=1+∑b îu(k−i)ni=0，k=n+1，n+2，⋯，n+N(5.1.12) 设e(k)表示y(k)与ŷ(k)之差，即e(k)= y(k)-ŷ(k)=y(k)−ŷ(k)=y(k)—∑a îy(k−i)ni=1+∑b îu(k−i)ni=0=(1+a1̂z−1+⋯+a n̂z−n)y(k)−(b0̂+b1̂z−1+⋯+b n̂z−n)u(k)=â(z−1)y(k)−b̂(z−1)u(k)，k=n+1，n+2，⋯，n+N(5.1.13)式中â(z−1)=1+a1̂z−1+⋯+a n̂z−nb̂(z−1)=b0̂+b1̂z−1+⋯+b n̂z−ne(k)成为残差。
把k=n+1，n+2，⋯，n+N分别代入式(5.1.13)可得残差e(n+1)，e(n+2)，⋯，e(n+N)。
设e=[e(n+1)e(n+2)⋯e(n+N)]T则有e(k)= y−ŷ=y−Φθ̂(5.1.14) 最小二乘估计要求残差的平方和为最小，即按照指数函数J=e T e=(y−Φθ̂)T(y−Φθ̂)(5.1.15) 为最小来确定估值θ̂。
求J对θ̂的偏导数并令其等于0可得∂J∂θ̂=−2ΦT(y−Φθ̂)=0(5.1.16)ΦTΦθ̂=ΦT y(5.1.17) 由式(5.1.17)可得θ的最小二乘估计θ̂=(ΦTΦ)−1ΦT y(5.1.18) 3.递推最小二乘法为了实现实时控制，必须采用递推算法，这种辨识方法主要用于在线辨识。
设已获得的观测数据长度为N，将式(5.1.8)中的y和ξ分别用Y N，ΦN，ξ̅N来代替，即Y N=ΦNθ+ξ̅N(5.3.1) 用θ̂N表示 θ的最小二乘估计，则θ̂N=(ΦN TΦN)−1ΦN T Y N(5.3.2)设P N =（ΦN TΦN ）−1(5.3.5)于是 θ̂N =P N ΦN T Y N (5.3.6) 如果再获得1组新的观测值u (n +N +1)和y(n +N +1)，则又增加1个方程y N+1=ψN+1T θ+ξN+1(5.3.7)式中y N+1=y (n +N +1)，ξN+1=ξ(n +N +1)ψN+1T =[−y (n +N ) ⋯ −y (N +1) u (n +N +1) ⋯ u(N +1)]将式(5.3.1)和式(5.3.7)合并，并写成分块矩阵形式，可得[Y N y N+1]=[ΦN ψN+1T ] θ+[ξ̅N ξN+1](5.3.8)根据上式可得到新的参数估值θ̂N+1={[ΦN ψN+1T ]T [ΦNψN+1T ]}−1[ΦN ψN+1T ]T [Y N y N+1]=P N+1[ΦN ψN+1T ]T [Y N y N+1]=P N+1(ΦN T Y N +ψN+1y N+1)(5.3.9)式中P N+1={[ΦN ψN+1T ]T [ΦNψN+1T ]}−1=（ΦN TΦN +ψN+1ψN+1T）−1根据矩阵求逆引理可以求得递推最小二乘法辨识公式θ̂N+1=θ̂N +K N+1(y N+1−ψN+1T θ̂N )(5.3.19) K N+1=P N+1ψN+1(1+ψN+1T P N ψN+1)−1(5.3.20)P N+1=P N −P N ψN+1(1+ψN+1T P N ψN+1)−1ψN+1T P N(5.3.21)由于进行递推计算需要给出θ̂N 和P N 初值P 0和θ̂0，通过计算证明，可以取初值：θ̂0=0，P 0=c 2I ，c 是充分大的常数，I 为(2n +1)(2n +1)单位矩阵，则经过若干次递推之后能够得到较好的参数估计。
3. 辅助变量法辅助变量法是一种可克服最小二乘有偏估计的一种方法，对于原辨识方程y =Φθ+ξ(5.4.1) 当ξ(k)是不相关随机序列时，最小二乘法可以得到参数向量θ的一致无偏估计。
但是，在实际应用中ξ(k)往往是相关随机序列。
假定存在着一个(2n +1)×N 的矩阵Z 满足约束条件{limN→∞1NZ Tξ=0limN→∞1NZ TΦ=Q(5.4.2)式中Q是非奇异的。
用Z T乘以式(5.4.1)等号两边得Z T y=Z TΦθ+Z T ξ(5.4.3) 由上式得θ=(Z TΦ)−1Z T y−(Z TΦ)−1Z Tξ(5.4.4) 如果取θ̂IV=(Z TΦ)−1Z T y(5.4.5) 作为θ估值，则称θ̂IV为辅助变量估值，矩阵Z成为辅助变量矩阵，Z中的元素称为辅助变量。
常用的辅助变量法有递推辅助变量参数估计法，自适应滤波法，纯滞后等。
4.广义最小二乘法广义最小二乘法是能克服最小二乘法有偏估计的另一种方法，这种方法计算比较复杂但效果比较好。
下面直接介绍广义最小二乘法的计算步骤：(1)应用得到的输入和输出数据u(k)和y(k)(k=1，2，3，⋯，n+N)，按模型a(z−1)y(k)=b(z−1)u(k)+ξ(k)求出θ 的最小二乘估计θ̂(1)=[a1̂(1)⋮a n̂(1) b0̂(1)⋮b n̂(1)](2)计算残差e(1)(k)e(1)(k)=â(1)(z−1)y(k)−b̂(1)(z−1)u(k)(3)用残差e(1)(k)代替 ξ(k)，计算f̂(1)=[(Ω(1))TΩ(1)]−1(Ω(1))T e(1)(4)计算y̅(1)(k)和u̅(1)(k)y̅(1)(k)=y(k)+f̂1(1)y(k−1)+⋯+f̂m(1)y(k−m)u̅(1)(k)=u(k)+f̂1(1)u(k−1)+⋯+f̂m(1)u(k−m)(5)应用得到的y̅(1)(k)和u̅(1)(k)按模型a(z−1)y̅(1)(k)=b(z−1)u̅(1)(k)+ε(k)用最小二乘法重新估计θ，得到θ的第2次估值θ̂(2)。
然后按步骤(2)计算残差e(2)(k)，按步骤(3)重新估计f，得到估值f̂(2)。
再按照步骤(4)计算y̅(2)(k)和u̅(2)(k)，按照步骤(5)求θ的第3次估值θ̂(3)。
重复上述循环，之道θ的估值θ̂(i)收敛为止。
5.一种交替的广义最小二乘法求解技术(夏式法)这种方法是夏天长提出来的，又称夏式法。
以上讨论过的广义最小二乘法的特点在于系统的输入和输出信号反复过滤。
