最小二乘类辨识算法

第一部分：程序设计思路、辨识结果分析和算法特点总结 (3)一：RLS遗忘因子法 (3)RLS遗忘因子法仿真思路和辨识结果 (3)遗忘因子法的特点: (4)二：RFF遗忘因子递推算法 (4)仿真思路和辨识结果 (4)遗忘因子递推算法的特点： (6)三:RFM限定记忆法 (6)仿真思路和辨识结果 (6)RFM限定记忆法的特点： (7)四:RCLS偏差补偿最小二乘法 (7)仿真思路和辨识结果 (7)RCLS偏差补偿最小二乘递推算法的特点： (9)五：增广最小二乘法 (9)仿真思路和辨识结果 (9)RELS增广最小二乘递推算法的特点: (11)六：RGLS广义最小二乘法 (11)仿真思路和辨识结果 (11)RGLS广义最小二乘法的特点： (13)七：RIV辅助变量法 (14)仿真思路和辨识结果 (14)RIV辅助变量法的特点： (15)八：Cor-ls相关最小二乘法（二步法） (15)仿真思路和辨识结果 (15)Cor—ls相关最小二乘法（二步法)特点： (17)九：MLS多级最小二乘法 (17)仿真思路和辨识结果 (17)MLS多级最小二乘法的特点: (21)十:yule_walker辨识算法 (21)仿真思路和辨识结果 (21)yule_walker辨识算法的特点: (22)第二部分：matlab程序 (23)一：RLS遗忘因子算法程序 (23)二：RFF遗忘因子递推算法 (24)三:RFM限定记忆法 (26)四:RCLS偏差补偿最小二乘递推算法 (29)五:RELS增广最小二乘的递推算法 (31)六；RGLS 广义最小二乘的递推算法 (33)七:Tally辅助变量最小二乘的递推算法 (37)八：Cor-ls相关最小二乘法（二步法) (39)九:MLS多级最小二乘法 (42)十yule_walker辨识算法 (46)第一部分:程序设计思路、辨识结果分析和算法特点总结一：RLS遗忘因子法RLS遗忘因子法仿真思路和辨识结果仿真对象如下：其中, v(k ）为服从N（0,1)分布的白噪声。

最小二乘法参数辨识1 引言系统辨识是根据系统的输入输出时间函数来确定描述系统行为的数学模型。

现代控制理论中的一个分支。

通过辨识建立数学模型的目的是估计表征系统行为的重要参数，建立一个能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统输出的未来演变，以及设计控制器。

对系统进行分析的主要问题是根据输入时间函数和系统的特性来确定输出信号。

对系统进行控制的主要问题是根据系统的特性设计控制输入，使输出满足预先规定的要求。

而系统辨识所研究的问题恰好是这些问题的逆问题。

通常，预先给定一个模型类μ={M}（即给定一类已知结构的模型），一类输入信号u和等价准则J=L(y，yM)(一般情况下，J是误差函数，是过程输出y和模型输出yM的一个泛函)；然后选择使误差函数J达到最小的模型，作为辨识所要求的结果。

系统辨识包括两个方面：结构辨识和参数估计。

在实际的辨识过程中，随着使用的方法不同，结构辨识和参数估计这两个方面并不是截然分开的，而是可以交织在一起进行的。

2 系统辨识的目的在提出和解决一个辨识问题时，明确最终使用模型的目的是至关重要的。

它对模型类（模型结构）、输入信号和等价准则的选择都有很大的影响。

通过辨识建立数学模型通常有四个目的。

①估计具有特定物理意义的参数有些表征系统行为的重要参数是难以直接测量的，例如在生理、生态、环境、经济等系统中就常有这种情况。

这就需要通过能观测到的输入输出数据，用辨识的方法去估计那些参数。

②仿真仿真的核心是要建立一个能模仿真实系统行为的模型。

用于系统分析的仿真模型要求能真实反映系统的特性。

用于系统设计的仿真，则强调设计参数能正确地符合它本身的物理意义。

③预测这是辨识的一个重要应用方面，其目的是用迄今为止系统的可测量的输入和输出去预测系统输出的未来的演变。

例如最常见的气象预报，洪水预报，其他如太阳黑子预报，市场价格的预测，河流污染物含量的预测等。

预测模型辨识的等价准则主要是使预测误差平方和最小。

递归最小二乘法辨识参数递归最小二乘法（Recursive Least Squares, RLS）是一种参数辨识方法，它使用递归算法来求解最小二乘法中的参数。

在许多领域中，例如系统辨识、自适应控制、信号处理等，递归最小二乘法都是一个广泛使用的方法。

递归最小二乘法的基本思想是：通过递归迭代来更新参数估计值，使其逼近最优解。

在递归过程中，每一次迭代时，都会通过当前的测量值来更新参数的估计值，同时保留历史测量值的影响，从而获得更精确的估计值。

具体地说，在递归过程中，首先需要定义一个初始参数向量，然后通过观测数据序列来递归更新参数向量。

假设有一个如下所示的线性关系：y(k) = Φ(k) * θ + v(k)其中，y(k)是被观测到的输出值，Φ(k)是与该输出值相关的输入向量，θ是待辨识的参数向量，v(k)是误差项。

递归最小二乘法的目标就是通过观测数据来估计θ的值。

在递归最小二乘法中，首先需要定义一个初始的参数向量θ0，然后通过数据序列递归地更新θ的值。

每一次迭代时，都会用最新的观测数据来更新参数向量，使得估计值更接近真实值。

具体来说，每次观测到新的数据之后，都会根据当前参数估计值和新的观测值来计算估计误差，并更新参数向量。

具体的迭代步骤如下：1.从数据序列中读取观测值y(k)和输入向量Φ(k)；2.计算估计值y(k)hat和估计误差e(k)：y(k)hat = Φ(k) * θ(k-1)e(k) = y(k) - y(k)hat3.计算卡尔曼增益K(k)和参数估计值θ(k)：K(k) = P(k-1) * Φ(k) / (λ + Φ(k)' * P(k-1) * Φ(k))θ(k) = θ(k-1) + K(k) * e(k)其中，P(k-1)是先前迭代步骤中的误差协方差矩阵，λ是一个小的正数，用于确保逆矩阵的存在性。

需要注意的是，递归最小二乘法的计算量相对较大，因此通常需要对算法进行优化，以提高计算效率和精度。

《系统辨识基础》第17讲要点第5章 最小二乘参数辨识方法5.9 最小二乘递推算法的逆问题辨识是在状态可测的情况下讨论模型的参数估计问题，滤波是在模型参数已知的情况下讨论状态估计问题，两者互为逆问题。

5.10 最小二乘递推算法的几种变形最小二乘递推算法有多种不同的变形，常用的有七种情况：① 基于数据所含的信息内容不同，对数据进行有选择性的加权； ② 在认为新近的数据更有价值的假设下，逐步丢弃过去的数据； ③ 只用有限长度的数据；④ 加权方式既考虑平均特性又考虑跟综能力； ⑤ 在不同的时刻，重调协方差阵P (k )； ⑥ 设法防止协方差阵P (k )趋于零； 5.10.1 选择性加权最小二乘法 把加权最小二乘递推算法改写成[]⎪⎪⎩⎪⎪⎨⎧--=+--=--+-=-)1()]()([)(1)()1()()()()1()()()]1(ˆ)()()[()1(ˆ)(ˆ1k k k k k k k k k k k k k k k z k k k P h K P h P h h P K h K τττθθθI ΛΛ算法中引进加权因子，其目的是便于考虑观测数据的可信度．选择不同的加权方式对算法的性质会有影响，下面是几种特殊的选择：① 一种有趣的情况是Λ()k 取得很大，在极限情况下，算法就退化成正交投影算法。

也就是说，当选择⎩⎨⎧=-≠-∞=0)()1()(,00)()1()(,)(k k k k k k k h P h h P h ττΛ 构成了正交投影算法⎪⎪⎩⎪⎪⎨⎧--=--=--+-=)1()]()([)()()1()()()1()()]1(ˆ)()()[()1(ˆ)(ˆk k k k k k k k k k k k k z k k k P h K P h P h h P K h K τττθθθI 算法初始值取P ()0=I 及 ()θε0=(任定值)，且当0)()1()(=-k k k h P h τ时，令K ()k =0。

各种最小二乘算法总结1. 一般最小二乘法例 1 考虑如下仿真对象z k 2 1.5 z k 1 0.7 z k u k1 0.5u k v k 其中，v k 为服从N 01 分布的白噪声。

输入信号u k采用M 序列，幅度为1。

M 序列由9 级移位寄存器产生，xi xi 4⊕xi 9 。

选择如下的辨识模型z k 2 a1 z k 1 a2 z k b1u k 1 b2u k vk 观测数据长度取L 400 。

加权阵取∧I 。

1.1. 一次计算最小二乘算法a1 -1.4916 θ LS a 2 H T H 1 H T Z 0.7005 1.1 L L L L 1.0364 b10.4268 b2 Z 3 hT 3 Z 2 Z 1 u 2 u 1 T其中，Z L Z 4 ，H h 4 Z 3 Z 2 u3 u 2 ... L ... ... ... ... ... Z 402 hT 402 Z 401 Z 400 u 401 u 400Matlab程序见附录1。

1.2. 递推最小二乘算法递推最小二乘算法公式：θ k θ kK k P k 1hk h k P k 1hk 1.2 ∧k Pk I K k h k Pk 11 K k z k h k θ k 1 1 13 盛晓婷最小二乘算法总结报告a1 3 初始条件θ 0 a 2 3 P0 100I 。

3 4×4 b1 3 b2经过编程计算，各个参数的估计值为a1 -1.4976 a2程序见附录2。

待估参数0.6802θ LS 1.0284 1.3 b1 0.3341 b2Matlab过渡过程 3 2.5 2 1.5 b1 1 a2 0.5 0 b2 -0.5 -1 a1 -1.5 -2 0 50 100 150200 250 300 350 400 450 图 1 一般最小二乘参数过渡过程 4 盛晓婷最小二乘算法总结报告估计方差变化过程100908070605040302010 0 0 50 100 150 200 250 300 350 400 450 图2 一般最小二乘方差变化过程 5 盛晓婷最小二乘算法总结报告 2.遗忘因子最小二乘算法采用的辨识模型与例1相同。

递推最小二乘法的一般步骤：1. 根据输入输出序列列出最小二乘法估计的观测矩阵ϕ：] )(u ... )1( )( ... )1([)(T b q n k k u n k y k y k ------=ϕ没有给出输出序列的还要先算出输出序列。

本例中， 2)]-u(k 1),-u(k 2),-1),-y(k -[-y(k )(T =k ϕ。

2. 给辨识参数θ和协方差阵P 赋初值。

一般取0θ=0或者极小的数，取σσ,20I P =特别大，本例中取σ=100。

3. 按照下式计算增益矩阵G ：)()1()(1)()1()(k k P k k k P k G T ϕϕϕ-+-= 4. 按照下式计算要辨识的参数θ：)]1(ˆ)()()[()1(ˆ)(ˆ--+-=k k k y k G k k T θϕθθ5. 按照下式计算新的协方差阵P ：)1()()()1()(---=k P k k G k P k P T ϕ6. 计算辨识参数的相对变化量，看是否满足停机准则。

如满足，则不再递推；如不满足，则从第三步开始进行下一次地推，直至满足要求为止。

停机准则：εϑϑϑ<--)(ˆ)1(ˆ)(ˆmax k k k i i i i 本例中由于递推次数只有三十次，故不需要停机准则。

7. 分离参数：将a 1….a na b 1….b nb 从辨识参数θ中分离出来。

8. 画出被辨识参数θ的各次递推估计值图形。

为了说明噪声对递推最小二乘法结果的影响，程序5-7-2在计算模拟观测值时不加噪声， 辨识结果为a1 =1.6417，a2 = 0.7148，b1 = 0.3900，b2 =0.3499，与真实值a1 =1.642， a2 = 0.715， b1 = 0.3900，b2 =0.35相差无几。

程序5-7-2-1在计算模拟观测值时加入了均值为0，方差为0.1的白噪声序列，由于噪声的影响，此时的结果为变值，但变化范围较小，现任取一组结果作为辨识结果。

Harbin Institute of Technology– HIT系统辨识与自适应控制黄显林、班晓军 控制理论与制导技术研究中心 哈尔滨工业大学 banxiaojun@2010-3-15控制理论与制导技术研究中心第1页Harbin Institute of Technology– HIT第四讲 最小二乘参数辨识标准算法内容提要： 1. 最小二乘数学方法引例； 2. 最小二乘辨识方法的基本计算公式； 3. 算法演示与仿真分析； 4. 加权最小二乘法介绍。

2010-3-15控制理论与制导技术研究中心第2页Harbin Institute of Technology– HIT最小二乘方法的典故：1801年左右,德国数学家Gauss，在“星体轨道估计中”就发明了最小二 乘方法。

Gauss, K. F. (1809), Theoria Motus Corporum Celestium, English Translation: Theory of the Motion of Heavenly bodies. Dover(1963), New York.当时的天文界正在为火星和木星间庞大的间隙烦恼不已，认为火星和 木星间应该还有行星未被发现。

在1801年，意大利的天文学家 Piazzi， 发现在火星和木星间有一颗新星。

它被命名为「谷神星」(Cere)。

现在 我们知道它是火星和木星的小行星带中的一个，但当时天文学界争论 不休，有人说这是行星，有人说这是彗星。

必须继续观察才能判决， 但是 Piazzi只能观察到它 9 度的轨道，再来，它便隐身到太阳後面去 了。

因此无法知道它的轨道，也无法判定它是行星或彗星。

2010-3-15控制理论与制导技术研究中心第3页Harbin Institute of Technology– HIT高斯这时对这个问是产生兴趣，他决定解决这个捉摸不到的星体轨 迹的问题。

高斯自己独创了只要三次观察，就可以来计算星球轨道 的方法。

第38卷第8期电力系统保护与控制Vol.38 No.8 2010年4月16日Power System Protection and Control Apr.16, 2010 电网电容电流的最小二乘法辨识算法刘毅敏，高广峰（山西省阳泉市供电分公司，山西 阳泉 045000）摘要：介绍一种测量计算电网电容电流的新方法。

该方法不同于传统测量方法，是在信号注入法的基础上，结合系统辨识理论，从PT二次侧进行采样，通过输入和输出间的数学模型，采用递推式最小二乘法进行辨识计算，最终计算出电网电容电流。

辨识算法的程序开发选用DSP芯片，采用C语言编程，能够达到较高的辨识速度和精度要求。

最后，运用Matlab对电压互感器PT回路的建模，在CCS2.20中仿真运行递推式最小二乘法算法程序，通过试验证实了这种方法的精确性和实时性。

关键词：电容电流；信号注入法；系统辨识；最小二乘法；DSPLeast square identification algorithm of capacitive current in power gridLIU Yi-min，GAO Guang-feng（Yangquan Power Supply Branch，Yangquan 045000，China）Abstract：This paper introduces a new method of measuring capacitive current in power grid. This method is different from the other traditional methods. It is based on the signal injection method and combined with the theory of system identification, sampling data from the secondary side of PT, through the mathematical model between the input and the output, at last, using recursive least square method to identify and calculate the capacitive current. DSP chip is selected to finish the identification algorithm′s program development and C language is adopted for programming, so as to achieve a higher speed and accuracy of identification requirements. Finally, this paper uses the model of PT circuit which is established by Matlab and runs recursive least square algorithm program in CCS2.20 to simulate, to experimentally confirm the accuracy and real-time of this method.Key words：capacitive current；signal injection method；system identification；least square method；DSP中图分类号：TM76 文献标识码：A 文章编号： 1674-3415(2010)08-0049-040 引言目前，我国10～35 kV系统以中性点不接地或经消弧线圈接地（称为小接地电流系统）的方式为主。

最小二乘法参数辨识1 引言系统辨识是根据系统的输入输出时间函数来确定描述系统行为的数学模型。

现代控制理论中的一个分支。

通过辨识建立数学模型的目的是估计表征系统行为的重要参数，建立一个能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统输出的未来演变，以及设计控制器。

对系统进行分析的主要问题是根据输入时间函数和系统的特性来确定输出信号。

对系统进行控制的主要问题是根据系统的特性设计控制输入，使输出满足预先规定的要求。

而系统辨识所研究的问题恰好是这些问题的逆问题。

通常，预先给定一个模型类μ={M}（即给定一类已知结构的模型），一类输入信号u和等价准则J=L(y，yM)(一般情况下，J是误差函数，是过程输出y和模型输出yM的一个泛函)；然后选择使误差函数J达到最小的模型，作为辨识所要求的结果。

系统辨识包括两个方面：结构辨识和参数估计。

在实际的辨识过程中，随着使用的方法不同，结构辨识和参数估计这两个方面并不是截然分开的，而是可以交织在一起进行的。

2 系统辨识的目的在提出和解决一个辨识问题时，明确最终使用模型的目的是至关重要的。

它对模型类（模型结构）、输入信号和等价准则的选择都有很大的影响。

通过辨识建立数学模型通常有四个目的。

①估计具有特定物理意义的参数有些表征系统行为的重要参数是难以直接测量的，例如在生理、生态、环境、经济等系统中就常有这种情况。

这就需要通过能观测到的输入输出数据，用辨识的方法去估计那些参数。

②仿真仿真的核心是要建立一个能模仿真实系统行为的模型。

用于系统分析的仿真模型要求能真实反映系统的特性。

用于系统设计的仿真，则强调设计参数能正确地符合它本身的物理意义。

③预测这是辨识的一个重要应用方面，其目的是用迄今为止系统的可测量的输入和输出去预测系统输出的未来的演变。

例如最常见的气象预报，洪水预报，其他如太阳黑子预报，市场价格的预测，河流污染物含量的预测等。

预测模型辨识的等价准则主要是使预测误差平方和最小。

控制理论与控制工程学位课程《系统辨识》考试报告递推阻尼最小二乘法公式详细推导专业：控制理论与控制工程班级：2011双控（研）学生姓名：江南学号：20110201016任课教师：蔡启仲老师2012年06月29 日摘要在参数辨识中，递推最小二乘法是用得最多的一种算法。

但是，最小二乘法存在一些缺点，如随着协方差矩阵的减小，易产生参数爆发现象；参数向量和协方差矩阵的处置选择不当会使得辨识过程在参数收敛之前结束；在存在随机噪声的情况下，参数易产生漂移，出现不稳定等。

为了防止参数爆发现象，Levenberg 提出在参数优化算法中增加一个阻尼项，以增加算法的稳定性。

本文在一般的最小二乘法中增加了阻尼因子，构成了阻尼最小二乘法。

又根据实时控制的要求，详细推到了递推阻尼最小二乘公式，实现在线辨识。

关键字：系统辨识，最小二乘法，递推算法正文1.题目的基本要求已知单入单出系统的差分方程以及噪声，在应用最小二乘法进行辨识的时候，在性能指标中加入阻尼因子，详细推导阻尼最小二乘法的递推公式。

2.输入辨识信号和系统噪声的产生方法和理论依据 2.1系统辩识信号输入选择准则（1）输入信号的功率或副度不宜过大，以免使系统工作在非线性区，但也不应过小，以致信噪比太小，直接影响辩识精度；（2）输入信号对系统的“净扰动”要小，即应使正负向扰动机会几乎均等； （3）工程上要便于实现，成本低。

2.2白噪声及其产生方法 （1） 白噪声过程（2）白噪声是一种均值为0、谱密度为非0常数的平稳随机过程。

（3）白噪声过程定义：如果随机过程()t ω的均值为0，自相关函数为()()2R t t ωσδ= （2.2.1）式中()t δ 为狄拉克（Dirac) 分布函数，即(){(),00,01t t t dt δδ∞∞=≠∞==⎰-且t （2.2.2）则称该随机过程为白燥声过程。

2.3白噪声序列 (1) 定义 如果随机序列{()}w t 均值为0，并且是两两不相关的，对应的自相关函数为()2,0,1,2w l R l l σδ==±± 式中{1,00,0l l l δ=≠=则称这种随机序列{()}w t 为白噪声序列。