大学2013～2014 学年第－学期期末考试
－系统辨识 (小论文)
题目：最小二乘法综述
学院：电气与信息工程学院系：自动化系
专业：自动化
班级：自动化*班
学生姓名：
学号：
日期：2016/12/27_____________________________
最小二乘法综述
摘要：最小二乘法是一种最基本的辨识方法，本文首先对系统辨识概念以及最小二乘法原理进行了介绍，针对最小二乘存在的缺陷：一是随着数据的增长，最小二乘法将出现所谓的“数据饱和”现象；二是存在有色噪声时不能获得无偏一致估计。进行了分析并阐述了几种能有效解决上述问题的改进型最小二乘法，分别称为遗忘因子法、限定记忆法和广义最小二乘法，并且在Matlab上进行了仿真分析。最后对最小二乘法在系统辨识中的发展趋势做了预测。
关键词：最小二乘法改进型最小二乘法Matlab 发展趋势
引言
系统辨识归根到底是一种数学建模的过程，而建模过程中运用的方法并不唯一，最小二乘法是较早被应用于系统辨识中的一类方法。1962年，L. A. Zadeh 最先提出了系统辨识的定义：“辨识就是在输入和输出数据的基础上，从一组给定的模型类中，确定一个与所测系统等价的模型。”简单的来说，就是在现有数据的基础上，按照一个准则在一组模型类中选择一个与提供的数据拟合得最好的模型。而根据最小二乘法的定义：“最小二乘法是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。”其基本思想就是让实测数据和估计数据之间的平方和最小，这恰恰是系统辨识所需要解决的问题，所以最小二乘法很早就被用来求解辨识中需要的拟合数学模型。
本文在阐述最小二乘法理论的基础上对于其在系统辨识中的应用做了介绍，并指出实际应用中存在的不足，列举了几种改进型的最小二乘算法限定记忆法和遗忘因子法，并通过Matlab进行仿真分析，最后给出了系统辨识的发展趋势。
1.基于最小二乘法的系统辨识的理论基础及应用
1.1最小二乘法历史简介
1801年，意大利天文学家朱赛普〃皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位臵。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希〃奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。
高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。经过两百余年后，最小二乘法已广泛应用与科学实验和工程技术中，随着现代电子计算机的普及与发展，这个方法更加显示出其强大的生命力。
1.2系统辨识的理论基础
从字面上讲，系统辨识( System Identification) 就是识别一个系统、辨识一个系统。系统通常是由表征系统输入输出关系的数学模型描述的，这个模型有其特定的结构和参数。因此，系统辨识包含系统结构辨识( System Structure Identification) 和参数估计( Parameter Estimation) ．
系统结构(或模型结构) 就是系统数学表达式的形式。对单输入单输出线性系统而言，模型结构就是系统的阶次(Order) ；对多变量线性系统而言，模型结构就是系统的能控性结构指数(Controllability Structure Index) 或能观测性结构指数(Observability Structure Index) ，系统阶次等于系统的能控性结构指数或能观测性结构指数之和。对传递函数而言，系统参数就是传递函数分子分母多项式的系数(Coeffi-cient) ，系统阶次就是传递函数分母多项式的次数(Degree) ; 对状态空间模
型而言，系统参数就是状态空间模型的 A ，B ，C ，D 矩阵，就是状态向量的维数或矩阵的维数，它等于系统的能控性结构指数系统阶次或能观测性结构指数之和。
求解系统辨识问题实质上就是找到合适的数学方法来判断系统的结构以及得到系统参数。
1.3最小二乘法原理
最小二乘法作为一种传统的参数估计方法，早已经被大家所了解。 然而大多同学对最小二乘法的认识都比较模糊，仅仅把最小二乘法理解为简单的线性参数估计。 事实上，最小二乘法在参数估计、系统辨识以及预测、预报等众多领域都有着广泛的应用。特别是针对动态系统辨识的方法有很多，但其中应用最广泛，辨识效果良好的就是最小二乘辨识方法，研究最小二乘法在系统辨识中的应用具有现实的、广泛的意义。因此要用最小二乘法解决实际的辨识问题，首先要对最小二乘法有深刻理解。
根据最小二乘法原理，也就是误差的平方和最小原理，设：z(k)为k 时刻的测量值，)('k z 为k 时刻的估计值，误差的平方和
J=∑-k
k z k z 2'))()((,考虑线性离散系统下的差分方程)()()()(01,k v i k u b i k z a k z b
a n i i n i i +-+-=∑∑==，
将其写成最小二乘格式
]
,...,,,...,[)](),...,1(),(),...,1([)()
()()(11,b a n n T b a T b b a a n k u k u n k z k z k h k v k h k z =----=+=θθ
则
()
b a ab T ab T ab T L T
ab ab L L T L L k
T n n n L n h n h H L n z n z z H z H z k h k z J L ,max )]
(),...,1([)](),...,1([)
()())()((2=++=++=--=-=∑θθθ 当处取极值在时，使得∧∧=??θθθJ J 0。 考虑到不同时刻的测量值的可信度，可以引入加权因子Λ（k ）
则 ???????
? ??ΛΛΛ=Λ-Λ-=)(...)(...)1(),()(L k H z H z J L L L L T L L 而θθ 由0=??θ
J 得)()(1L L T L L L T L z H H H ΛΛ=-∧θ 正定即正定，正定时，当2222.,0)(2θ
θ
??∈?>ΛΛ=??ΛJ N k k H H J L L T L L 因此∧
θ使得J 为极小值。 1.4最小二乘法处理辨识问题的应用举例
考虑如下线性系统：
()()()()()()1111a b n a n b z k a z k a z k n bu k b u k n e k +-++-=-++-+ 其中，u(k)为系统激励信号，y(k)为系统输出，e(k)为模型噪声。
其系统模型如图1所示：
图1 SISO 的系统模型结构图
其中G(z -1)是系统函数模型，N(z -1)为有色噪声系统模型，e(k)为白噪声v(k)经过系统函数为N(z -1)的系统后的输出。通常
()()()()()()111111, B z D z G z N z A z C z ------==
式中：
()()11212112121a a b b n n n n A z a z a z a z B z b z b z b z
--------?=++++??=+++?? ()()11212112121c c d d n n n n C z c z c z c z D z d z d z b z
--------?=++++??=+++?? 则系统可表示为：()()()()()()()1111B z D z z k u k v k A z C z ----=
+
设样本和参数集为： 1212()[-(-1) , -(-2), ...... -(-), (-1),(-2), ......, (-)][,,......,,,,......,]T T n n h k z k z k z k n u k u k u k n a a a b b b θ?=?=?
h(k)为可观测的量， 差分方程可写为最小二乘形式
()()()T z k h k e k θ=+
如何在系统噪声e(k)存在的情况下从该方程中正确的解出θ，即是系统辨识的任务。
为了求出θ，我们面临三大问题：一是输入信号的选择，二是判决准则的选
取，三是辨识算法的选择，下面一一探讨。
1.4.1选择输入
为了准确辨识系统参数，我们对输入信号有两大要求，一是信号要能持续的激励系统所有状态，二是信号频带能覆盖系统的频带宽度。除此之外还要求信号有可重复性，不能是不可重复的随机噪声，因此我们通常选择M 序列或逆M 序列作为输入。
1.4.2准则函数
因为本文主要探讨最小二乘类辨识方法，在此选取准则函数
()()()()2
211T k k J e k z k h k θθ∞∞==??==-??????∑∑
使准则函数()min J θ=的θ估计值记做LS θ
，称作参数θ的最小二乘估计值。
在式()()()T z k h k e k θ=+中，令k=1,2,3,……L ，可构成线性方程组： ()()()T L L L z k H k e k θ=+
式中
()()()()()()()()()()()()()()()()()()1122, 010*******L L a b a b L a b z e z e z e z L e L z z n u u n z z n u u n H z L z L n u L u L n ????????????==????????????????----????----??=????------????
准则函数相应变为：
()()()()()
()2211L L T T L L L L k k J e k z k h k z H z H θθθθ==??==-=--??????∑∑
极小化()J θ,求得参数θ的估计值，将使模型更好的预报系统的输出。
1.4.3最小辨识二乘算法
设LS θ 使得()min J θ=，则有 ()
()()0LS T L L L L J z H z H θθθθθθ
??=--=?? 展开上式，并根据以下两个向量微分公式：
()()2 T T T T a x a x x Ax x A A x
?=??=?为对称阵 得正则方程： ()T T L
L LS L L H H H z θ= 当T L L H H 为正则阵时，有()1T T LS L L L L H H H z θ-= 且有()2220LS T L L J H H θθθ?=>? ，所以满足上式的LS θ 唯一使得()min J θ=，这种通过极小化式()min J θ=计算LS θ
的方法称作最小二乘法。而且可以证明，当
噪声e(k)是均值为0的高斯白噪声时，可实现无偏估计。
2.最小二乘法在辨识时存在的问题及其改进型最小二乘法
2.1传统最小二乘存在的问题
最小二乘法存在一些缺陷制约着最小二乘法在系统辨识中的应用，在处理日益复杂的系统辨识问题中，最小二乘法在系统辨识中存在的缺陷逐渐显现出来。主要是有一下两方面的缺陷：一是当模型是有色噪声时，最小二乘参数估计不是无偏、一致估计；二是随着数据的增长，最小二乘法将出现所谓的“数据饱和”现象。这是由于增益矩阵K(k)随着k 的增加将逐渐趋近与零，以致递推算法慢慢失去修正能力之故。本节先给出了最小二乘的递推算法，由递推算法看出“数据饱和”现在，然后阐述了两种解决这种现象的算法称为遗忘因子法和限定记忆法，
最后还阐述了一种解决存在有色噪声不能进行无偏估计的算法，称为广义最小二乘法。
2.2最小二乘法的递推算法
为了减少计算量，减少数据在计算机中占用的内存，并实时辨识出系统动态特性，我们常利用最小二乘法的递推形式。下面我们来推导递推最小二乘算法的原理。
首先，将准则函数的最小二乘一次完成算法写为
()()()()()()1111T T T WLS L L L L L L L L T i i H H H z P L H z h i h i h i z i θ--====????=????????∑∑
定义
()()()()()()11111111k T T k k i k T T k k i P k H H h i h i P k H H h i h i -=----=?==????-==??
∑∑ 式中
()()()()()()11122 1T T T T k k T T h h h h H H h k h k -????????????==????????-????????
式中，h(i)是一个列向量，也就是H L 的第i 行的倒臵，P(k)是一个方阵，它的维数取决于未知参数的个数，假设未知参数的个数是n ，则P(k)的维数是n ×n .。
由定义中的式子可得P(k)的递推关系为：
()()()()()
()()()
11111k T T i T P k h i h i h k h k P k h k h k --=-=+=-+∑
设
()()()()()()11,2,,11,2,,T
k T k z z z z k z z z z k -?=-??????=?
????? 则
()()()()()111111111T T k k k k k i k H H H z P k h i z i θ------=-=??=-????
∑
由此可得：()()()()1
1111k i P k k h i z i θ--=--=∑
由上述推导可得
()()()()()()()()()()()()()()()()()
{}
()()()()()()111111111k T T k k k k i T T k H H H z P k h i z i P k P k k h k z k P k P k h k h k k h k z k k P k h k z k h k k θθθθθ-=--??==??????=--+????=--+????=-+--??∑ 引进增益矩阵K(k)，定义()()()K k P k h k =
式()θ k 可以进一步写为()()()()()()11T k k K k z k h k k θθθ??=-+--??
接下来可以进一步把()P k 写为：
()()()()1
11T P k P k h k h k --??=-+?? 利用矩阵反演公式()()11
1111T T T A CC A A C I C A C C A ------+=-+ 将()P k 演变成：
()()()()()()()()()()()()()()()()1
111111111T T T T P k P k P k h k h k P k h k P k h k P k h k h k I P k h k P k h k -??=-----+??
??-=--??-+?? 将上式代入K(k)中，整理后可得
()()()()()()1
111T K k P k h k h k P k h k -??=--+?? 综合上式可得最小二乘递推参数估计算法RLS
()()()()()()()()()()()()()()()()1111111T T T k k K k z k h k k K k P k h k h k P k h k P k I K k h k P k θθθ-???=-+--??????=--+??????=--????
2.3 遗忘因子递推算法
所谓“数据饱和”饱和现象就是随着时间的推移，采集到的数据越来越多，新数据所提供的信息被淹没在老数据的海洋之中，由上节推导的RLS 可知，k 时刻的参数估计值是依靠新信息与增益矩阵K(k)的乘积来修正的，K(k)的值越大，算法的修正能力越强，可是随着时间k 的增加，K(k)的值会逐渐趋近于零，故算法就会失去修正能力，为此本节阐述的遗忘因子算法能改善这种现象。
这种方法的基本思想是对老数据加上遗忘因子，以降低老数据所提供的信息量，增加新数据的信息量。
设SISO 过程采用如下的数学模型：
-1-1()()()()()A z z k B z u k v k =+
其中u(k)和z(k)是过程的输入输出量，v(k)是零均值的不相关随机噪声，改成最小二乘的格式为：
()()()t z k h k v k θ=+
又可写为：
=+v L L L z H θ
当数据加衰减因子后，一次算法可以写成：
()1()11
?()[()()][()()]L L L i t L i i i L u
h i h i u h i z i θ---===∑∑
其中u 称为遗忘因子，并且u 大于0小于等于1。
定义
1**1111**111()()(){(1)()()k
k i t t k k
i k k i t t k k i P k u h i h i H H P k u h i h i H H --=------==
?-=
?∑∑
则 11()(1)()()t P k uP k h k h k --=-+
最后得
???()(1)()()[()()(1)]t k k P k h k z k h k k θθθ=-+--
令增益矩阵
()()()K k P k h k =
综上分析，遗忘因子的递推算法可以写为：
1???()(1)()[()()(1)]()(1)()[()(1)()]1()[()()](1)01t t t k k K k z k h k k K k P k h k h k P k h k u P k I K k h k P k u u θθθ-??=-+-- ?=--+ ? ?=-- ? ? ?<≤??
可见，遗忘因子的递推算法和普通最小二乘法的递推算法的计算流程基本一致，但是遗忘因子必须选择接近于1的正数，通常不小于0.9，如果过程是线性的，应把u 限定在0.95和1之间。
2.4限定记忆递推算法
最小二乘法或遗忘因子法在一次完成算法中所用的数据长度L 是一定的。但在递推算法中，数据长度L 就不是固定的了，它随着时间k 的推移而逐渐增加。
这意味着老数据所含的信息在不断积累，长期下去新数据所含的信息将被淹没。新数据的作用就会被削弱。这种数据长度岁k 不断增长的辨识算法称作增长记忆法，其特点是老数据所含的信息始终在起作用，相对将影响新数据的作用。另一类辨识算法叫做限定记忆法。这种方法的参数估计值始终依赖于有限个最新数据所提供的信息，每增加一个新数据的信息，就要去掉一个老数据的信息，数据的长度始终保持不变。它的特点是离现时刻L 以前的老数据所含的信息从算法中彻底被刨除，影响参数估计值的数据始终是最新的L 个数据，不像最小二乘法或遗忘因子法那样，不管多老的数据都在起作用。就这点而言，限定记忆法更适合于用来克服“数据饱和”现象。具体算法如下：
首先这里不需要考虑不同时刻测量值得可信度所以1)(=Λk
所以这里最小二乘法递推公式是
)]
1()()()[()1()()
1()]()([)(]1)()1()[()1()(1
--+-=--=+--=∧∧∧-k k h k z k K k k k P k h k K I k P k h k P h k h k P k K T
T T θθθ 限定记忆法的思想是每增加一个新数据的信息就减少一个老数据的信息，使得数据长度保持不变
设第k-1步的时候 )
1()1,(),1()1,(-=-+-=-+∧∧k L k k k P L k k P θθ
第k 步
增加新数据的信息，也就是加入z(k+L),h(k+L)的信息
这里直接用最小二乘法将z(k+L),h(k+L)增加到P 中去
因此，由上式增加后得：
)
1,()](),([),(]1)()1,()[()1,(),()]1,()()()[,()1,()]
1()()()[,()1()
,(1-+++-=+++-++-+=+-++-+++-+=-+-+++-=+=-∧∧∧∧∧
∧L k k P L k h L k k K I L k k P L k h L k k P h L k h L k k P L k k K L k k L k h L k z L k k K L k k k L k h L k z L k k K k L k k T T T T θθθθθθ 去掉k 时刻的数据即z(k),h(k)的信息
去掉k 时刻的数据信息后 Y
T T T L k z k z L k k z L k k z L k k H L k k P L k k z L k k PH L k k L k k H L k k H L k k P P )](),...,1([),1()
,1(),1(),1()
,1(),1(),1()),1(),1((),1(1
++=++++++++=++++=++++++=++=∧
-这里θ 最后整理得 1???(1,)(,)(1,)[()()(,)(1,)(,)()[1()(,)()](1,)[(1,)()](,)???(,)(,1)(,)[()()(,1)(,)t t t t k k L k k L K k k L z k h k k k L K k k L P k k L h k h k P k k L h k P k k L I K k k L h k P k k L k k L k k L K k k L z k L h k L k k L K k k L θθθθθθ-++=+-++-+++=+-+++=+++++=+-+++-++-+1(,1)()[1()(,1)()](,)[(,)()](,1)t t P k k L h k L h k L P k k L h k L P k k L I K k k L h k L P k k L -?? ? ? ? ? ? ?=+-++++-+ ? ?+=-+++-??
2.5广义二乘递推算法
设SISO 系统采用如下模型：
()()()()()
()1111A z z k B z u k v k C z ---=+
其中A(z -1)，B(z -1)和C(z -1)的定义见1.4节 假定模型阶次n a ，n b 和n c 已知，用广义最小二乘法可以得到无偏一致估计。
令
()()()()()()
11f f z k C z z k u k C z u k --?=??=?? 及
()()()()()1212[,,,,,,,]1,,,1,,a b T n n T f f f a f f b a a a b b b h k z k z k n u k u k n θ?=???
?=------???? 将模型化为最小二乘格式：()()()T
f f z k h k v k θ=+
由于v(k)是白噪声，所以用最小二乘可以获得参数θ的无偏估计，由于噪声模型C(z -1)未知，还需要用迭代的方法来求得C(z -1)。令
()()
()11e k v k C z -=
臵 ()()()()12[,,,]1,,c T e n T e c k c c c h k e k e k n θ?=??=----?
????? 这样就把噪声模型也转变为最小二乘格式：()()()T e e e k h k v k θ=+
由于上式中的噪声已为白噪声，所以用最小二乘也可获得参数θe 的无偏估计，但是数据向量中依然含有不可测的噪声量()()1,,c e k e k n ----???? ，可用相
应的估计值来代替，臵()()()1,,T e c h k e k e k n =----???
? ，其中k <0时，e(k)=0；k >0时，按照
()()()T e k z k h k θ=-
计算，式中
()()()()()1,,,1,,T
a b h k z k z k n u k u k n =------???? 综上所述，广义最小二乘法可归纳为
()()()()()()()()()()()()()()()()()()()()()()()()()()()()()()()()1
1111111111111T f f f T f
f f f f T f f f f T e e e e e T e e e e e e T e e e e k k K k z k h k k K k P k h k h k P k h k P k I K k h k P k k k K k e k h k k K k P k h k h k P k h k P k I K k h k P k θθθθθθ--???=-+--??????=--+??????=--??????=-+--???????=--+??????=--???
3.仿真结果与性能比较
3.1仿真模型
模型选用差分方程：
(+2）=1.5*z(k+1)-0.7*z(k)+u(k+1)+0.5u(k)+v(k)z k
噪信比为0.73
其中v(k)为正态分布的白噪声。u(k)为取值1和-1的逆M 序列，系统参数可以表示为θ=[-1.5 0.7 1 0.5]
3.2遗忘因子递推算法的仿真结果
=0，遗忘因子u=0.98。则参数估计值的变取数据长度L=402，初始条件θ
化过程如图：
估计方差变化过程：
最后的参数估计值θ=[-1.5150 0.7477 1.0886 0.6354]
3.3 限定记忆递推算法的仿真结果
取数据长度L 0=402，记忆长度L=20，初始条件θ0=0。则参数估计值的变化过程如图：
估计方差变化过程：
最后的参数估计值θ=[ -1.4786 0.6768 0.9608 0.5129]
3.4 限定记忆法和遗忘因子法结果分析与比较
从遗忘因子法和限定记忆法的最终估计值来看，两者的效果基本差不多。但遗忘因子法的参数跟踪过程变化浮动比较大，而限定记忆法则相对平稳许多，这说明遗忘因子法是新老数据一起起作用才造成这个结果，即对老数据加上遗忘因子，以降低老数据对辨识的影响，相对增加新数据对辨识的影响，不会出现“数据饱和”现象，这也只是消弱影响，并没有完全剔除老数据的影响。但是限定记忆法辨识所使用的数据长度保持不变，每增加一个新数据就抛掉一个老数据，使参数估计值始终只依赖于有限个新数据所提供的新消息，克服了遗忘因子法不管多老的数据都在起作用的缺点，因此该算法更能有效的克服数据饱和现象。3.5 广义最小二乘递推算法的仿真结果
实际给定的方程为：Z(k+2)=1.5*Z(k+1)-0.7*Z(k)+u(k+1)+0.5*u(k)+e(k)，
e(k+2)+2.1*e(k+1)-2.5*e(k)=v(k+2)，
即实际的a1=-1.5,a2=0.7,b1=1,b2=0.5。
程序运行结果如图：
估计方差变化过程：
最小二乘法在系统辨识中的应用 王文进 控制科学与控制工程学院 控制理论与控制工程专业 2009010211 摘要：在实际的工程中，经常要对一个系统建立数学模型。很多时候，要面对一个未知的系统，对于这些未知系统，我们所知道的仅仅是它们的一些输入输出数据，我们要根据这些测量的输入输出数据，建立系统的数学模型。由此诞生了系统辨识这门科学，系统辨识就是研究怎样利用对未知系统的输入输出数据建立描述系统的数学模型的科学。系统辨识在工程中的应用非常广泛，系统辨识的方法有很多种，最小二乘法是一种应用及其广泛的系统辨识方法。本文主要讲述了最小二乘估计在系统辨识中的应用。 首先，为了便于介绍，用一个最基本的单输入单输出模型来引入系统辨识中的最小二乘估计。 例如：y = ax + （1） 其中：y、x 可测，为不可测的干扰项，a未知参数。通过N 次实验，得到测量数据y k和x k ，其中k=1、2、3、…，我们所需要做的就是通过这N次实验得到的数据，来确定未知参数a 。在忽略不可测干扰项的前提下，基本的思想就是要使观测点y k和由式（1）确定的估计点y的差的平方和达到最小。用公式表达出来就是要使J最小： 确定未知参数a的具体方法就是令： J a = 0 , 导出 a 通过上面最基本的单输入单输出模型，我们对系统辨识中的最小二乘法有了初步的了解，但在实际的工程中，系统一般为多输入系统，下面就用一个实际的例子来分析。在接下来的表述中，为了便于区分，向量均用带下划线的字母表示。 水泥在凝固过程中，由于发生了一系列的化学反应，会释放出一定的热量。若水泥成分及其组成比例不同，释放的热量也会不同。 水泥凝固放热量与水泥成分的关系模型如下： y = a0+ a1x1+…+ a n x n + 其中，y为水泥凝固时的放热量（卡/克）；x1~x2为水泥的几种成分。
最小二乘法及其应用 1． 引言 最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法 所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为： 21022)()(m in i i i i i x b b Y Y Y e --=-=∑∑∑∧ 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例. i i i x B B Y μ++=10 （一元线性回归方程）
最小二乘参数估计 摘要： 最小二乘的一次性完成辨识算法（也称批处理算法），他的特点是直接利用已经获得的所有（一批）观测数据进行运算处理。这种算法在使用时，占用内存大，离线辨识，观测被辨识对象获得的新数据往往是逐次补充到观测数据集合中去的。在应用一次完成算法时，如果要求在每次新增观测数据后，接着就估计出系统模型的参数，则需要每次新增数据后要重新求解矩阵方程()Z l T l l T l ΦΦΦ-∧=1θ。 最小二乘辩识方法在系统辩识领域中先应用上已相当普及，方法上相当完善，可以有效的用于系统的状态估计，参数估计以及自适应控制及其他方面。 关键词： 最小二乘（Least-squares ），系统辨识（System Identification ） 目录： 1.目的 (1) 2.设备 (1) 3引言 (1) 3.1 课题背景 (1) 4数学模型的结构辨识 (2) 5 程序 (3) 5.1 M 序列子函数 ................................................................................. 错误！未定义书签。 5.2主程序............................................................................................... 错误！未定义书签。 6实验结果： ................................................................................................................................... 3 7参考文献： ................................................................................................. 错误！未定义书签。 1.目的 1.1掌握系统辨识的理论、方法及应用 1.2熟练Matlab 下最小二乘法编程 1.3掌握M 序列产生方法 2.设备 PC 机1台（含Matlab 软件） 3引言 3.1 课题背景 最小二乘理论是有高斯（K.F.Gauss ）在1795年提出：“未知量的最大可能值是这样一个数值，它使各次实际观测值和计算值之间的差值的平方乘以度量其精度的数值以后的和最小。”这就是最小二乘法的最早思想。 最小二乘辨识方法提供一个估算方法，使之能得到一个在最小方差意义上与实验数据最
《系统辨识》基于MATLAB的最小二乘法（一阶）的仿真 clc clear % ①白噪声的生成过程如下：e=randn(1,500); e=e/std(e); e=e-mean(e); A=0; %白噪声的均值为0 B=sqrt(0.1); %白噪声的方差为0.1 e=A+B*e; %绘制白噪声图 k=1:500; subplot(4,1,1) %画四行一列图形窗口中的第一个图形 plot(k,e,'r'); xlabel('k'), ylabel('e');title('(0,1)均匀分布的随机序列') % ②生成M序列的过程如下：X1=1;X2=0;X3=1;X4=0; %移位寄存器输入Xi初始状态（0101）， Yi寄存器的各级输出 m=500; %M序列的总长度 for i=1:m Y4=X4; Y3=X3; Y2=X2; Y1=X1; X4=Y3; X3=Y2; X2=Y1; X1=xor(Y3,Y4); %异或运算 if Y4==0 U(i)=-1; else U(i)=Y4; end end M=U; u=U; %绘制M序列图? i1=i k=1:1:i1; subplot(4,1,2) %画四行一列图形窗口中的第二个图形 plot(k,U,k,U,'rx') stem(M) xlabel('k') ylabel('M序列') title('移位寄存器产生的M序列') % ③参数估计的过程如下： %绘制参数估计的相关图形 z=zeros(1,500); %定义输出观测值的长度 for k=2:500 z(k)=0.9*z(k-1)+u(k-1)+e(k);%用理想输出值作为观测值 end subplot(4,1,3) %画四行一列图形窗口中的第三个图形 i=1:1:500; %横坐标的范围从1到500，步长为1 plot(i,z) %图形的横坐标是采样时刻i，纵坐标是输出观测值Z， 图形格式为连续曲线
曲线拟合及其应用综述 摘要：本文首先分析了曲线拟合方法的背景及在各个领域中的应用，然后详细介绍了曲线拟合方法的基本原理及实现方法，并结合一个具体实例，分析了曲线拟合方法在柴油机故障诊断中的应用，最后对全文内容进行了总结，并对曲线拟合方法的发展进行了思考和展望。 关键词：曲线拟合最小二乘法故障模式识别柴油机故障诊断 1背景及应用 在科学技术的许多领域中，常常需要根据实际测试所得到的一系列数据，求出它们的函数关系。理论上讲，可以根据插值原则构造n 次多项式Pn(x)，使得Pn(x)在各测试点的数据正好通过实测点。可是, 在一般情况下，我们为了尽量反映实际情况而采集了很多样点，造成了插值多项式Pn(x)的次数很高，这不仅增大了计算量，而且影响了函数的逼近程度；再就是由于插值多项式经过每一实测样点，这样就会保留测量误差，从而影响逼近函数的精度，不易反映实际的函数关系。因此，我们一般根据已知实际测试样点，找出被测试量之间的函数关系，使得找出的近似函数曲线能够充分反映实际测试量之间的关系，这就是曲线拟合。 曲线拟合技术在图像处理、逆向工程、计算机辅助设计以及测试数据的处理显示及故障模式诊断等领域中都得到了广泛的应用。 2 基本原理 2.1 曲线拟合的定义 解决曲线拟合问题常用的方法有很多，总体上可以分为两大类：一类是有理论模型的曲线拟合，也就是由与数据的背景资料规律相适应的解析表达式约束的曲线拟合；另一类是无理论模型的曲线拟合，也就是由几何方法或神经网络的拓扑结构确定数据关系的曲线拟合。 2.2 曲线拟合的方法 解决曲线拟合问题常用的方法有很多，总体上可以分为两大类：一类是有理论模型的曲线拟合，也就是由与数据的背景资料规律相适应的解析表达式约束的曲线拟合；另一类是无理论模型的曲线拟合，也就是由几何方法或神经网络的拓扑结构确定数据关系的曲线拟合。 2.2.1 有理论模型的曲线拟合 有理论模型的曲线拟合适用于处理有一定背景资料、规律性较强的拟合问题。通过实验或者观测得到的数据对（x i,y i）（i=1,2, …,n），可以用与背景资料规律相适应的解析表达式y=f(x,c)来反映x、y之间的依赖关系，y=f(x,c)称为拟合的理论模型，式中c=c0,c1,…c n是待定参数。当c在f中线性出现时，称为线性模型，否则称为非线性模型。有许多衡量拟合优度的标准，最常用的方法是最小二乘法。 2.2.1.1 线性模型的曲线拟合 线性模型中与背景资料相适应的解析表达式为： ε β β+ + =x y 1 （1） 式中，β0，β1未知参数，ε服从N(0，σ2)。 将n个实验点分别带入表达式（1）得到： i i i x yε β β+ + = 1 （2） 式中i=1,2,…n，ε1, ε2,…, εn相互独立并且服从N(0，σ2)。 根据最小二乘原理，拟合得到的参数应使曲线与试验点之间的误差的平方和达到最小，也就是使如下的目标函数达到最小： 2 1 1 ) ( i i n i i x y Jε β β- - - =∑ = （3） 将试验点数据点入之后，求目标函数的最大值问题就变成了求取使目标函数对待求参数的偏导数为零时的参数值问题，即： ) ( 2 1 1 = - - - - = ? ?∑ = i i n i i x y J ε β β β （4）
用matlab实现最小二乘递推算法辨识系统参 数 自动化系统仿真实验室指导教师： 学生姓名班级计082-2 班学号撰写时间： 全文结束》》-3-1 成绩评定： 一．设计目的 1、学会用Matlab实现最小二乘法辨识系统参数。 2、进一步熟悉Matlab的界面及基本操作； 3、了解并掌握Matlab中一些函数的作用与使用；二．设计要求最小二乘递推算法辨识系统参数，利用matlab编程实现，设初始参数为零。z(k)-1、5*z(k-1)+0、7*z(k-2)=1*u(k-1)+0、5*u(k-2)+v(k); 选择如下形式的辨识模型：z(k)+a1*z(k- 1)+a2*z(k-2)=b1*u(k-1)+b2*u(k-2)+v(k);三．实验程序 m=3;N=100;uk=rand(1,N);for i=1:Nuk(i)=uk(i)*(-1)^(i-1);endyk=zeros(1,N); for k=3:N yk(k)=1、5*yk(k-1)-0、 7*yk(k-2)+uk(k-1)+0、5*uk(k-2); end%j=100;kn=0;%y=yk(m:j);%psi=[yk(m-1:j-1);yk(m-2:j-2);uk(m-1:j-1);uk(m-2:j- 2)];%pn=inv(psi*psi);%theta=(inv(psi*psi)*psi*y);theta=[0 ;0;0;0];pn=10^6*eye(4);for t=3:Nps=([yk(t-1);yk(t-
2);uk(t-1);uk(t-2)]);pn=pn- pn*ps*ps*pn*(inv(1+ps*pn*ps));theta=theta+pn*ps*(yk(t)-ps*theta);thet=theta;a1=thet(1);a2=thet(2);b1=thet(3);b2= thet(4); a1t(t)=a1;a2t(t)=a2;b1t(t)=b1;b2t(t)=b2;endt=1:N;plot(t,a 1t(t),t,a2t(t),t,b1t(t),t,b2t(t));text(20,1、 47,a1);text(20,-0、67,a2);text(20,0、97,b1);text(20,0、47,b2);四．设计实验结果及分析实验结果图：仿真结果表明，大约递推到第步时，参数辨识的结果基本到稳态状态，即a1=1、5999，b1=1，c1=0、5，d1=-0、7。五、设计感受这周的课程设计告一段落了，时间短暂，意义重大。通过这次次练习的机会，重新把matlab课本看了一遍，另外学习了系统辨识的有关内容，收获颇丰。对matlab的使用更加纯熟，也锻炼了自己在课本中搜索信息和知识的能力。在设计过程中虽然遇到了一些问题，但经过一次又一次的思考，一遍又一遍的检查终于找出了原因所在，也暴露出了前期我在这方面的知识欠缺和经验不足。同时我也进一步认识了matlab软件强大的功能。在以后的学习和工作中必定有很大的用处。
一、 递推最小二乘法 递推最小二乘法的一般步骤： 1. 根据输入输出序列列出最小二乘法估计的观测矩阵?： ] )(u ... )1( )( ... )1([)(T b q n k k u n k y k y k ------=? 没有给出输出序列的还要先算出输出序列。 本例中， 2)]-u(k 1),-u(k 2),-1),-y(k -[-y(k )(T =k ?。 2. 给辨识参数θ和协方差阵P 赋初值。一般取0θ=0或者极小的数，取σσ,20I P =特别大，本例中取σ=100。 3. 按照下式计算增益矩阵G ： ) ()1()(1)()1()(k k P k k k P k G T ???-+-= 4. 按照下式计算要辨识的参数θ： )]1(?)()()[()1(?)(?--+-=k k k y k G k k T θ?θθ 5. 按照下式计算新的协方差阵P ： )1()()()1()(---=k P k k G k P k P T ? 6. 计算辨识参数的相对变化量，看是否满足停机准则。如满足，则不再递推；如不满足， 则从第三步开始进行下一次地推，直至满足要求为止。 停机准则：ε???<--) (?)1(?)(?max k k k i i i i 本例中由于递推次数只有三十次，故不需要停机准则。 7. 分离参数：将a 1….a na b 1….b nb 从辨识参数θ中分离出来。 8. 画出被辨识参数θ的各次递推估计值图形。 为了说明噪声对递推最小二乘法结果的影响，程序5-7-2在计算模拟观测值时不加噪 声， 辨识结果为a1 =1.6417，a2 = 0.7148，b1 = 0.3900，b2 =0.3499，与真实值a1 =1.642， a2 = 0.715， b1 = 0.3900，b2 =0.35相差无几。 程序5-7-2-1在计算模拟观测值时加入了均值为0，方差为0.1的白噪声序列，由于噪 声的影响，此时的结果为变值，但变化范围较小，现任取一组结果作为辨识结果。辨识结果为a1 =1.5371， a2 = 0.6874， b1 = 0.3756，b2 =0.3378。 程序5-7-2-2在计算模拟观测值时加入了有色噪声，有色噪声为 E(k)+1.642E(k-1)+0.715E(k-2)，E(k)是均值为0，方差为0.1的白噪声序列，由于有色噪声的影响，此时的辨识结果变动范围远比白噪声时大，任取一组结果作为辨识结果。辨识结果为a1 =1.6676， a2 = 0.7479， b1 = 0.4254，b2 =0.3965。 可以看出，基本的最小二乘法不适用于有色噪声的场合。
毕业论文文献综述 信息与计算科学 最小二乘法的原理及应用 一、国内外状况 国际统计学会第56届大会于2007年8月22-29日在美丽的大西洋海滨城市、葡萄牙首都里斯本如期召开。应大会组委会的邀请，以会长李德水为团长的中国统计学会代表团一行29人注册参加了这次大会。北京市统计学会、山东省统计学会，分别组团参加了这次大会。中国统计界（不含港澳台地区）共有58名代表参加了这次盛会。本届大会的特邀论文会议共涉及94个主题，每个主题一般至少有3-5位代表做学术演讲和讨论。通过对大会论文按研究内容进行归纳，特邀论文大致可以分为四类：即数理统计，经济、社会统计和官方统计，统计教育和统计应用。 数理统计方面。数理统计作为统计科学的一个重要部分，特别是随机过程和回归分析依然展现着古老理论的活力，一直受到统计界的重视并吸引着众多的研究者。本届大会也不例外。 二、进展情况 数理统计学19世纪的数理统计学史, 就是最小二乘法向各个应用领域拓展的历史席卷了统计大部分应用的几个分支——相关回归分析, 方差分析和线性模型理论等, 其灵魂都在于最小二乘法; 不少近代的统计学研究是在此法的基础上衍生出来, 作为其进一步发展或纠正其不足之处而采取的对策, 这包括回归分析中一系列修正最小二乘法而导致的估计方法。 数理统计学的发展大致可分 3 个时期。① 20 世纪以前。这个时期又可分成两段，大致上可以把高斯和勒让德关于最小二乘法用于观测数据的误差分析的工作作为分界线，前段属萌芽时期，基本上没有超出描述性统计量的范围。后一阶段可算作是数理统计学的幼年阶段。首先，强调了推断的地位，而摆脱了单纯描述的性质。由于高斯等的工作揭示了最小二乘法的重要性，学者们普遍认为，在实际问题中遇见的几乎所有的连续变量，都可以满意地用最小二乘法来刻画。这种观点使关于最小二乘法得到了深入的发展，②20世纪初到第二次世界大战结束。这是数理统计学蓬勃发展达到成熟的时期。许多重要的基本观点和方法，以及数理统计学的主要分支学科，都是在这个时期建立和发展起来的。这个时期的成就，包含了至今仍在广泛使用的大多数统计方法。在其发展中，以英国统计学家、生物学家费希尔为代表的英国学派起了主导作用。③战后时期。这一时期中，数理统计学在应用和理论两方面继续获得很大的进展。
控制理论与控制工程 学位课程《系统辨识》考试报告 递推阻尼最小二乘法公式详细 推导 专业：控制理论与控制工程 班级：2011双控（研） 学生姓名：江南 学号：20110201016 任课教师：蔡启仲老师 2012年06月29 日
摘要 在参数辨识中，递推最小二乘法是用得最多的一种算法。但是，最小二乘法存在一些缺点，如随着协方差矩阵的减小，易产生参数爆发现象；参数向量和协方差矩阵的处置选择不当会使得辨识过程在参数收敛之前结束；在存在随机噪声的情况下，参数易产生漂移，出现不稳定等。为了防止参数爆发现象，Levenberg 提出在参数优化算法中增加一个阻尼项，以增加算法的稳定性。本文在一般的最小二乘法中增加了阻尼因子，构成了阻尼最小二乘法。又根据实时控制的要求，详细推到了递推阻尼最小二乘公式，实现在线辨识。 关键字：系统辨识，最小二乘法，递推算法 正文 1.题目的基本要求 已知单入单出系统的差分方程以及噪声，在应用最小二乘法进行辨识的时候，在性能指标中加入阻尼因子，详细推导阻尼最小二乘法的递推公式。 2.输入辨识信号和系统噪声的产生方法和理论依据 2.1系统辩识信号输入选择准则 （1）输入信号的功率或副度不宜过大，以免使系统工作在非线性区，但也不应过小，以致信噪比太小，直接影响辩识精度； （2）输入信号对系统的“净扰动”要小，即应使正负向扰动机会几乎均等； （3）工程上要便于实现，成本低。 2.2白噪声及其产生方法 （1） 白噪声过程 （2）白噪声是一种均值为0、谱密度为非0常数的平稳随机过程。 （3）白噪声过程定义：如果随机过程 () t ω的均值为0，自相关函数为 ()()2 R t t ωσδ= （2.2.1） 式中()t δ 为狄拉克（Dirac) 分布函数，即 (){ (),00,0 1t t t dt δδ∞ ∞=≠∞ ==? -且t （2.2.2） 则称该随机过程为白燥声过程。 2.3白噪声序列 (1) 定义 如果随机序列{() }w t 均值为0，并且是两两不相关的，对应的自相关函数为 ()2 ,0,1,2w l R l l σδ==±± 式中{1,0 0,0 l l l δ=≠=则称这种随机序列{()}w t 为白噪声序列。 2.4白噪声序列的产生方法 (1) （0，1）均匀分布随机数的产生 在计算机上产生（0，1）均匀分布随机数的方法很多，其中最简单、最方便的是数学方法。产生伪随机数的数学方法很多，其中最常用的是乘同余法和混合同余法。 ①乘同余法。
最小二乘法综述及算例 一最小二乘法的历史简介 1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。 高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。 经过两百余年后，最小二乘法已广泛应用与科学实验和工程技术中，随着现代电子计算机的普及与发展，这个方法更加显示出其强大的生命力。 二最小二乘法原理 最小二乘法的基本原理是：成对等精度测得的一组数据),...,2,1(,n i y x i i =，是找出一条最佳的拟合曲线，似的这条曲线上的个点的值与测量值的差的平方和在所有拟合曲线中最小。 设物理量y 与1个变量l x x x ,...,2,1间的依赖关系式为:)(,...,1,0;,...,2,1n l a a a x x x f y =。 其中n a a a ,...,1,0是n +l 个待定参数,记()2 1 ∑=- = m i i i y v s 其中 是测量值, 是由己求 得的n a a a ,...,1,0以及实验点),...,2,1)(,...,(;,2,1m i v x x x i il i i =得出的函数值 )(,...,1,0;,...,2,1n il i i a a a x x x f y =。 在设计实验时, 为了减小误差, 常进行多点测量, 使方程式个数大于待定参数的个数, 此时构成的方程组称为矛盾方程组。通过最小二乘法转化后的方程组称为正规方程组(此时方程式的个数与待定参数的个数相等) 。我们可以通过正规方程组求出a 最小二乘法又称曲线拟合, 所谓“ 拟合” 即不要求所作的曲线完全通过所有的数据点, 只要求所得的曲线能反映数据的基本趋势。 三曲线拟合 曲线拟合的几何解释: 求一条曲线, 使数据点均在离此曲线的上方或下方不远处。 （1）一元线性拟合 设变量y 与x 成线性关系x a a y 10+=,先已知m 个实验点),...,2,1(,m i v x i i =，求两个未知参数1,0a a 。 令()2 1 10∑ =--=m i i i x a a y s ，则1,0a a 应满足1,0,0==??i a s i 。 即 i v i v
---------------------------------------------------------------最新资料推荐------------------------------------------------------ 基于最小二乘法的系统辨识的设计与开发（整理版）课程（论文）题目： 基于最小二乘法的系统辨识摘要： 最小二乘法是一种经典的数据处理方法。 最小二乘的一次性完成辨识算法（也称批处理算法），他的特点是直接利用已经获得的所有（一批）观测数据进行运算处理。 在系统辨识领域中, 最小二乘法是一种得到广泛应用的估计方法, 可用于动态系统, 静态系统, 线性系统, 非线性系统。 在随机的环境下，利用最小二乘法时，并不要求观测数据提供其概率统计方面的信息，而其估计结果，却有相当好的统计特性。 关键词： 最小二乘法；系统辨识；参数估计 1 引言最小二乘理论是有高斯（ K.F.Gauss）在 1795 年提出： 未知量的最大可能值是这样一个数值，它使各次实际观测值和计算值之间的差值的平方乘以度量其精度的数值以后的和最小。 这就是最小二乘法的最早思想。 最小二乘辨识方法提供一个估算方法，使之能得到一个在最小方差意义上与实验数据最好拟合的数学模型。 递推最小二乘法是在最小二乘法得到的观测数据的基础上，用新引入的数据对上一次估计的结果进行修正递推出下一个参数估计值，直到估计值达到满意的精确度为止。 1 / 10
对工程实践中测得的数据进行理论分析，用恰当的函数去模拟数据原型是一类十分重要的问题，最常用的逼近原则是让实测数据和估计数据之间的距离平方和最小，这即是最小二乘法。 最小二乘法是一种经典的数据处理方法。 在随机的环境下，利用最小二乘法时，并不要求观测数据提供其概率统计方面的信息，而其估计结果，却有相当好的统计特性。 2 最小二乘法的系统辨识设单输入单输出线性定常系统的差分方程为： 1),()()() 1()(01knkubkubnkxakxakxnn （ 1）上式中： )(ku为输入信号；)(kx为理论上的输出值。 )(kx只有通过观测才能得到，在观测过程中往往附加有随机干扰。 )(kx的观测值)(ky可表示为 （ 2）将式（ 2）代入式（ 1）得 1()()() 1()(101kubkubnkyakyakyn (3) 我们可能不知道)(kn的统计特性，在这种情况下，往往把)(kn看做均值为 0 的白噪声。 设 （ 4）则式（ 3）可以写成 (5) 在测量)(ku时也有测量误差，系统内部也可能有噪声，应当
西北工业大学系统辩识大作业 题目：最小二乘法系统辨识
一、 问题重述： 用递推最小二乘法、加权最小二乘法、遗忘因子法、增广最小二乘法、广义最小二乘法、辅助变量法辨识如下模型的参数 离散化有 z^4 - 3.935 z^3 + 5.806 z^2 - 3.807 z + 0.9362 ---------------------------------------------- = z^4 - 3.808 z^3 + 5.434 z^2 - 3.445 z + 0.8187 噪声的成形滤波器 离散化有 4.004e-010 z^3 + 4.232e-009 z^2 + 4.066e-009 z + 3.551e-010 ----------------------------------------------------------------------------- = z^4 - 3.808 z^3 + 5.434 z^2 - 3.445 z + 0.8187 采样时间0.01s 要求：1.用Matlab 写出程序代码； 2.画出实际模型和辨识得到模型的误差曲线； 3.画出递推算法迭代时各辨识参数的变化曲线； 最小二乘法: 在系统辨识领域中 ,最小二乘法是一种得到广泛应用的估计方法 ,可用于动态 ,静态 , 线性 ,非线性系统。在使用最小二乘法进行参数估计时 ,为了实现实时控制 ,必须优化成参数递推算法 ,即最小二乘递推算法。这种辨识方法主要用于在线辨识。MATLAB 是一套高性能数字计算和可视化软件 ,它集成概念设计 ,算法开发 ,建模仿真 ,实时实现于一体 ,构成了一个使用方便、界面友好的用户环境 ,其强大的扩展功能为各领域的应用提供了基础。对 4324326.51411.5320120232320 Y s s s s G U s s s s ++++== ++++432 120120232320 E N W s s s s == ++++
系统辨识最小二乘法大作业 系统辨识大作业最小二乘法及其相关估值方法应用 学院:自动化学院 专业:信息工程 学号:2007302171 姓名:马志强 日期:2010.11.14 基于最小二乘法的多种系统辨识方法研究 1. 最小二乘法的引出 在系统辨识中用得最广泛的估计方法是最小二乘法(LS)。 设单输入-单输出线性定长系统的差分方程为 (5.1.1) 式中:为随机干扰;为理论上的输出值。只有通过观测才能得到，在观测过程中往往附加有随机干扰。的观测值可表示为
(5.1.2) 式中:为随机干扰。由式(5.1.2)得 (5.1.3) 将式(5.1.3)带入式(5.1.1)得 (5.1.4) 我们可能不知道的统计特性，在这种情况下，往往把看做均值为0的白噪声。 设 (5.1.5) 则式(5.1.4)可写成 (5.1.6) 在观测时也有测量误差，系统内部也可能有噪声，应当考虑它们的影响。因此假定不仅包含了的测量误差，而且包含了的测量误差和系统内部噪声。假定是不相关随机序列(实际上是相关随机序列)。 现分别测出个随机输入值，则可写成个方程，即 上述个方程可写成向量-矩阵形式 (5.1.7) 设 则式(5.1.7)可写为 (5.1.8) 式中:为维输出向量;为维噪声向量;为维参数向量;为测量矩阵。因此式(5.1.8)是一个含有个未知参数，由个方程组成的联立方程组。如果，方程数少于未知数数目，则方程组的解是不定的，不能唯一地确定参数向量。如果，方程组正好与未知数数目相等，当噪声时，就能准确地解出 (5.1.9) 如果噪声，则
(5.1.10) 从上式可以看出噪声对参数估计是有影响的，为了尽量较小噪声对估值的影响。在给定输出向量和测量矩阵的条件下求系统参数的估值，这就是系统辨识问题。可用最小二乘法来求的估值，以下讨论最小二乘法估计。 2. 最小二乘法估计算法 设表示的最优估值，表示的最优估值，则有 (5.1.11) 写出式(5.1.11)的某一行，则有 (5.1.12) 设表示与之差，即 - (5.1.13) 式中 成为残差。把分别代入式(5.1.13)可得残差。设 则有 (5.1.14) 最小二乘估计要求残差的平方和为最小，即按照指数函数 (5.1.15) 为最小来确定估值。求对的偏导数并令其等于0可得 (5.1.16) (5.1.17) 由式(5.1.17)可得的最小二乘估计 (5.1.18) 3.递推最小二乘法 为了实现实时控制，必须采用递推算法，这种辨识方法主要用于在线辨识。 设已获得的观测数据长度为，将式(5.1.8)中的和分别用来代替， 即 (5.3.1) 用的最小二乘估计，则 (5.3.2)
方法一、最小二乘一次性算法： 首先对最小二乘法的一次性辨识算法做简要介绍如下： 过程的黑箱模型如图所示： 其中u(k)和z(k)分别是过程的输入输出，)(1-z G 描述输入输出关系的模型，成为过程模型。 过程的输入输出关系可以描述成以下最小二乘格式： )()()(k n k h k z T +=θ （1） 其中z(k)为系统输出，θ是待辨识的参数，h(k)是观测数据向量，n(k) 是均值为0的随机噪声。 利用数据序列{z （k ）}和{h （k ）}极小化下列准则函数： ∑=-=L k T k h k z J 12])()([)(θθ （2） 使J 最小的θ的估计值^ θ，成为最小二乘估计值。 具体的对于时不变SISO 动态过程的数学模型为 )()()()()(11k n k u z B k z z A +=-- （3） 应该利用过程的输入、输出数据确定)(1-z A 和 )(1-Z B 的系数。 对于求解θ的估计值^θ，一般对模型的阶次 a n ， b n 已定，且b a n n >；其次将（3）模 型写成最小二乘格式 )()()(k n k h k z T +=θ （4） 式中 ?????=------=T n n T b a b a b b b a a a n k u k u n k z k z k h ],,,,,,,[)](,),1(),(,),1([)(2121 θ （5）
L k ,,2,1 = 因此结合式（4）（5）可以得到一个线性方程组 L L L n H Z +=θ （6） 其中 ???==T L T L L n n n n L z z z z )](),2(),1([)](),2(),1([ （7） 对此可以分析得出，L H 矩阵的行数为),max(b a n n L -，列数b a n n +。 在过程的输入为2n 阶次，噪声为方差为1，均值为0的随机序列，数据长度)(b a n n L +>的情况下，取加权矩阵L Λ为正定的单位矩阵I ，可以得出： L T L L T L z H H H 1^ )(-=θ （8） 其次，利用在Matlab 中编写M 文件，实现上述算法。 此次算法的实现，采用6阶M 序作为过程黑箱的输入；噪声采用方差为1，均值为0的随机数序列；黑箱模型假设为：y(k)-1.5y(k-1)+0.7y(k-2)=2u(k-1)+0.5u(k-2)，则系统输出为Z(k)-1.5Z(k-1)+0.7Z(k-2)=2U(k-1)+0.5U(k-2)+n （k ）；模型的阶次2,2==b a n n ；数据长度取L=200。 程序清单如下见附录：最小二乘一次性算法Matlab 程序 运行结果如下： 图1 最小二乘一次性算法参数真值与估计值 其中re 为真值，ans 为估计值^ θ 结果发现辨识出的参数与真值之间存在细微误差，这是由于系统噪声以及数据长度L 的限制引起的，最小二乘辨识法是一种无偏估计方法。 方法二、最小二乘递推算法： 最小二乘一次性算法计算量大，并且浪费存储空间，不利于在线应用，由此引出最小
误差理论综述与最小二乘法讨论 摘要：本文对误差理论和有关数据处理的方法进行综述。并且针对最小二乘法（LS）的创立、发展、思想方法等相关方面进行了研究和总结。同时，将近年发展起来的全面最小二乘法(TLS)同传统最小二乘法进行了对比。 1.误差的有关概念 对科学而言，各种物理量都需要经过测量才能得出结果。许多物理量的发现，物理常数的确定，都是通过精密测量得到的。任何测试结果，都含有误差，因此，必须研究，估计和判断测量结果是否可靠，给出正确评定。对测量结果的分析、研究、判断，必须采用误差理论，它是我们客观分析的有力工具 测量基本概念 一个物理量的测量值应由数值和单位两部分组成。按实验数据处理的方式，测量可分为直接测量、间接测量和组合测量。 直接测量:可以用测量仪表直接读出测量值的测量。 间接测量:有些物理量无法直接测得，需要依据待测物理量与若干直接测量量的函数关系求出。 组合测量:如有若干个待求量，把这些待求量用不同方法组合起来进行测量，并把测量结果与待求量之间的函数关系列成方程组，用最小二乘法求出这个待求量的数值，即为组合测量。 误差基本概念 误差是评定测量精度的尺度，误差越小表示精度越高。若某物理量的测量值为y，真值为Y，则测量误差dy=y-Y。虽然真值是客观存在的，但实际应用时它一般无从得知。按照误差的性质，可分为随机误差，系统误差和粗大误差三类。 随机误差:是同一测量条件下，重复测量中以不可预知方式变化的测量误差分量。 系统误差:是同一测量条件下，重复测量中保持恒定或以可预知方式变化的测量误差分量。 粗大误差:指超出在规定条件下预期的误差。 等精度测量的随机误差 当对同一量值进行多次等精度的重复测量，得到一系列的测量值，每个测量
系统辨识大作业 最小二乘法及其相关估值方法应用 学院：自动化学院 学号： 姓名：日期：
基于最小二乘法的多种系统辨识方法研究 一、实验原理 1.最小二乘法 在系统辨识中用得最广泛的估计方法是最小二乘法(LS)。 设单输入-单输出线性定长系统的差分方程为 (5.1.1) 式中:为随机干扰；为理论上的输出值。只有通过观测才能得到，在观测过程中往往附加有随机干扰。的观测值可表示为 (5.1.2) 式中:为随机干扰。由式(5.1.2)得 (5.1.3) 将式(5.1.3)带入式(5.1.1)得 (5.1.4) 我们可能不知道的统计特性，在这种情况下，往往把看做均值为0的白噪声。 设 (5.1.5) 则式(5.1.4)可写成 (5.1.6) 在观测时也有测量误差，系统内部也可能有噪声，应当考虑它们的影响。因此假定不仅包含了的测量误差，而且包含了的测量误差和系统内部噪声。假定是不相关随机序列(实际上是相关随机序列)。 现分别测出个随机输入值，则可写成个方程，即 上述个方程可写成向量-矩阵形式 (5.1.7) 设 则式(5.1.7)可写为
(5.1.8) 式中：为维输出向量；为维噪声向量；为维参数向量；为测量矩阵。因此式(5.1.8)是一个含有个未知参数，由个方程组成的联立方程组。如果，方程数少于未知数数目，则方程组的解是不定的，不能唯一地确定参数向量。如果，方程组正好与未知数数目相等，当噪声时，就能准确地解出 (5.1.9) 如果噪声，则 (5.1.10) 从上式可以看出噪声对参数估计是有影响的，为了尽量较小噪声对估值的影响。在给定输出向量和测量矩阵的条件下求系统参数的估值，这就是系统辨识问题。可用最小二乘法来求的估值，以下讨论最小二乘法估计。 2.最小二乘法估计算法 设表示的最优估值，表示的最优估值，则有 (5.1.11) 写出式(5.1.11)的某一行，则有 (5.1.12) 设表示与之差，即 - (5.1.13)式中 成为残差。把分别代入式(5.1.13)可得残差。设 则有 (5.1.14) 最小二乘估计要求残差的平方和为最小，即按照指数函数 (5.1.15) 为最小来确定估值。求对的偏导数并令其等于0可得 (5.1.16) (5.1.17)
1最小二乘法的理论基础 1.1最小二乘法 设单输入单输出线性定长系统的差分方程表示为： 其中δ(k)为服从N(0,1)的随机噪声,现分别测出n+N 个输出输入值y(1),y(2),…,y(n+N),u(1),u(2),…,u(n+N),则可写出N 个方程，写成向量－矩阵形式 (4.1.1) ()()()()()()()() 1201121n n y k a y k a y k a y k n b u k b u k b u k n k ξ=-------+ +-+ +-+()()()()()()101122,,n n a y n n y n a n y b y n N n N b ξξθξξ?? ??++????????????++? ???===??????????????++?????????? ???? ()()()()()()()()() () ()()()() ()( )()()10111121222112n n y n y n y u n u y n y n y u n u y n N y n N y N u n N u N a n a n b n N b ξξξ+--+???? ????+-+-+???? =?????????+-+--+???? ?? ???? ??+?? ??????+??+??????? ???+??????????
则式(1.1.1)可写为 （4.1.2） 式中：y 为N 维输出向量；ξ为N 为维噪声向量；θ为（2n+1）维参数向量；Φ为N ×（2n+1）测量矩阵。因此，式（4.1.1）是一个含有（2n+1）个未知参数，由N 个方程组成的联立方程组。 11y θφφξ--=- 在给定输出向量y 和测量矩阵Φ的条件下求参数θ的估计，这就是系统辨识问题。 设 表示 θ 的估计值，?表示y 的最优估计，则有 （4.1.3） 式中： ()()()10??1??2??,???n n a y n a y n y b y n N b θ???? +????????+????==????????+?????? ???? 设e(k)=y(k)- ?(k), e(k)称为残差，则有e=y- ?=y-Φθ 最小二乘估计要求残差的平方和最小，即按照指数函数 （4.1.4） 求Ｊ对 的偏导数并令其等于0可得： （4.1.5） 由式（4.1.5）可得的 θ 最小二乘估计： （4.1.6） J 为极小值的充分条件是： 即矩阵ΦT Φ为正定矩阵，或者说是非奇异的。 1.1.1最小二乘法估计中的输入信号 当矩阵ΦT Φ的逆阵存在是，式（1.1.6）才有解。一般地，如果u(k)是随机序列或伪随机二位式序列，则矩阵ΦT Φ是非奇异的，即（ΦT Φ）－1存在，式（1.1.6）有解。 现在从ΦT Φ必须正定出发，讨论对u(k)的要求。 y φθξ=+?θ??y θ=Φ()() ??T T J e e y y θ θ==-Φ-Φ?θ() ?20?T J y θ θ ?=-Φ-Φ=??T T y θ ΦΦ=Φ()1 ?T T y θ -=ΦΦΦ220?T J θ ?=ΦΦ>?1 n N yy yu T +-ΦΦ??
最小二乘法参数辨识 1 引言 系统辨识是根据系统的输入输出时间函数来确定描述系统行为的数学模型。现代控制理论中的一个分支。通过辨识建立数学模型的目的是估计表征系统行为的重要参数，建立一个能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统输出的未来演变，以及设计控制器。对系统进行分析的主要问题是根据输入时间函数和系统的特性来确定输出信号。对系统进行控制的主要问题是根据系统的特性设计控制输入，使输出满足预先规定的要求。而系统辨识所研究的问题恰好是这些问题的逆问题。通常，预先给定一个模型类μ={M}（即给定一类已知结构的模型），一类输入信号u和等价准则J=L(y，yM)(一般情况下，J是误差函数，是过程输出y和模型输出yM的一个泛函)；然后选择使误差函数J达到最小的模型，作为辨识所要求的结果。系统辨识包括两个方面：结构辨识和参数估计。在实际的辨识过程中，随着使用的方法不同，结构辨识和参数估计这两个方面并不是截然分开的，而是可以交织在一起进行的。 2 系统辨识的目的 在提出和解决一个辨识问题时，明确最终使用模型的目的是至关重要的。它对模型类（模型结构）、输入信号和等价准则的选择都有很大的影响。通过辨识建立数学模型通常有四个目的。 ①估计具有特定物理意义的参数有些表征系统行为的重要参数是难以直接测量的，例如在生理、生态、环境、经济等系统中就常有这种情况。这就需要通过能观测到的输入输出数据，用辨识的方法去估计那些参数。 ②仿真仿真的核心是要建立一个能模仿真实系统行为的模型。用于系统分析的仿真模型要求能真实反映系统的特性。用于系统设计的仿真，则强调设计参数能正确地符合它本身的物理意义。 ③预测这是辨识的一个重要应用方面，其目的是用迄今为止系统的可测量的输入和输出去预测系统输出的未来的演变。例如最常见的气象预报，洪水预报，其他如太阳黑子预报，市场价格的预测，河流污染物含量的预测等。预测模型辨识的等价准则主要是使预测误差平方和最小。只要预测误差小就是好的预测模型，对模型的结构及参数则很少再有其他要求。这时辨识的准则和模型应用的目的是一致的，因此可以得到较好的预测模型。 ④控制为了设计控制系统就需要知道描述系统动态特性的数学模型，建立这些模型的目的在于设计控制器。建立什么样的模型合适，取决于设计的方法和准备采用的控制策略。 3 系统辨识的方法 经典方法： 经典的系统辨识方法的发展已经比较成熟和完善，他包括阶跃响应法、脉冲