第31卷 第4期系统工程与电子技术
Vol.31 No.42009年4月
Systems Engineering and Electronics Apr.2009
文章编号:10012506X (2009)0420905206
收稿日期:2007212205;修回日期:2008203201。
基金项目:国家自然科学基金(60574051);江苏省自然科学基金(B K2007017);江南大学创新团队发展计划资助课题作者简介:陈慧波(19822),男,硕士研究生,主要研究方向为系统盲辨识方法。E 2mail :chpe2008@https://www.doczj.com/doc/069814694.html,
SIMO 系统辅助变量最小二乘盲辨识方法
陈慧波,丁 锋
(江南大学控制科学与工程研究中心,江苏无锡214122)
摘 要:辅助变量辨识方法是一类重要的辨识方法,然而对于盲辨识,系统输入未知,辅助矩阵的选择就成了
难题。针对盲辨识领域研究最多的单输入多输出(SIMO )系统,利用辅助变量方法研究相应的盲辨识方法,其基本思想是联立其中两个子系统进行辨识,利用其他子系统的输出来构造辅助矩阵,从而提出了辅助变量最小二乘盲辨识方法,来获得系统参数估计。还给出所提算法的递推形式,并进行了收敛性分析。仿真例子验证了所提方法的有效性。
关键词:盲辨识;参数估计;辅助变量;最小二乘;单输入多输出系统中图分类号:TP 273 文献标志码:A
Instrumental variable least squares blind identif ication for SIMO systems
CH EN Hui 2bo ,DIN G Feng
(Cont rol S cience and Engineering Research Center ,J iangnan Univ.,W ux i 214122,China )
Abstract :As an important identification method ,t he instrumental variable met hod can give the unbiased parameter estimation for systems wit h colored noises and unknown noise models.The key is how to choose t he instrumental variables to generate t he instrumental matrices.In t he traditional identification approaches wit h known inp ut signals ,the instrumental variables/matrices are formed by using t he input s ,but for blind system identifcation ,difficulty arises in t hat t he system inp ut s are unavailable.For single 2input ,multi 2inp ut systems ,t his paper st udies t he corresponding blind identification met hods using t he instrumental variable technique.The basic idea is to identify two combined subsystems simultaneously using t he outp ut s of t he t hird subsystem as t he instrumental variables/matrices and present s t he instrunmental variable least squares (IVL S )blind identifica 2tion algorit hm and it s recursive form.The convergence of t he algorit hm is also analyzed.A simulation example is included.
K eyw ords :blind identification ;parameter estimation ;instrumental variable ;least square ;single 2inp ut multi 2outp ut system
0 引 言
盲辨识是一种建立在系统输出数据的基础上,不直接依靠系统的输入信号而估计系统参数的基本参数辨识方法。当系统的输入信号不可以获得或者要花费很大的代价才能得到的时候,盲辨识就显得十分有用[1]。
在过去的20多年中,盲辨识在通信和信号处理领域(如多用户通信系统、多传感器雷达、声纳系统、麦克风阵等)受到越来越多的关注,也产生了一系列的技术和方法[224]。一种传统的解决盲辨识问题的方法就是利用调制好的信号作为系统的输入,用以估计信道。现行的通信标准中都含有已知的调制序列,以GSM 标准为例,该方法性能较好,但是由于约有20%的输入脉冲序列被调制,从而极大地降低了带宽的利用效率[526]。另一种方法是利用输
入输出信号的统计特性,如概率分布、均值、方差、相关性等,对所得时间序列进行统计分析以辨识系统模型。如二阶矩统计方法、高阶矩统计方法等[7211]。通常,矩统计方法效果较好,但是它需要预先知道未知输入信号的统计信息(如信号方差),所以这在某些实际问题中,很难办到。另外,高阶统计量方法需要的样本多,运算量大,算法收敛慢,而二阶统计量方法虽然样本可以少一些,计算量小,可是稳定性不好,往往还要求满足信道多样性等其它可辨识性条件[223]。还有一种方法是通过对系统输出的快速采样,获得有关系统的更多信息,在此基础上先把快采样系统传递函数的分子、分母分别辨识出来,再用计算或估计的方法得到原系统传递函数,形成了所谓的快采样方法[12216]。实验表明快采样方法可以较好地实现盲信道均衡与辨识,然而过高的采样频率往往实现起来较为困难。
?906 ?
系统工程与电子技术
第31卷
在单输入多输出(SIMO )系统盲辨识领域,文献[2]假设系统没有噪声干扰的情况下,研究了规范最小均方估计算法和加权递推最小二乘算法;当系统存在噪声干扰时,文献[16217]讨论了一类由单信道系统通过输出快采样系统转换而成的与原系统有相同极点的特定SIMO 系统的盲辨识;基于交叉相关(cross relation )技术,文献[18]提出逆迭代辨识时间色散信道的子空间盲辨识方法,但参数估计受初始值的影响较大,易局部收敛甚至不收敛,稳定性较差;文献[19]分析了最小均方算法以及为了提高收敛速率而牺牲准则函数的Newton 盲辨识算法,但方法复杂。本文利用辅助变量技术来研究随机噪声干扰下SIMO 系统的辨识问题,其基本思路是,从其中任意两个子系统的输出关系中导出一个包含两个子系统参数的辨识模型,推广了传统辅助变量辨识思想,不利用系统的输入而巧妙地构造出了辅助矩阵,成功地实现了系统模型参数的估计,并进行了参数估计算法的收敛性分析。理论分析和仿真试验表明提出的盲辨识方法收敛性能良好。
1 问题构成
考虑单输入多输出随机系统,如图1所示,其中y (t )=
[y 1(t ),y 2(t ),…,y m (t )]T ∈ m
是系统的输出向量(T 表示
矩阵转置),u (t )∈ 1
是系统的输入,v (t )=[v (t ),v 2(t ),
…,v m (t )]T ∈ m
是互不相关的随机噪声向量,G i (z )是第i 个系统的传递函数,是单位后移算子z -1[z -1u (t )=u (t -1)]的n i 次多项式,即
G i (z )=b i (0
)+b i (1)z -1+b i (2)z -2+…+b i (n i )z
-n
i
图1 单输入多输出系统
b i (l )是待辨识的系统参数。由图1可得系统的输入输出关
系:从输入u (t )到第i 个输出y i (t )有如下关系式
y i (t )=G i (z )u (t )+v i (t ),i =1,2,…,m
(1)因为输入信号u (t )未知,对于任意非零常数λ,有等价关系
y i (t )=1
λG i
(z )(λu (t ))+v i (t ),i =1,2,…,m (2)即系统(1)与(3)有相同的输出,所以任何辨识方案都不能唯一辨识G i (z )。因此,为了唯一辨识G i (z ),参考文献[20223]的方法,需要对传递函数G i (z )或者输入信号进行归一化处理,例如,可以令G i (z )中未知参数的范数(或者
模)为1,即
∑n i
l =0
b 2i
(l )
=1,也可以假设传递函数G i (z )均为
首1多项式,即
b i (0)=1,i =1,2,3,…,m
本文采用最简单的后一种归一化假设。对于任意1≤i ,
j ≤m 两个子系统(i ≠j ),从式(1)可得
y i (t )-v i (t )=G i (z )u (t )y j (t )-v j (t )=G j (z )u (t )
上述两式两端相除得
y i (t )-v i (t )y j (t )-v j (t )=
G i (z )
G j (z )
把上式两端十字相乘可得
G i (z )[y j (t )-v j (t )]=G j (z )[y i (t )-v i (t )]
根据移位算子的特性,上式可以转化为差分方程形式
y j (t )+∑n i
l =1
b i (l )y
j
(t -l )=y i (t )+
∑
n j
l =1b j
(l )y i
(t -l )-
v i (t )-
∑n j
l =1
b j
(l )v i
(t -
l )+v j (t )+
∑
n i
l =1
b i
(l )v j
(t -l )
(3)
定义信息向量φ(t ),参数向量θ和随机噪声e (t )分别为
φ(t )∶=[-y j (t -1),-y j (t -2),…,-y j (t -n i ),
y i (t -1),y i (t -2),…,y i (t -n j )]
T
∈
n i
+n
j
θ∶=[b i (1),b i (2),…,b i (n i ),b j (1),
b j (2),…,b j (n j )]T ∈
n i
+n
j
e (t )∶=v j (t )+
∑
n i
l =1
b i (l )v j
(t -l )-v i (t )-
∑
n j
l =1
b j
(l )v i
(t -l )
则式(3)可以写为
y j (t )-y i (t )=φT
(t )θ+e (t )
(4)
对于SIMO 系统,本文的目标是,假设子系统阶次n i 已知(i =1,2,…,m ),仅仅利用可以得到的输出数据{y i (t )∶i =1,2,…,m ,t =0,1,2,…},借助于辅助变量辨识思想,以子系统i 和j 以外的第3个子系统输出作为辅助变量,提出相应辅助变量盲辨识方法,来估计系统传递函数G i (z )的参数,即式(4)中的参数向量θ,并对提出的方法进行收敛性分析。
困难出现了,因为从噪声e (t )的表达式可知,它由两个子系统各自的随机白噪声通过线性滤波后叠加而成,而且噪声e (t )与两个子系统的输出y i (t )及y j (t )都密切相关,因此式(4)为有色噪声模型,标准递推最小二乘算法不能给出无偏估计。辅助变量技术是一个可以尝试的辨识方法,因为该方法不需要知道有色噪声的具体形式[24229]。然而问题的关键是,传统的辅助变量方法通常利用系统的输入信号作为辅助变量,但这种方法在这里行不通,因为盲辨识系统的输入是未知的,不能利用,因此难点是如何选择辅助变量以构造辅助矩阵。本文的基本方法是:在联合第i 和第j 个子系统的辨识模型(4)中,选用第k (k ≠i ,k ≠j )个子系统的输出y k (t )作为辅助变量来构造辅助矩阵,实现第i 和第j 个子系统联合得到的模型(4)参数向量θ的估计;当i ,j ,k 取不同值时,就可以获得各子系统参数估计。y k (t )与噪声v i (t )和v j (t )不相关,但y i (t )和y j (t )相关,因为它们是同一输入作用于不同传递函数的输出,这符合辅助变量选择的基本条件。下面研究这种辅助变量盲辨识方法及其收敛性。
第4期陈慧波等:SIMO 系统辅助变量最小二乘盲辨识方法
?907 ?
2 盲辨识算法及其收敛性
这里针对以第i ,j 子系统的辨识模型(4),根据上述思想构造辅助变量和辅助矩阵,推导辅助变量盲辨识方法,并进行收敛性分析。
考虑式(4)的待辨识模型,定义
Y t ∶=
y j (1)-y i (1
)y j (2)-y i (2)
…
y j (t )-y i (t )
∈ t ,H t ∶=
φT (1)φT
(2)…φT
(t )
∈
t ×(
n
i
+n j )
E t ∶=
e (1)
e (2)
…
e (t )
∈
t
于是,当t =1,2,…,t 时,由式(4)可得t 个方程,写出矩阵
形式为
Y t =H t
θ+E t (5)
这里t 可认为是一个可变的数据长度。对于较大的t ,假设
存在一个与H t 同维数的矩阵F t 使得
E
1
t
F T
t E t
=lim
t →∞
1
t
F T
t E t
=O (6)
和
E
1
t
F T
t H t
=lim
t →∞
1
t
F T
t H t
=Q (7)
其中Q 为非奇异矩阵。在式(5)的两端同时左乘F T t 可得
F T t Y t =F T t H t
θ+F T t E t 所以,θ的无偏估计为
θ^(t )=(F T t H t )-1F T t Y t (8)
事实上
θ^(t )=(F T t H t )-1F T t (H t θ+E t )=θ+(F T t H t )-1(F T t E t )且
lim t →∞E[θ^(t )]=θ+lim t →∞1t
F T t H t
-1
lim t →∞
1t
F T t E t =θ这里矩阵F t 称为辅助矩阵。可见,问题的关键是怎样构造一个辅助矩阵F t 同时满足式(6)和(7)。从式(6)和(7)可以看出F t 与E t 不相关(或者说F t 与E t 统计独立),F t 与H t 强相关。定义辅助矩阵
F t =
φT a (1)
…
φT a (t )
∈
t ×(
n i
+n
j
)
(9)
式中φa (t )称为辅助向量,其元x (t -l )为辅助变量,即
φa (t )=[-x (t -1),-x (t -2),…,x (t -n i -n j )]T
下面说明传统构造辅助变量的方法在这儿失效:文献[24,28,29]的辅助变量x (t -l )选择为过去时刻系统的输入信号u (t -n i -l ),这虽与噪声e (t )无关也满足式(6)和式(7)的条件。正如前一节所说,对于盲辨识,系统的输入不得而知,因此这种构造辅助矩阵的方法失效。那么如何选择辅助向量φa (t )或辅助变量x (t -l ),才能使构造出的辅助矩阵F t 同时满足式(6)和式(7)的两个条件。下面介绍本文的方法。
根据上文的基本思想,即用第k (k ≠i ,k ≠j )个子系统的输出y k (t -l )作为辅助变量来构造辅助矩阵,即
φa (t )=[-y k (t -n j -1),…,-y k (t i -n j -n i ),
y k (t -1),…,y k (t -n j )]T ∈
n i
+n
j
把上述的辅助向量代入式(9)构造得到相应的辅助矩阵为
F t =
φT
a (1)φT a (2)…φT a (t )
=
-y k (-n j )…-y k (1-n j -n i )
y k (0)
…y k (1-n j
)-y k (1-n j )
…-y k (2-n j -n i )
y k (1)
…y k (2-n j )
………
…-y k (t -1-n j )
…-y k (t -n j -n i )
y k (t -1)
…y k (t -n j )
(10)
构造出的辅助矩阵F t 代入式(8),容易得到模型参数向量θ
的估计
θ^(t )。式(5),(8)和(10)给出了SIMO 系统任意两个子系统参数的辅助变量最小二乘盲辨识方法。从辅助矩阵F t 的构造过程可知它满足式(6)和(7)所要求的两个条件,因此所得的参数估计必为无偏一致估计,参见下面收敛性定理。注:如果只有两个子系统,即只有两路输出,那么选择另一路输出作为辅助变量。
这个辅助变量盲辨识方法,也可以通过定义协方差矩阵P (t ),变换为递推式。方法如下。定义
P -1(t )∶=F T t H t
根据矩阵F t 和H t 的定义,可以得到下列递推形式
P -1(t )=F T
t H t =
∑
t
i =1
φa
(i )φT
(i )=
P -1(t -1)+φa (t )φT
(t )
(11)参照文献[29],式(8)参数估计也可以写成下列递推计算式
θ^(t )=θ^(t -1)+P (t )φa (t )[y j -y i
(t )-φT (t )θ^(t -1)](12)
协方差矩阵初值选择与一般递推最小二乘算法类似,取P (0)=p 0I ,p 0μ1,I 为适当维数单位阵(这里为n i +n j 阶
单位阵),参数向量初值选择为充分小的实向量,如θ^(0)=1/p 0,1为元素都是1的n i +n j 维列向量。
关于盲辨识递推辅助变量算法(11)-(12)的收敛性,有下列定理。
定理 对于系统(4)和辅助变量最小二乘盲辨识算法(11)-(12),假设随机噪声序列{e (t )}的均值为零,方差有界,即(A1) E[e (t )]=0
(A2) E[‖e (t )‖2]=σ2e (t )≤σ2
e <∞
当v i (t )(i =1,2,…,m )是零均值白噪声时,上述条件(A1)
和(A2)自动满足;又设初值
θ^(0)与e (t )相互独立,且‖θ^(0)-θ‖2
≤δ0<∞;系统输入u (t )和辅助向量φa (t )都与噪声
e (t )统计独立,存在常数c ,c 2和正整数t 0,使得当t ≥t 0时,
下列广义持续激励条件(A3)和(A4)成立。
?908
?系统工程与电子技术第31卷
(A3) min
1≤i≤n
λ
i
1
t
F T t H t=min
1≤i≤n
λ
i
1
t
∑t
i=1
φ
a
(i)φT(i)≥c>0,t≥t0
(A4) 1
t
∑t
i=1
φ
a
(i)φT a(i)=1
t
F T t F t≤c2I<∞
那么参数估计误差以1t速度收敛于零,即
E[‖θ^(t)-θ‖2]≤2λ2max[P-1(0)]δ0
(ct-1/p0)2
+
2nc2σ2e t
(ct-1/p0)2
=
2δ0
p20(ct-1/p0)2+
2n0c2σ2e t
(ct-1/p0)2
=∶f3(t),t≥t0
其中λmax[X]为方阵X的最大特征值,n=dimθ。显然t→∞时,lim
t→∞
E[‖θ^(t)-θ‖2]=0。定理可参考文献[28]证明。
根据(A1)和(A2)中的假设条件可知,{e(t)}可以是零均值方差有界的有色噪声序列(时变有界方差)。定理表明如果所选的辅助矩阵F t或辅助向量φ(t)满足(A3)和(A4)的条件,则辅助变量最小二乘盲辨识算法有以上特性。
(1)如果噪声序列{e(t)}的方差有界,则参数估计误差θ～(t)收敛于零,收敛速度为1/t。
(2)对于确定性系统e(t)≡0,即σ2e=0,那么参数估计误差θ～(t)以速度1/t收敛于零,比有噪声收敛的更快。
辅助变量最小二乘盲辨识递推算法(11)-(12)涉及到协方差矩阵P(t)的求逆运算,运算量较大。运用矩阵求逆公式[29],对式(11)两边求逆得到
P(t)=P(t-1)-P(t-1)φa(t)φ(t)P(t-1) 1+φT P(t-1)φa(t)
定义增益向量
L(t)∶=P(t)φa(t)
因此辅助变量最小二乘盲辨识递推算法也可以表述为
θ^(t)=θ^(t-1)+L(t)[y
j
(t)-y i(t)-φT(t)θ^(t-1)]
(13)
L(t)=
P(t-1)φa(t)
1+φT(t)P(t-1)φa(t)
(14)
P(t)=[I-L(t)φT(t)]P(t-1)(15)φ(t)=[-y
j(t-1),-y j(t-2),…,-y j(t-n i), y i(t-1),y i(t-2),…,y i(t-n j)]T(16)
φ
a (t)=[-y k(t-n j
-1),…,-y k(t i-n j-n i),
y k(t-1),…,y k(t-n j)]T(17)
算法中初值P(0)和θ^(0)的选择与前面相同。
3 有理分式传递函数模型参数的盲辨识以上给出了SIMO系统的每个子系统传递函数G i(z)为有限脉冲响应模型(FIR)的辅助变量盲辨识方法,下面简单说明提出的方法能够推广到G i(z)为非FIR模型情形,即G i(z)为两个多项式B i(z)与A i(z)之比的有理分式情形
G i(z)=B i(z) A i(z)
系统框图如图2所示。用长除法把有理分式传递函数G i(z)展开成Taylor级数
图2 单输入多输出系统(有理分式传递函数)
G i(z)=
B i(z)
A i(z)
=b i(0)+b i(1)z-1+
b i(2)z-2+…+b i(p i)z-p i+…
假设系统稳定,即A i(z)的零点在复平面单位元内,那么只要阶次p i足够高,截断传递函数
G i(p i,z):=b i(0)+b i(1)z-1+
b i(2)z-2+…+b i(p i)z-p i
就可以以任意精度逼近G i(z)=B i
(z)
A i(z)
。这样就可以用前述盲辨识方法估计G i(p i,z)的参数b i(j),得到G i(p i,z)的估计G^(p i,z)。设A i(z)与B i(z)的估计为A^i(z)和B^i(z),根据等价原理,令
G
^
i
(p i,z)=
B
^
i
(z)
A
^
i
(z)
或
G^i(p i,z)A^i(z)=B^i(z)
展开上式,并比较两边z-1同次幂系数,得到关于多项式A
^
i
(z)和B^i(z)未知系数的一系列代数方程组,通过求解这代数方程组就可得到估计A^i(z)和B^i(z)。
然而有一个问题,当p i很大时,对应的估计算法精度高,但计算量也大;相反算法计算量小,但参数估计精度低。因此,一个自然的方案是,依FIR模型G i(p i,z)阶次p i递增的方式,提出相应的盲辨识方法,这样既可以避免太大的计算量,又可以获得满意的参数估计精度。依阶次递增的辨识方法很多[29230],都可以借鉴和推广用来研究盲辨识问题。这里从略。
4 仿真例子
考虑下列仿真系统
y i(t)=G i(z)u(t)+v i(t),i=1,2,3
G1(z)=1+b1(1)z-1+b1(2)z-2=1+1.60z-1+0.64z-2 G2(z)=1+b2(1)z-1+b2(2)z-2=1-1.50z-1+0.54z-2 G3(z)=1+b3(1)z-1+b3(2)z-2=1-1.30z-1+0.40z-2
θ
1=[b1(1),b1(2)],θ2=[b2(1),b2(2)],
θ
3=[b3(1),b3(2)]
第4期陈慧波等:SIMO系统辅助变量最小二乘盲辨识方法?909
?
仿真时,输入{u(t)}采用零均值单位方差持续激励信号序列,噪声{v i(t)},i=1,2,3采用零均值相互独立的白噪声,且系统的输入不相关。当各输出噪声方差σ2i=0.102时,对应各输出的噪信比分别为δn s(1)=5.01%、δn s(2)=5.31%、δ
n s
(3)=5.92%;当σ2i=0.502时,各输出的噪信比分别为
δ
n s
(1)=25.09%、δn s(2)=26.56%、δn s(3)=29.61%。应用提出的盲辨识算法,联合第1和第2个子系统得到关于参数向量θ=[θT1,θT2]的待辨识模型[形如式(4)],利用第3个子系统的输出构造辅助矩阵,获得两种噪声方差下的参数估计及其估计误差δ∶=‖θ^(t)-θ‖/‖θ‖如表1所示,参数误差δ随数据长度t变化曲线如图3所示。 同理,联合第2和第3个子系统得到关于θ2和θ3的待辨识模型,利用第1个子系统的输出构造辅助矩阵,可获得相应的参数估计及其估计误差图和表,从略。
从表1和图3可知,所提出的盲辨识算法获得了令人满意的辨识效果。
(1)随着数据长度的增加,参数估计误差逐渐减小并趋于零,即参数估计收敛于真值。
(2)噪声较弱或者说噪信比较小时,辨识的效果较好。实际上,没有噪声干扰时,辨识结果近乎真值。
(3)噪信比增大时,估计误差增大,即辨识精度下降,但是整体上辨识效果较好。
表1 参数估计及其估计误差
σi t b2(1)b2(2)b1(1)b1(2)δ/% 0.102100 1.580080.59686-1.467880.60262 3.61719
200 1.584970.60609-1.492030.58728 2.58230
300 1.592420.61312-1.488340.56286 1.61574
500 1.600180.61820-1.491120.55742 1.24752
1000 1.604750.63411-1.508560.550130.65026
2000 1.604750.63759-1.504940.546140.40521
3000 1.602520.63849-1.503800.543630.25631
4000 1.602640.64165-1.502870.539010.18522 0.502100 1.397060.41052-0.996730.6932325.93198
200 1.491260.45693-1.359930.7210313.31648
300 1.521470.48661-1.367230.623069.91874
500 1.593130.52235-1.445260.62476 6.60842
1000 1.630690.60289-1.565750.61342 4.67258
2000 1.627030.62311-1.544350.57962 2.87407
3000 1.613380.62983-1.527830.56043 1.63550
4000 1.614480.64865-1.519310.53430 1.11884
真值 1.600000.64000-1.500000.540
00
图3 不同噪声方差下参数估计误差δ随t变化曲线
5 结束语
本文针对信道的传递函数是有限冲击响应(FIR)的单输入多输出(SIMO)系统,提出了基于辅助变量法的盲辨识方法。其最大的贡献就是把辅助变量法引入盲辨识当中,提出了一种新的构造辅助矩阵的方法。该盲辨识方法思想简单,容易实现,且获得了参数的无偏一致估计,不失为一种好方法。仿真例子也证明了该方法有较好的收敛性。另外,根据所给的由FIR模型求解非传递函数模型的方法,把所提盲辨识方法推广到SIMO传递函数模型的辨识。
参考文献:
[1]Hua Y.Blind met hods of system identification[J].Ci rcuits,
S ystems and S i gnal Processing,2002,21(1):912108.
[2]Radenkovic M,Bose T.G lobal convergence of a blind multi2
channel identification algorit hm[J].S i gnal Processing,2004,84
(8):127321284.
[3]Carvalho E D,Dirk Slock.Blind and semi2blind FIR multichan2
nel estimation:(G lobal)identifiability conditions[J].I E E E T rans.on S i gnal Processi ng,2004,52(4):105321064.
[4]Xie N,Leung H.Blind identification of autoregressive system u2
sing chaos[J].I E E E T rans.on Ci rcuits and S ystems I:Fun2 damental T heory and A p plications,2005,52(9):195321964.
[5]Liu R.Direct multiple2channel blind equalization[J].Ci rcuits,
S ystems and S i gnal Processing,1998,17(1):1172122.
[6]G oodman D J.Trends in cellular and cordless communication
[J].I E E E Communications M agaz ine,1991,29(6):31240. [7]Fang J,Leymanb A R,Chew Y H,et al.Some furt her result s
on blind identification of MIMO FIR channels via second2order
?910
?系统工程与电子技术第31卷
statistics[J].S i gnal Processing,2007,87(6):143421447. [8]Lat hauwer L D,Castaing J,Cardoso J F.Fourt h2order cumu2
lant2based blind identification of underdetermined mixtures[J].
I E E E T rans.on S i gnal Processing,2007,55(6):296522973.
[9]Shen X,Shi X.Online SOS2based multichannel blind equaliza2
tion algorit hm wit h noise[J].S i gnal Processi ng,2005,85(8): 160221610.
[10]Liang J,Ding Z.Blind MIMO system identification based on
cumulant subspace decomposition[J].I E E E T rans.on S i gnal Processing,2003,51(6):145721468.
[11]Ding Z,Liang J.A cumulant matrix subspace algorit hm for
blind single FIR channel identification[J].I E E E T rans.on S i gnal Processing,2001,49(3):3252333.
[12]Xu G,Liu H,Lang T,et al.A least squares approach to blind
channel identification[J].I E E E T rans.on S i gnal Processing, 1995,43(12):298222993.
[13]Bai E.A blind approach to t he Hammerstein model identifica2
tion[J].I E E E T rans.on S i gnal Processing,2002,50(7): 161021619.
[14]Bai E.A blind approach to t he Hammerstein2Wiener model i2
dentification[J].A utomatica,2002,38(6):9672979.
[15]Narasimhan S V,Hazarat haiah M,G iridhar P.Channel blind
identification based on cyclostationarity andgroup delay[J].
S i gnal Processing,2005,85(7):127521286.
[16]王勇,刘文江,孙连明.控制系统的一种直接盲辨识方法[J].控
制与决策,2003,18(5):6112614.
[17]胡怀中,孙连明,刘文江.输出过采样闭环系统辨识方法中最优
过采样率的选择[J].西安交通大学学报,2004,38(12): 7922795.
[18]王丹,蒋铃鸽,何晨.一种逆迭代互关系子空间SIMO信道盲辨
识方法[J].电子学报,2006,34(7):122621230.[19]Huang Y,Benesty J.Adaptive multi2channel least mean square
and Newton algorit hms for blind channelidentification[J].S i g2 nal Processi ng,2002,82(8):112721138.
[20]Ding F,Chen T.Identification of Hammerstein nonlinear AR2
MAX systems[J].A utomatica,2005,41(9):147921489. [21]Liu Y,Bai E.Iterative identification of Hammerstein systems
[J].A utomatica,2007,43(2):3462354.
[22]Bai E.An optimal two2stage identification algorit hm for Ham2
merstein2Wiener nonlinear systems[J].A utomatica,1998,34
(3):3332338.
[23]Cerone V,Regruto D.Parameter bounds for discrete2time
Hammerstein models wit h bounded output errors[J].I E E E T rans.on A utomatic Cont rol,2003,48(10):185521860. [24]Gustaf sson T.Subspace identification using instrumental varia2
ble techniques[J].A utomatica,2001,37(6):200522010. [25]Feng D,Zheng W.Recursive total inst rumental2variable algo2
rit hm for solving over2determined normalequations and it s ap2 plications[J].S i gnal Processing,2007,87(5):9182936. [26]G ilson M,Hof P.Inst rumental variable met hods for closed2
loop system identification[J].A utomatica,2005,41(2): 2412249.
[27]S derstr m T,Stoica T.Instrumental variable met hods for
system identification[J].B erlin:S p ringer V erlag,1983. [28]Ding F,Chen T.Parameter estimation for dual2rate systems
wit h finite measurement data[J].D y namics of Conti nuous, Discrete and I m pulsi ve S ystems,Series B:A p plications and
A l gorit hms,2004,11(1):1012121.
[29]方崇智,萧德云.过程辨识[M].北京:清华大学出版社,1998.
[30]G oodwin G C,Payne R L.Dynamic system identification[M].
N ew York:A cademic,1977.
系统辨识和最小二乘参数估计Matlab仿真 一、系统辨识 在控制系统的分析中，首先要建立系统的数学模型，控制系统的数学模型是定量描述系统或过程内部物理量（或变量）之间关系的数学表达式。 一般来说，建立控制系统数学模型有两种基本方法： （1）机理建模（白箱模型）：即根据系统内在运行机制、物料和能量守恒等物理学、化学规律建立系统的数学模型，一般步骤如下： Step1：根据系统工作原理及其在控制系统中的作用，确定输入和输出； Step2：根据物料和能量守恒等关系列写基本方程式； Step3：消去中间量； Step4：获得系统模型； （2）实验法建模（黑箱模型）：即对于机理尚不清楚或机理过于复杂的系统，可以人为的对其施加某种测试信号，并记录其输出响应，或者记录正常运行时的输入输出数据，然后利用这些输入输出数据确定系统模型结构和参数。 多年来，系统辨识已经发展为一门独立学科分支，通过系统辨识建立一个对象的数学模型，通常包括两方面的工作：一是模型结构的确定（模型的类型、阶次），二是模型参数估计。 根据时间是否连续，参数模型又可以分为连续时间系统模型和离散时间系统参数模型，这两类模型均可采用输入输出模型和状态空间模型描述，离散系统采用差分方程描述，以单输入单输出（SISO）离散系统参数模型为例。 1.确定性模型 SISO系统确定性模型可表示为： u(k)和y(k)分别为输入和输出，d为纯延时。 2.随机性模型 如果受到随机扰动，则式子可写为： 为系统随机扰动，其结构如图：
系统辨识的一般步骤如图： 从图中可以看出，利用辨识的方法建立系统数学模型，从实验设计到模型获得，需要这些步骤。 二、最小二乘参数估计 1.批处理最小二乘 考虑以下CAR模型：
2 极大似然参数辨识方法 极大似然参数估计方法是以观测值的出现概率为最大作为准则的，这是一种很普遍的参数估计方法，在系统辨识中有着广泛的应用。 2.1 极大似然原理 设有离散随机过程}{k V 与未知参数θ有关，假定已知概率分布密度)(θk V f 。如果我们得到n 个独立的观测值,21,V V …n V ,，则可得分布密度)(1θV f ，)(2θV f ，…,)(θn V f 。要求根据这些观测值来估计未知参数θ，估计的准则是观测值{}{k V }的出现概率为最大。为此，定义一个似然函数 ) ()()(),,,(2121θθθθn n V f V f V f V V V L = （2.1.1） 上式的右边是n 个概率密度函数的连乘，似然函数L 是θ的函数。如果L 达到极大值，}{k V 的出现概率为最大。因此，极大似然法的实质就是求出使L 达到极大值的θ的估值∧ θ。为了便于求∧ θ，对式（2.1.1）等号两边取对数，则把连乘变成连加，即 ∑== n i i V f L 1)(ln ln θ （2.1.2） 由于对数函数是单调递增函数，当L 取极大值时，lnL 也同时取极大值。求式（2.1.2）对θ的偏导数，令偏导数为0，可得 0ln =??θL （2.1.3） 解上式可得θ的极大似然估计ML ∧ θ。 2.2 系统参数的极大似然估计 设系统的差分方程为 )()()()()(1 1 k k u z b k y z a ξ+=-- （2.2.1） 式中 111()1...n n a z a z a z ---=+++ 1101()...n n b z b b z b z ---=+++ 因为)(k ξ是相关随机向量，故（2.2.1）可写成 )()()()()()(1 11k z c k u z b k y z a ε---+= （2.2.2） 式中 )()()(1 k k z c ξε=- （2.2.3） n n z c z c z c ---+++= 1 11 1)( （2.2.4） )(k ε是均值为0的高斯分布白噪声序列。多项式)(1-z a ，)(1-z b 和)(1-z c 中的系数n n c c b b a a ,,,,,10,1和序列)}({k ε的均方差σ都是未知参数。 设待估参数
最小二乘法在系统辨识中的应用 王文进 控制科学与控制工程学院 控制理论与控制工程专业 2009010211 摘要：在实际的工程中，经常要对一个系统建立数学模型。很多时候，要面对一个未知的系统，对于这些未知系统，我们所知道的仅仅是它们的一些输入输出数据，我们要根据这些测量的输入输出数据，建立系统的数学模型。由此诞生了系统辨识这门科学，系统辨识就是研究怎样利用对未知系统的输入输出数据建立描述系统的数学模型的科学。系统辨识在工程中的应用非常广泛，系统辨识的方法有很多种，最小二乘法是一种应用及其广泛的系统辨识方法。本文主要讲述了最小二乘估计在系统辨识中的应用。 首先，为了便于介绍，用一个最基本的单输入单输出模型来引入系统辨识中的最小二乘估计。 例如：y = ax + （1） 其中：y、x 可测，为不可测的干扰项，a未知参数。通过N 次实验，得到测量数据y k和x k ，其中k=1、2、3、…，我们所需要做的就是通过这N次实验得到的数据，来确定未知参数a 。在忽略不可测干扰项的前提下，基本的思想就是要使观测点y k和由式（1）确定的估计点y的差的平方和达到最小。用公式表达出来就是要使J最小： 确定未知参数a的具体方法就是令： J a = 0 , 导出 a 通过上面最基本的单输入单输出模型，我们对系统辨识中的最小二乘法有了初步的了解，但在实际的工程中，系统一般为多输入系统，下面就用一个实际的例子来分析。在接下来的表述中，为了便于区分，向量均用带下划线的字母表示。 水泥在凝固过程中，由于发生了一系列的化学反应，会释放出一定的热量。若水泥成分及其组成比例不同，释放的热量也会不同。 水泥凝固放热量与水泥成分的关系模型如下： y = a0+ a1x1+…+ a n x n + 其中，y为水泥凝固时的放热量（卡/克）；x1~x2为水泥的几种成分。
实验6 数据拟合及参数辨识方法 一、实验目的及意义 [1] 了解最小二乘拟合的基本原理和方法； [2] 掌握用MATLAB作最小二乘多项式拟合和曲线拟合的方法； [3] 通过实例学习如何用拟合方法解决实际问题，注意与插值方法的区别。 [4] 了解各种参数辨识的原理和方法； [5] 通过范例展现由机理分析确定模型结构，拟合方法辨识参数，误差分析等求解实 际问题的过程； 通过该实验的学习，掌握几种基本的参数辨识方法，了解拟合的几种典型应用，观察不同方法得出的模型的准确程度，学习参数的误差分析，进一步了解数学建模过程。这对于学生深入理解数学概念，掌握数学的思维方法，熟悉处理大量的工程计算问题的方法具有十分重要的意义。 二、实验内容 1．用MATLAB中的函数作一元函数的多项式拟合与曲线拟合，作出误差图； 2．用MATLAB中的函数作二元函数的最小二乘拟合，作出误差图； 3．针对预测和确定参数的实际问题，建立数学模型，并求解。 三、实验步骤 1．开启软件平台——MATLAB，开启MATLAB编辑窗口； 2．根据各种数值解法步骤编写M文件 3．保存文件并运行； 4．观察运行结果(数值或图形)； 5．根据观察到的结果写出实验报告，并浅谈学习心得体会。 四、实验要求与任务 根据实验内容和步骤，完成以下具体实验，要求写出实验报告（实验目的→问题→数学模型→算法与编程→计算结果→分析、检验和结论→心得体会） 应用实验 1．旧车价格预测 某年美国旧车价格的调查资料如下表，其中x i表示轿车的使用年数，y i表示相应的平均价格。试分析用什么形式的曲线来拟合上述的数据，并预测使用4.5年后轿车的平均价
《系统辨识》基于MATLAB的最小二乘法（一阶）的仿真 clc clear % ①白噪声的生成过程如下：e=randn(1,500); e=e/std(e); e=e-mean(e); A=0; %白噪声的均值为0 B=sqrt(0.1); %白噪声的方差为0.1 e=A+B*e; %绘制白噪声图 k=1:500; subplot(4,1,1) %画四行一列图形窗口中的第一个图形 plot(k,e,'r'); xlabel('k'), ylabel('e');title('(0,1)均匀分布的随机序列') % ②生成M序列的过程如下：X1=1;X2=0;X3=1;X4=0; %移位寄存器输入Xi初始状态（0101）， Yi寄存器的各级输出 m=500; %M序列的总长度 for i=1:m Y4=X4; Y3=X3; Y2=X2; Y1=X1; X4=Y3; X3=Y2; X2=Y1; X1=xor(Y3,Y4); %异或运算 if Y4==0 U(i)=-1; else U(i)=Y4; end end M=U; u=U; %绘制M序列图? i1=i k=1:1:i1; subplot(4,1,2) %画四行一列图形窗口中的第二个图形 plot(k,U,k,U,'rx') stem(M) xlabel('k') ylabel('M序列') title('移位寄存器产生的M序列') % ③参数估计的过程如下： %绘制参数估计的相关图形 z=zeros(1,500); %定义输出观测值的长度 for k=2:500 z(k)=0.9*z(k-1)+u(k-1)+e(k);%用理想输出值作为观测值 end subplot(4,1,3) %画四行一列图形窗口中的第三个图形 i=1:1:500; %横坐标的范围从1到500，步长为1 plot(i,z) %图形的横坐标是采样时刻i，纵坐标是输出观测值Z， 图形格式为连续曲线
偏最小二乘法 ( PLS)是光谱多元定量校正最常用的一种方法 , 已被广泛应用 于近红外 、 红外 、拉曼 、核磁和质谱等波谱定量模型的建立 , 几乎成为光谱分析中建立线性定量校正模型的通用方法 〔1, 2〕 。近年来 , 随着 PLS 方法在光谱分析尤其是分子光谱如近红外 、 红外和拉曼中应用 的深入开展 , PLS 方法还被用来解决模式识别 、定量校正模型适用性判断以及异常样本检测等定性分析问题 。 由于 PLS 方法同时从光谱阵和浓度阵中提取载荷和得分 , 克服主成分分析 ( PCA)方法没有利用浓度阵的缺点 , 可有效降维 , 并消除光谱间可能存在的复共线关系 , 因此取得令人非常满意的定性分析结果 〔3 ～ 5〕 。 本文主要介绍PLS 方法在光谱定性分析方面的原理及应用 实例 。 偏最小二乘方法(PLS-Partial Least Squares))是近年来发展起来的一种新的多元统计分析法, 现已成功地应用于分析化学, 如紫外光谱、气相色谱和电分析化学等等。该种方法，在化合物结构-活性/性质相关性研究中是一种非常有用的手段。如美国Tripos 公司用于化合物三维构效关系研究的CoMFA (Comparative Molecular Field Analysis)方法, 其中，数据统计处理部分主要是PLS 。在PLS 方法中用的是替潜变量，其数学基础是主成分分析。替潜变量的个数一般少于原自变量的个数，所以PLS 特别适用于自变量的个数多于试样个数的情况。在此种情况下，亦可运用主成分回归方法，但不能够运用一般的多元回归分析，因为一般多元回归分析要求试样的个数必须多于自变量的个数。 §§ 6.3.1 基本原理 6.3 偏最小二乘（PLS ） 为了叙述上的方便，我们首先引进“因子”的概念。一个因子为原来变量的线性组合，所以矩阵的某一主成分即为一因子，而某矩阵的诸主成分是彼此相互正交的，但因子不一定，因为一因子可由某一成分经坐标旋转而得。 在主成分回归中，第一步，在矩阵X 的本征矢量或因子数测试中，所处理的仅为X 矩阵，而对于矩阵Y 中信息并未考虑。事实上，Y 中亦可能包含非有用的信息。所以很自然的一种想法是，在矩阵X 因子的测试中应同时考虑矩阵Y 的作用。偏最小二乘正是基于这种思想的一种回归方法。 偏最小二乘和主成分分析很相似，其差别在于用于描述变量Y 中因子的同时也用于描述变量X 。为了实现这一点，在数学上是以矩阵Y 的列去计算矩阵X 的因子，与此同时，矩阵Y 的因子则由矩阵X 的列去预测。其数学模型为： E P T X +'=F Q U Y +'=
用matlab实现最小二乘递推算法辨识系统参 数 自动化系统仿真实验室指导教师： 学生姓名班级计082-2 班学号撰写时间： 全文结束》》-3-1 成绩评定： 一．设计目的 1、学会用Matlab实现最小二乘法辨识系统参数。 2、进一步熟悉Matlab的界面及基本操作； 3、了解并掌握Matlab中一些函数的作用与使用；二．设计要求最小二乘递推算法辨识系统参数，利用matlab编程实现，设初始参数为零。z(k)-1、5*z(k-1)+0、7*z(k-2)=1*u(k-1)+0、5*u(k-2)+v(k); 选择如下形式的辨识模型：z(k)+a1*z(k- 1)+a2*z(k-2)=b1*u(k-1)+b2*u(k-2)+v(k);三．实验程序 m=3;N=100;uk=rand(1,N);for i=1:Nuk(i)=uk(i)*(-1)^(i-1);endyk=zeros(1,N); for k=3:N yk(k)=1、5*yk(k-1)-0、 7*yk(k-2)+uk(k-1)+0、5*uk(k-2); end%j=100;kn=0;%y=yk(m:j);%psi=[yk(m-1:j-1);yk(m-2:j-2);uk(m-1:j-1);uk(m-2:j- 2)];%pn=inv(psi*psi);%theta=(inv(psi*psi)*psi*y);theta=[0 ;0;0;0];pn=10^6*eye(4);for t=3:Nps=([yk(t-1);yk(t-
2);uk(t-1);uk(t-2)]);pn=pn- pn*ps*ps*pn*(inv(1+ps*pn*ps));theta=theta+pn*ps*(yk(t)-ps*theta);thet=theta;a1=thet(1);a2=thet(2);b1=thet(3);b2= thet(4); a1t(t)=a1;a2t(t)=a2;b1t(t)=b1;b2t(t)=b2;endt=1:N;plot(t,a 1t(t),t,a2t(t),t,b1t(t),t,b2t(t));text(20,1、 47,a1);text(20,-0、67,a2);text(20,0、97,b1);text(20,0、47,b2);四．设计实验结果及分析实验结果图：仿真结果表明，大约递推到第步时，参数辨识的结果基本到稳态状态，即a1=1、5999，b1=1，c1=0、5，d1=-0、7。五、设计感受这周的课程设计告一段落了，时间短暂，意义重大。通过这次次练习的机会，重新把matlab课本看了一遍，另外学习了系统辨识的有关内容，收获颇丰。对matlab的使用更加纯熟，也锻炼了自己在课本中搜索信息和知识的能力。在设计过程中虽然遇到了一些问题，但经过一次又一次的思考，一遍又一遍的检查终于找出了原因所在，也暴露出了前期我在这方面的知识欠缺和经验不足。同时我也进一步认识了matlab软件强大的功能。在以后的学习和工作中必定有很大的用处。
最小二乘参数估计 摘要： 最小二乘的一次性完成辨识算法（也称批处理算法），他的特点是直接利用已经获得的所有（一批）观测数据进行运算处理。这种算法在使用时，占用内存大，离线辨识，观测被辨识对象获得的新数据往往是逐次补充到观测数据集合中去的。在应用一次完成算法时，如果要求在每次新增观测数据后，接着就估计出系统模型的参数，则需要每次新增数据后要重新求解矩阵方程()Z l T l l T l ΦΦΦ-∧=1θ。 最小二乘辩识方法在系统辩识领域中先应用上已相当普及，方法上相当完善，可以有效的用于系统的状态估计，参数估计以及自适应控制及其他方面。 关键词： 最小二乘（Least-squares ），系统辨识（System Identification ） 目录： 1.目的 (1) 2.设备 (1) 3引言 (1) 3.1 课题背景 (1) 4数学模型的结构辨识 (2) 5 程序 (3) 5.1 M 序列子函数 ................................................................................. 错误！未定义书签。 5.2主程序............................................................................................... 错误！未定义书签。 6实验结果： ................................................................................................................................... 3 7参考文献： ................................................................................................. 错误！未定义书签。 1.目的 1.1掌握系统辨识的理论、方法及应用 1.2熟练Matlab 下最小二乘法编程 1.3掌握M 序列产生方法 2.设备 PC 机1台（含Matlab 软件） 3引言 3.1 课题背景 最小二乘理论是有高斯（K.F.Gauss ）在1795年提出：“未知量的最大可能值是这样一个数值，它使各次实际观测值和计算值之间的差值的平方乘以度量其精度的数值以后的和最小。”这就是最小二乘法的最早思想。 最小二乘辨识方法提供一个估算方法，使之能得到一个在最小方差意义上与实验数据最
偏最小二乘法 1.1 基本原理 偏最小二乘法（PLS ）是基于因子分析的多变量校正方法，其数学基础为主成分分析。但它相对于主成分回归（PCR ）更进了一步，两者的区别在于PLS 法将浓度矩阵Y 和相应的量测响应矩阵X 同时进行主成分分解： X=TP+E Y=UQ+F 式中T 和U 分别为X 和Y 的得分矩阵，而P 和Q 分别为X 和Y 的载荷矩阵，E 和F 分别为运用偏最小二乘法去拟合矩阵X 和Y 时所引进的误差。 偏最小二乘法和主成分回归很相似，其差别在于用于描述变量Y 中因子的同时也用于描述变量X 。为了实现这一点，数学中是以矩阵Y 的列去计算矩阵X 的因子。同时，矩阵Y 的因子则由矩阵X 的列去预测。分解得到的T 和U 矩阵分别是除去了大部分测量误差的响应和浓度的信息。偏最小二乘法就是利用各列向量相互正交的特征响应矩阵T 和特征浓度矩阵U 进行回归： U=TB 得到回归系数矩阵，又称关联矩阵B ： B=(T T T -1)T T U 因此，偏最小二乘法的校正步骤包括对矩阵Y 和矩阵X 的主成分分解以及对关联矩阵B 的计算。 1.2主成分分析 主成分分析的中心目的是将数据降维，以排除众多化学信息共存中相互重叠的信息。他是将原变量进行转换，即把原变量的线性组合成几个新变量。同时这些新变量要尽可能多的表征原变量的数据结构特征而不丢失信息。新变量是一组正交的，即互不相关的变量。这种新变量又称为主成分。 如何寻找主成分，在数学上讲，求数据矩阵的主成分就是求解该矩阵的特征值和特征矢量问题。下面以多组分混合物的量测光谱来加以说明。假设有n 个样本包含p 个组分，在m 个波长下测定其光谱数据，根据比尔定律和加和定理有： A n×m =C n×p B p×m 如果混合物只有一种组分，则该光谱矢量与纯光谱矢量应该是方向一致，而大小不同。换句话说，光谱A 表示在由p 个波长构成的p 维变量空间的一组点（n 个），而这一组点一定在一条通过坐标原点的直线上。这条直线其实就是纯光谱b 。因此由m 个波长描述的原始数据可以用一条直线，即一个新坐标或新变量来表示。如果一个混合物由2个组分组成，各组分的纯光谱用b1，b2表示，则有： 1122 T T T i i i a c b c b =+ 有上式看出，不管混合物如何变化，其光谱总可以用两个新坐标轴b1,b2来表示。因此可以 推出，如果混合物由p 个组分组成，那么混合物的光谱就可由p 个主成分轴的线性组合表示。
偏最小二乘法（PLS）简介 偏最小二乘法（PLS ）简介 偏最小二乘法（PLS ）简介 简介 偏最小二乘法是一种新型的多元统计数据分析方法，它于1983年由伍德（S.Wold）和阿巴诺（C.Albano）等人首次提出。近几十年来，它在理论、方法和应用方面都得到了迅速的发展。 偏最小二乘法 长期以来，模型式的方法和认识性的方法之间的界限分得十分清楚。而偏最小二乘法则把它们有机的结合起来了，在一个算法下，可以同时实现回归建模（多元线性回归）、数据结构简化（主成分分析）以及两组变量之间的相关性分析（典型相关分析）。这是多元统计数据分析中 的一个飞跃。 偏最小二乘法在统计应用中的重要性体现在以下几个方面： 偏最小二乘法是一种多因变量对多自变量的回归建模方法。偏最小二乘法可以较好的解决许多以往用 普通多元回归无法解决的问题。 偏最小二乘法之所以被称为第二代回归方法，还由于它可以实现多种数据分析方法的综合应用。 主成分回归的主要目的是要提取隐藏在矩阵X 中的相关信息，然后用于预测变量Y 的值。 这种做法可以保证让我们只使用那些独立变量，噪音将被消除，从而达到改善预测模型质量的目的。但是，主成分回归仍然有一定的缺陷，当一些有用变量的相关性很小时，我们在选取主成分时就很容易把它们漏掉，使得最终的预测模型可靠性下降，如果我们对每一个成分 进行挑选，那样又太困难了。 偏最小二乘回归可以解决这个问题。它采用对变量X 和Y 都进行分解的方法，从变量X 和Y 中同时提取成分（通常称为因子），再将因子按照它们之间的相关性从大到小排列。现在，我们要建立一个模型，我们只要决定选择几个因子参与建模就可以了 基本概念 偏最小二乘回归是对多元线性回归模型的一种扩展，在其最简单的形式中，只用一个线性模 型来描述独立变量Y 与预测变量组X 之间的关系: 偏最小二乘法(PLS) 简介
方法一、最小二乘一次性算法： 首先对最小二乘法的一次性辨识算法做简要介绍如下： 过程的黑箱模型如图所示： 其中u(k)和z(k)分别是过程的输入输出，)(1-z G 描述输入输出关系的模型，成为过程模型。 过程的输入输出关系可以描述成以下最小二乘格式： )()()(k n k h k z T +=θ （1） 其中z(k)为系统输出，θ是待辨识的参数，h(k)是观测数据向量，n(k) 是均值为0的随机噪声。 利用数据序列{z （k ）}和{h （k ）}极小化下列准则函数： ∑=-=L k T k h k z J 12])()([)(θθ （2） 使J 最小的θ的估计值^ θ，成为最小二乘估计值。 具体的对于时不变SISO 动态过程的数学模型为 )()()()()(11k n k u z B k z z A +=-- （3） 应该利用过程的输入、输出数据确定)(1-z A 和 )(1-Z B 的系数。 对于求解θ的估计值^θ，一般对模型的阶次 a n ， b n 已定，且b a n n >；其次将（3）模 型写成最小二乘格式 )()()(k n k h k z T +=θ （4） 式中 ?????=------=T n n T b a b a b b b a a a n k u k u n k z k z k h ],,,,,,,[)](,),1(),(,),1([)(2121 θ （5）
L k ,,2,1 = 因此结合式（4）（5）可以得到一个线性方程组 L L L n H Z +=θ （6） 其中 ???==T L T L L n n n n L z z z z )](),2(),1([)](),2(),1([ （7） 对此可以分析得出，L H 矩阵的行数为),max(b a n n L -，列数b a n n +。 在过程的输入为2n 阶次，噪声为方差为1，均值为0的随机序列，数据长度)(b a n n L +>的情况下，取加权矩阵L Λ为正定的单位矩阵I ，可以得出： L T L L T L z H H H 1^ )(-=θ （8） 其次，利用在Matlab 中编写M 文件，实现上述算法。 此次算法的实现，采用6阶M 序作为过程黑箱的输入；噪声采用方差为1，均值为0的随机数序列；黑箱模型假设为：y(k)-1.5y(k-1)+0.7y(k-2)=2u(k-1)+0.5u(k-2)，则系统输出为Z(k)-1.5Z(k-1)+0.7Z(k-2)=2U(k-1)+0.5U(k-2)+n （k ）；模型的阶次2,2==b a n n ；数据长度取L=200。 程序清单如下见附录：最小二乘一次性算法Matlab 程序 运行结果如下： 图1 最小二乘一次性算法参数真值与估计值 其中re 为真值，ans 为估计值^ θ 结果发现辨识出的参数与真值之间存在细微误差，这是由于系统噪声以及数据长度L 的限制引起的，最小二乘辨识法是一种无偏估计方法。 方法二、最小二乘递推算法： 最小二乘一次性算法计算量大，并且浪费存储空间，不利于在线应用，由此引出最小
西北工业大学系统辩识大作业 题目：最小二乘法系统辨识
一、 问题重述： 用递推最小二乘法、加权最小二乘法、遗忘因子法、增广最小二乘法、广义最小二乘法、辅助变量法辨识如下模型的参数 离散化有 z^4 - 3.935 z^3 + 5.806 z^2 - 3.807 z + 0.9362 ---------------------------------------------- = z^4 - 3.808 z^3 + 5.434 z^2 - 3.445 z + 0.8187 噪声的成形滤波器 离散化有 4.004e-010 z^3 + 4.232e-009 z^2 + 4.066e-009 z + 3.551e-010 ----------------------------------------------------------------------------- = z^4 - 3.808 z^3 + 5.434 z^2 - 3.445 z + 0.8187 采样时间0.01s 要求：1.用Matlab 写出程序代码； 2.画出实际模型和辨识得到模型的误差曲线； 3.画出递推算法迭代时各辨识参数的变化曲线； 最小二乘法: 在系统辨识领域中 ,最小二乘法是一种得到广泛应用的估计方法 ,可用于动态 ,静态 , 线性 ,非线性系统。在使用最小二乘法进行参数估计时 ,为了实现实时控制 ,必须优化成参数递推算法 ,即最小二乘递推算法。这种辨识方法主要用于在线辨识。MATLAB 是一套高性能数字计算和可视化软件 ,它集成概念设计 ,算法开发 ,建模仿真 ,实时实现于一体 ,构成了一个使用方便、界面友好的用户环境 ,其强大的扩展功能为各领域的应用提供了基础。对 4324326.51411.5320120232320 Y s s s s G U s s s s ++++== ++++432 120120232320 E N W s s s s == ++++
基于最小二乘法的系统参数辨识 吴令红，熊晓燕，张涛 太原理工大学机械电子研究所，太原 (030024) E-mail lhwu0818@https://www.doczj.com/doc/069814694.html, 摘要：系统辨识是自动控制学科的一个重要分支，由于其特殊作用，已经广泛应用于各种领域，尤其是复杂系统或参数不容易确定的系统的建模。过去，系统辨识主要用于线性系统的建模，经过多年的研究，已经形成成熟的理论。但随着社会、科学的发展，非线性系统越来越受到人们的关注，其控制与模型之间的矛盾越来越明显，因而非线性系统的辨识问题也越来越受到重视，其辨识理论不断发展和完善本。文重点介绍了系统参数辨识中最小二乘法的基本原理，并通过悬臂梁模型的辨识实例，具体说明了基于最小二乘法参数辨识在Matlab 中的实现方法。结果表明基于最小二乘法具有算法简单、精度较高等优点。 关键词：系统辨识；参数辨识；滑动平均模型(ARX)；最小二乘法；Matlab 中图分类号：TH-9 1. 引言 所谓辨识就是通过测取研究对象在人为输入作用下的输出响应，或正常运行时的输入输出数据记录，加以必要的数据处理和数学计算，估计出对象的数学模型。这是因为对象的动态特性被认为必然表现在它的变化着的输入输出数据之中，辨识只不过是利用数学的方法从数据序列中提炼出对象的数学模型而已[1]。 最小二乘法是系统参数辨识中最基本最常用的方法。最小二乘法因其算法简单、理论成熟和通用性强而广泛应用于系统参数辨识中。本文基于悬臂梁的实测数据，介绍了最小二乘法的参数辨识在Matlab中的实现。 2. 系统辨识 一般而言，建立系统的数学模型有两种方法：激励分析法和系统辨识法。前者是按照系统所遵循的物化（或社会、经济等）规律分析推导出模型。后者则是从实际系统运行和实验数据处理获得模型。如图1所示，系统辨识就是从系统的输入输出数据测算系统数学模型的理论和方法。更进一步的定义是L.A.Zadeh曾经与1962年给出的，即“系统辨识是在输入和输出的基础上，从系统的一类系统范围内，确立一个与所实验系统等价的系统”。另外，系统辨识还应该具有3个基本要素，即模型类、数据和准则[5]。被辨识系统模型根据模型形式可分为参数模型和非参数模型两大类。所谓参数模型是指微分方程、差分方程、状态方程等形式的数学模型；而非参数模型是指频率响应、脉冲响应、传递函数等隐含参数的数学模型。在辨识工程中，模型的确定主要根据经验对实际对象的特性进行一定程度上的假设，如对象的模型是线性的还是非线性的、是参数模型还是非参数模型等。在模型确定之后，就可以根据对象的输入输出数据，按照一定的辨识算法确定模型的参数[4]。 y 图1 被研究的动态系统
---------------------------------------------------------------最新资料推荐------------------------------------------------------ 基于最小二乘法的系统辨识的设计与开发（整理版）课程（论文）题目： 基于最小二乘法的系统辨识摘要： 最小二乘法是一种经典的数据处理方法。 最小二乘的一次性完成辨识算法（也称批处理算法），他的特点是直接利用已经获得的所有（一批）观测数据进行运算处理。 在系统辨识领域中, 最小二乘法是一种得到广泛应用的估计方法, 可用于动态系统, 静态系统, 线性系统, 非线性系统。 在随机的环境下，利用最小二乘法时，并不要求观测数据提供其概率统计方面的信息，而其估计结果，却有相当好的统计特性。 关键词： 最小二乘法；系统辨识；参数估计 1 引言最小二乘理论是有高斯（ K.F.Gauss）在 1795 年提出： 未知量的最大可能值是这样一个数值，它使各次实际观测值和计算值之间的差值的平方乘以度量其精度的数值以后的和最小。 这就是最小二乘法的最早思想。 最小二乘辨识方法提供一个估算方法，使之能得到一个在最小方差意义上与实验数据最好拟合的数学模型。 递推最小二乘法是在最小二乘法得到的观测数据的基础上，用新引入的数据对上一次估计的结果进行修正递推出下一个参数估计值，直到估计值达到满意的精确度为止。 1 / 10
对工程实践中测得的数据进行理论分析，用恰当的函数去模拟数据原型是一类十分重要的问题，最常用的逼近原则是让实测数据和估计数据之间的距离平方和最小，这即是最小二乘法。 最小二乘法是一种经典的数据处理方法。 在随机的环境下，利用最小二乘法时，并不要求观测数据提供其概率统计方面的信息，而其估计结果，却有相当好的统计特性。 2 最小二乘法的系统辨识设单输入单输出线性定常系统的差分方程为： 1),()()() 1()(01knkubkubnkxakxakxnn （ 1）上式中： )(ku为输入信号；)(kx为理论上的输出值。 )(kx只有通过观测才能得到，在观测过程中往往附加有随机干扰。 )(kx的观测值)(ky可表示为 （ 2）将式（ 2）代入式（ 1）得 1()()() 1()(101kubkubnkyakyakyn (3) 我们可能不知道)(kn的统计特性，在这种情况下，往往把)(kn看做均值为 0 的白噪声。 设 （ 4）则式（ 3）可以写成 (5) 在测量)(ku时也有测量误差，系统内部也可能有噪声，应当
系统辨识大作业 最小二乘法及其相关估值方法应用 学院：自动化学院 学号： 姓名：日期：
基于最小二乘法的多种系统辨识方法研究 一、实验原理 1.最小二乘法 在系统辨识中用得最广泛的估计方法是最小二乘法(LS)。 设单输入-单输出线性定长系统的差分方程为 (5.1.1) 式中:为随机干扰；为理论上的输出值。只有通过观测才能得到，在观测过程中往往附加有随机干扰。的观测值可表示为 (5.1.2) 式中:为随机干扰。由式(5.1.2)得 (5.1.3) 将式(5.1.3)带入式(5.1.1)得 (5.1.4) 我们可能不知道的统计特性，在这种情况下，往往把看做均值为0的白噪声。 设 (5.1.5) 则式(5.1.4)可写成 (5.1.6) 在观测时也有测量误差，系统内部也可能有噪声，应当考虑它们的影响。因此假定不仅包含了的测量误差，而且包含了的测量误差和系统内部噪声。假定是不相关随机序列(实际上是相关随机序列)。 现分别测出个随机输入值，则可写成个方程，即 上述个方程可写成向量-矩阵形式 (5.1.7) 设 则式(5.1.7)可写为
(5.1.8) 式中：为维输出向量；为维噪声向量；为维参数向量；为测量矩阵。因此式(5.1.8)是一个含有个未知参数，由个方程组成的联立方程组。如果，方程数少于未知数数目，则方程组的解是不定的，不能唯一地确定参数向量。如果，方程组正好与未知数数目相等，当噪声时，就能准确地解出 (5.1.9) 如果噪声，则 (5.1.10) 从上式可以看出噪声对参数估计是有影响的，为了尽量较小噪声对估值的影响。在给定输出向量和测量矩阵的条件下求系统参数的估值，这就是系统辨识问题。可用最小二乘法来求的估值，以下讨论最小二乘法估计。 2.最小二乘法估计算法 设表示的最优估值，表示的最优估值，则有 (5.1.11) 写出式(5.1.11)的某一行，则有 (5.1.12) 设表示与之差，即 - (5.1.13)式中 成为残差。把分别代入式(5.1.13)可得残差。设 则有 (5.1.14) 最小二乘估计要求残差的平方和为最小，即按照指数函数 (5.1.15) 为最小来确定估值。求对的偏导数并令其等于0可得 (5.1.16) (5.1.17)
基于最小二乘法的系统参数辨识 研究生二队李英杰 082068 摘要：系统辨识是自动控制学科的一个重要分支，由于其特殊作用，已经广泛应用于各种领域，尤其是复杂系统或参数不容易确定的系统的建模。过去，系统辨识主要用于线性系统的建模，经过多年的研究，已经形成成熟的理论。但随着社会、科学的发展，非线性系统越来越受到人们的关注，其控制与模型之间的矛盾越来越明显，因而非线性系统的辨识问题也越来越受到重视，其辨识理论不断发展和完善本。文重点介绍了系统参数辨识中最小二乘法的基本原理，并通过热敏电阻阻值温度关系模型的辨识实例，具体说明了基于最小二乘法参数辨识在Matlab中的实现方法。结果表明基于最小二乘法具有算法简单、精度较高等优点。 1. 引言 所谓辨识就是通过测取研究对象在人为输入作用下的输出响应，或正常运行时的输入输出数据记录，加以必要的数据处理和数学计算，估计出对象的数学模型。这是因为对象的动态特性被认为必然表现在它的变化着的输入输出数据之中，辨识只不过是利用数学的方法从数据序列中提炼出对象的数学模型而已[1]。最小二乘法是系统参数辨识中最基本最常用的方法。最小二乘法因其算法简单、理论成熟和通用性强而广泛应用于系统参数辨识中。本文基于热敏电阻阻值与温度关系数据，介绍了最小二乘法的参数辨识在Matlab中的实现。 2. 系统辨识 一般而言，建立系统的数学模型有两种方法：激励分析法和系统辨识法。前者是按照系统所遵循的物化（或社会、经济等）规律分析推导出模型。后者则是从实际系统运行和实验数据处理获得模型。如图1 所示，系统辨识就是从系统的输入输出数据测算系统数学模型的理论和方法。更进一步的定义是L.A.Zadeh 曾经与1962 年给出的，即“系统辨识是在输入和输出的基础上，从系统的一类系统范围内，确立一个与所实验系统等价的系统”。另外，系统辨识还应该具有3 个基本要素，即模型类、数据和准则[5]。被辨识系统模型根据模型形式可分为参数模型和非参数模型两大类。所谓参数模型是指微分方程、差分方程、状态方程等形式的数学模型；而非参数模型是指频率响应、脉冲响应、传递函数等隐含参数的数学模型。在辨识工程中，模型的确定主要根据经验对实际对象的特性进行一定程度上的假设，如对象的模型是线性的还是非线性的、是参数模型还是非参数模型等。在模型确定之后，就可以根据对象的输入输出数据，按照一定的辨识算法确定模型的参数[4]。 图1 被研究的动态系统 3. 最小二乘法（LS）参数估计方法 对于参数模型辨识结构，系统辨识的任务是参数估计，即利用输入输出数据估计这些参数，建立系统的数学模型。在参数估计中最常用的是最小二乘法(LS)、
第3章 线性动态模型参数辨识－最小二乘法 3.1 辨识方法分类 根据不同的辨识原理，参数模型辨识方法可归纳成三类： ① 最小二乘类参数辨识方法，其基本思想是通过极小化如下准则函数来估计模型参数： min )()? (?== ∑=θ θL k k J 1 2ε 其中)(k ε代表模型输出与系统输出的偏差。典型的方法有最小二乘法、增广最小二乘法、辅助变量法、广义最小二乘法等。 ② 梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向逐步修正模型参数，使准则函数达到最小，如随机逼近法。 ③ 概率密度逼近参数辨识方法，其基本思想是使输出z 的条件概率密度)|(θz p 最大限度地逼近条件0θ下的概率密度)|(0θz p ，即 )|()?|(0m a x θθz p z p ??→?。典型的方法是极大似然法。 3.2 最小二乘法的基本概念 ● 两种算法形式 ① 批处理算法：利用一批观测数据，一次计算或经反复迭代，以获得模型参数的估计值。 ② 递推算法：在上次模型参数估计值)(? 1-k θ的基础上，根据当前 获得的数据提出修正，进而获得本次模型参数估计值)(? k θ，广泛采用的递推算法形式为 () ()()()~()θθk k k k d z k =-+-1K h 其中)(? k θ表示k 时刻的模型参数估计值，K (k )为算法的增益，h (k -d ) 是由 观测数据组成的输入数据向量，d 为整数，)(~k z 表示新息。 ● 最小二乘原理
定义：设一个随机序列)},,,(),({L k k z 21∈的均值是参数θ 的线性函数 E{()}()T z k k θ=h 其中h (k )是可测的数据向量，那么利用随机序列的一个实现，使准则函数 21 ()[()()]L T k J z k k θθ==-∑h 达到极小的参数估计值θ? 称作θ的最小二乘估计。 ● 最小二乘原理表明，未知参数估计问题，就是求参数估计值θ? ，使序列的估计值尽可能地接近实际序列，两者的接近程度用实际序列与序列估计值之差的平方和来度量。 ● 如果系统的输入输出关系可以描述成如下的最小二乘格式 ()()()T z k k e k θ=+h 式中z (k )为模型输出变量，h (k )为输入数据向量，θ为模型参数向量，e (k )为零均值随机噪声。为了求此模型的参数估计值，可以利用上述最小二乘原理。根据观测到的已知数据序列)}({k z 和)}({k h ，极小化下列准则函数 21()[()()]L T k J z k k θθ==-∑h 即可求得模型参数的最小二乘估计值θ? 。 ● 最小二乘估计值应在观测值与估计值之累次误差的平方和达到最小值处，所得到的模型输出能最好地逼近实际系统的输出。 3.3 最小二乘问题的描述 (1) 考虑模型 )()()()()(11k e k u z B k z z A +=-- 式中u (k )和z (k ) 分别为过程的输入和输出变量，e (k )是均值为零、方差为2 n σ的随机噪声，)(1-z A 和)(1-z B 为迟延算子多项式，写成 A z a z a z a z B z b z b z b z n n n n a a b b ()()--------=++++=+++?????11122111221 (2) 假定模型阶次n a 和n b 为已知，且有b a n n ≥，也可设n n n b a ==, 并定义
最小二乘法参数辨识 1 引言 系统辨识是根据系统的输入输出时间函数来确定描述系统行为的数学模型。现代控制理论中的一个分支。通过辨识建立数学模型的目的是估计表征系统行为的重要参数，建立一个能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统输出的未来演变，以及设计控制器。对系统进行分析的主要问题是根据输入时间函数和系统的特性来确定输出信号。对系统进行控制的主要问题是根据系统的特性设计控制输入，使输出满足预先规定的要求。而系统辨识所研究的问题恰好是这些问题的逆问题。通常，预先给定一个模型类μ={M}（即给定一类已知结构的模型），一类输入信号u和等价准则J=L(y，yM)(一般情况下，J是误差函数，是过程输出y和模型输出yM的一个泛函)；然后选择使误差函数J达到最小的模型，作为辨识所要求的结果。系统辨识包括两个方面：结构辨识和参数估计。在实际的辨识过程中，随着使用的方法不同，结构辨识和参数估计这两个方面并不是截然分开的，而是可以交织在一起进行的。 2 系统辨识的目的 在提出和解决一个辨识问题时，明确最终使用模型的目的是至关重要的。它对模型类（模型结构）、输入信号和等价准则的选择都有很大的影响。通过辨识建立数学模型通常有四个目的。 ①估计具有特定物理意义的参数有些表征系统行为的重要参数是难以直接测量的，例如在生理、生态、环境、经济等系统中就常有这种情况。这就需要通过能观测到的输入输出数据，用辨识的方法去估计那些参数。 ②仿真仿真的核心是要建立一个能模仿真实系统行为的模型。用于系统分析的仿真模型要求能真实反映系统的特性。用于系统设计的仿真，则强调设计参数能正确地符合它本身的物理意义。 ③预测这是辨识的一个重要应用方面，其目的是用迄今为止系统的可测量的输入和输出去预测系统输出的未来的演变。例如最常见的气象预报，洪水预报，其他如太阳黑子预报，市场价格的预测，河流污染物含量的预测等。预测模型辨识的等价准则主要是使预测误差平方和最小。只要预测误差小就是好的预测模型，对模型的结构及参数则很少再有其他要求。这时辨识的准则和模型应用的目的是一致的，因此可以得到较好的预测模型。 ④控制为了设计控制系统就需要知道描述系统动态特性的数学模型，建立这些模型的目的在于设计控制器。建立什么样的模型合适，取决于设计的方法和准备采用的控制策略。 3 系统辨识的方法 经典方法： 经典的系统辨识方法的发展已经比较成熟和完善，他包括阶跃响应法、脉冲