基于支持向量机的TSK模糊模型辨识与控制

文章编号:100429037(2005)022*******

基于支持向量机的T SK 模糊模型辨识与控制

丁学明,张培仁,张志坚,屠运武

(中国科学技术大学自动化系,合肥,230027)

摘要:研究非线性系统T SK 模糊模型的辨识与控制,利用T SK 模型,可以将线性控制理论应用于非线性系统控制。基于支持向量机和递推最小二乘法,辨识出T SK 模糊模型,并且通过遗传算法优化隶属度函数参数,最小化辨识误差。针对T SK 模型进行控制,控制器包括两个部分:权重最大子系统反馈控制及其监督控制,监督控制保证了系统的稳定性。辨识和控制仿真结果证明了算法的有效性。关键词:支持向量机;最小二乘法;遗传算法;T SK 模型中图分类号:T P 27314 文献标识码:A

　收稿日期:2004204211;修订日期:2004209209

Iden tif ica tion and Con trol for TSK Fuzzy M odel Ba sed on SV M

D IN G X ue 2m ing ,ZH A N G P ei 2ren ,ZH A N G Z h i 2j ian ,TU Y un 2w u

(D epartm en t of A u tom ati on ,U n iversity of Science &T echno logy of Ch ina ,H efei ,230027,Ch ina )

Abstract :B ased on the suppo rt vecto r m ach ine (SVM )iden tificati on and the con tro l fo r T SK fuzzy m odel of the non linear system are studied .L inear con tro l theo ry can be u sed to con tro l non linear system u sing the T SK m odel

.T he T SK fuzzy m odel is iden tified based on the SVM and the recu rsive least square m ethod ,and m em bersh i p functi on p aram eters are op ti m ized w ith the genetic algo rithm so that iden tificati on erro r is m in i m ized .T he con tro ller includes tw o p arts fo r T SK m odel :feedback con tro l fo r sub system w ith the m ax i m um w eigh t and its sup er 2vised con tro l fo r guaran ting the system stab ility .Si m u lati on resu lts of the iden tificati on and the con tro l show the effectiveness of the m ethod .

Key words :suppo rt vecto r m ach ine ;least square m ethod ;genetic algo rithm ;T SK m odel

引 言

自然界实际系统基本上是非线性系统,其辨识是一个重要而又复杂的问题,特别对基于输入2输出数据的黑箱辨识成为其中的研究热点。虽然神经网络在系统辨识中得到了广泛的应用,但神经网络的结构选择非常重要,它对模型的正确性和有效性有很大的影响,对具体系统不易找到一个合适的网络结构。另外,还存在过学习现象、训练过程中有局部极小问题等。

支持向量机(Suppo rt vecto r m ach ine ,SVM )是在统计学习理论的基础上形成的,它根据结构风险最小化原则,从而提高了学习机的泛化能力,即使是由有限训练样本得到的解,在求解问题时仍能得到较小的误差。在给定精度和折衷参数后,SVM

中的结构参数自动确定,SVM 方法比基于经验风险原理的神经网络学习算法具有更强的理论依据和更好的泛化性能。此外,支持向量机算法是一个凸二次优化问题,能保证找到的极值解就是全局最优解,从而克服了传统神经网络的缺点,成为一个通用的学习机。

T SK 模糊模型是一个通用逼近器[1]

,它把一个非线性系统当作多个线性子系统与其权重乘积之和,这样可以将线性控制理论应用于非线性系统的控制中。基于T SK 模糊模型的控制,传统的方法是:首先针对每个局部线性系统设计局部线性控制器,通常采用L yap unov 能量法来研究全局稳定性,最后稳定性问题归结解一组线性矩阵不等式(LM I )找公共正定矩阵P 或每个分段的正定矩阵P i ,这种方法具有较强的保守性,同时规则越多找正定矩阵P 或P i 就越困难。本文采用设计全局监

第20卷第2期2005年6月数据采集与处理Jou rnal of D ata A cqu isiti on &P rocessing V o l .20N o.2Jun .2005

督控制器来保证系统稳定,无需找公共或分段正定矩阵,控制算法简单,易于实现。

1　SV M 回归方法

用于回归SVM 可表述为:给定样本集(x 1,

y 1),…,(x l ,y l )∈R N

×R ,要求拟合函数是

f (X )=w T

K (x )+b

w ,K (x )∈R N

,b ∈R

(1)

式中:

w 为权值;核函数K (

x )把输入向量映射到高维特征空间;b 为偏差。核函数采用高斯函数,即K (x )=exp -(x -x 1)2

2Ρ12

,…,exp -(x -x l )2

2Ρl 2

T

(2)

基于SVM 的最优回归函数是指满足结构风险最小化原理,即极小化

R eg [f ]=R gen +C 3R e mp

(3)

C 为预先指定的常数,它在R e mp 和R gen 之间取一折

衷。经验风险R e mp =∑l

i =1

l Ε

(y ),

定义Ε不灵敏损失

函数l Ε(y )

[2]

为

l Ε(y )=

f (x )-y -Ε

f

(x )-y <Ε f (x )-y ≥Ε

(4)R gen =

‖w ‖

2

2

为f (x )复杂度的一种度量。对式(3)最小化体现了统计学习理论的核心思想,目的是要获得一个小的结构风险,既要控制训练误差,又要控制模型的复杂度,使模型泛化能力提高。

这样回归问题就转化成以下的优化问题

m in 12

w T

w +C

∑l

i =1

(Φi

+

Φ3

i )y i -w T

K (x i )-b ≤Ε+Φ3

i w T

K (x i )+b -y i ≤Ε+Φi

Φi ,Φ3i ≥0,Ε≥0,i =1,…,l

(5)

通过构造拉格朗日函数,并利用拉格朗日函数

对w ,b ,Νi ,Ν3

i 导数为0的极值条件,上述问题可归

结为以下二次型优化问题m in a

3

,a

1

2

∑l

i ,j

(a

3

i -a i )(a 3j -a j )K (x i ,x j )-∑l

i =1

(a

3

i

-a i )y i

(6)

式中:K (x i ,x j )=K (x i )T K (x j );0≤a i ;a 3i ≤C ;i ,j =

1,…,l 。

解上述优化问题求得拉格朗日乘子,其中拉格

朗日乘子a i ,a 3i 为非零的训练样本点称为支持向量。

2　基于SV M 的TSK 模糊模型辨识

T SK 模糊模型是由一组

“如果——则”模糊规则来描述非线性系统,每一个规则代表一个线性子系统。整个模糊系统即为各个子系统的线性组合,

假设系统是关于变量Η的h 阶系统,并且令:x 1=Η

,x 2=Η?

,…,x h =Η(

h -1)

,采样周期T s =0101s ,这样利用T SK 模型表示的离散模糊状态方程模型为:

规则i :如果x 1是F i 1,x 2是F i 2,…,x h 是F ih ,则

x n +1=A i x n +B i u n

(7)式中:

A i =

1

01010…

00

1

0101

0…

…

…

…

…

…

a i 1

a i 2

a i 3

…a ih

;　B i =0

b i

i =1,2,…,m ;m 为规则的数量;F ij 为模糊集;x n =

(x 1,n ,x 2,n ,…,x h ,n )T 为n 时刻的状态值;u n 为n 时

刻的控制量,同理x n +1=(x 1,n +1,x 2,n +1,…,x h ,n +1)T 为n +1时刻的状态值。

由于式(1)中,仅有支持向量起作用,系统方程可表示为

x h ,n +1=w T

<(x n )+b

(8)

式中:<(x n )=

exp -(x n -x 31)

22Ρ12,…,exp -(x n -x 3m )2

2Ρm 2

T

;

x 3

i 为支持向量,i =1,…,m ;m ≤l 为支持向量的数

目。由文[3]证明,式(8)有偏差回归支持向量机函

数可表示成无偏函数如式(9)

x h ,n +1=

∑m

i =1

y i

(x n

)

∑m

i =1

(x n

)

=

∑m

i =1

Βi

y

i

(9)

式中:

2

2Ρi 2

;

Βi =

∑m

i =1

(x n

)

,考虑到式(7)的T SK 模型,令

y i =a i 1x 1,n +a i 2x 2,n …+a ih x h ,n +b i u n (10)y i 为第i 个局部子系统的输出。

由以上可知式(1)函数与一个T SK 模糊模型等价,这样采用SVM 作为T SK 模型的模糊接口,一方面可以确定模糊规则数,它等于支持向量数目,随之就确定了T SK 模糊模型的结构。另一方面

491数据采集与处理第20卷

核函数

(1)指定精度Ε和折衷参数C ,初始化核函数参数Ρi 。

(2)使用SVM 算法找到支持向量(SV s )x 3i 。

(3)由l 个支持向量(x 3i ,y 3i )作为输入输出数

据,利用递推最小二乘法估计参数a ij 和b i ,设辨识向量c (p )=(a 11,a 12,…,a 1h ,b 1,a 21,a 22,…,a 2h ,b 2,…,a m 1,a m 2,…,a m h ,b m )T ,即有当p =1,2,…,l 时

K (p )=P (p -

1)Q (p )(Q T (p )P (p -1)

Q (p )+1)-1

P (p )=P (p -1)-K (p )Q T

(p )P (p -1)

c (p )=c (p -1)+K (p )(y (p )-Q T

(p ) c (p -1))

(11)

式中:K (p )为增益矩阵;P (0)=ΡI (Ρ为一个很大的常数);Q (p )=(Β1x 1p ,Β1x 2p ,…,Β1x hp ,Β1u p ,…,

Βm x 1p ,Βm x 2p ,…,Βm x hp ,Βm u p )T

(4)采用遗传算法调整核函数参数Ρi ,使估计误差最小化,文[4]中利用梯度法优化参数Ρi ,由于梯度法易陷入局部最优,遗传算法可以得到最优解或准最优解。

3　基于TSK 模糊模型的控制

整个系统的离散型模糊状态方程为

x n +1=

∑m

i =1

Βi

A i x

n

+

∑m

i =1

Βi

B i

u

n

=A x n +B u n

(12)

式中A =

∑m

i =1

Βi

A i

;B =∑m i =1

Βi

B i

。

将式(12)分解成m 个独立的线性子系统,这样可以利用线性控制理论,很容易设计控制器以满足期望的能。将整个系统划分成m 个子空间

　S i ={x Βi (x )≥Βj (x ),j =1,2,…,m ,j ≠i }(13)在每个子空间S i 上,模糊系统(11)可表示为

x n +1=A i +∑m

j =1,j ≠i

Βj (A

j

-A i )x n +B i +

∑m

j =1,j ≠i

Βj

(B

j

-B i )u n =

(A i +?A i )x n +(B i +?B i )u n

(14)

式中:

?A i =∑m

j =1,j ≠i

Βj (A

j

-A i );?B i =

∑m

j =1,j ≠i

Βj

(B

j

-B i )

由式(14)可知:在每个子空间上可以等效成一

线性不确定系统,其中确定部分就是该子空间上的局部状态方程模型,称之为标称系统,即

x n +1=A i x n +B i u n (15) 而不确定部分则是其他子空间上的子系统的影响造成的。

设计如下控制器

u =u f +u s

(16)u f 为权重最大子空间的反馈控制量

u f =-K k x n

(17)

下标k 定义为

k =arg{m ax i

{Βi ,i =1,2,…,m }}

K k 为权重最大的子系统的反馈增益。u s 为监督控

制部分,它的作用是抵消掉式(14)中不确定部分的影响,使闭环系统的性能满足期望的指标,设监督控制为

u s =-K s x n (18)其中

K s =(B T B )-1B T

(?A k -

?B k K k )(19)

控制器稳定性证明参见文[5]。

4　仿真研究

411　仿真对象

本文控制对象是小车倒立摆,结构如图1

所示。

图1　小车倒立摆结构图

Η为摆杆与垂直轴线的夹角,Η?

为摆杆角速度。令x 1=Η,x 2=Η?

,那么小车倒立摆系统方程为

x α1=x 2

(20)x α2=

m t g sin x 1-m lx 2

2sin (2x 1)

2-u co s x 1

l

4m t

3-m co s 2(x 1)

(21)

输入变量u 是作用于小车质心的力,m ,m t ,l ,g 分别表示摆杆的质量,小车倒立摆总质量,摆杆长度的一半以及重力加速度。这里取m =011kg ,m t =111kg ,l =015m 。通过输入变量u 来控制摆杆的角度Η和角速度Η?

。

5

91第2期丁学明,等:基于支持向量机的T SK 模糊模型辨识与控制

412　辨识仿真

选用100个输入输出样本点,输入向量为

x 1,n

x 2,n

u n

T

,即n 时刻摆杆的角度、角速度以

及作用于小车质心的力,输出量为x 2,n +1,即n +1

时刻摆杆的角速度,其中50个用于训练支持向量机,50个用于测试训练好的支持向量机的泛化性能,设式(5)中的参数为:C =100,Ε=017,Ρ=31

5355。

采用第3节的辨识算法,其中x =x 1x 2T ,得到9个支持向量,即辨识出的小车倒立摆T SK 模型有9条模糊规则构成,其中隶属度函数采用式(2)中高斯函数,中心为支持向量点的角度值Η,利用递推最小二乘法估计线性子系统的参数值,通过遗传算法优化隶属度函数的方差Ρi ,辨识出的T SK 模糊模型如下:

规则i :如果x 1,n 为F i

x n +1=A i x n +B i u n (22)其中

F 1=

exp

(x 1,n +01070

77)2

981998A 1=

10101-011495018631　B 1=0

-0108427

F 2

=exp

(x 1,n +11452

6)

2

181543A 2=

10101-014071017903　B 2=0

-010450

1

F 3=exp

(x 1,n +313233)

2

751924A 3=

10101-01607411051　B 3=0

010287

7

F 4=exp

(x 1,n

+216294)

2

851194A 4=

10101-015636019209　B 4=0

01009

199

F 5=exp ((x 1,

n +014122)2

501568)A 5=

10101

-012151018239　B 5=

-0

10807

F 6=exp

(x

1,n -118096)

2

11

A 6=

10

10101138

0111467　B 6=0

-01005855

F 7=exp

(x 1,n -316256)

2

1714A 7=

10101012036111502　B 7=0

011911

F 8=exp

(x 1,n -210646)

2

621148A 8=

10101011608111722　B 8=0

010168

F 9=exp

(x 1,n -019707)2

131993A 9=

1010101032211026　B 9=0

-01061507

小车倒立摆T SK 模型训练集和测试集拟合曲

线如图2,3所示,可以看出,辨识误差小。

图2　训练集拟合图

图3　测试集拟合图

413　控制仿真

41311　摆起与平衡

倒立摆初始状态为(Π,0),即摆杆处于悬垂位

置。每个子系统的极点配置在:

P =[019798-010294i 019798+010294i ],利用第3节的控制算法,其摆起与平衡曲线如图4所示,摆杆摆起和平衡的速度非常快,整个过程仅需019s 。

41312　摆杆角度跟踪控制

倒立摆初始状态为(Π 20,0),摆角跟踪幅度为Π

10的正弦波,即Ηr =Π10

sin (t )

。控制框图见图5。K k =(K k 1,K k 2)为权重最大子系统的反馈增

益;K s =K s 1K s 2监督反馈增益,其中K k 1,K s 1为针对变量x 的增益,K k 2,K s 2为针对变量Ν的增益,C =(0,1)。

对于权重最大子空间标称系统有

691数据采集与处理第20卷

图4

　摆杆摆起与平衡曲线图5　摆角跟踪控制框图

x n +1=A k x n +B k u n (23)Νn +1=

Νn +Η

r -Cx n (

24)由式(23,24)构成的离散状态空间方程

x n +1

Νn +1

=

A

k

0-C

1

x n

Νn

+

B k

u n +

01

Ηr (25)

针对式(25),进行极点配置,极点P 为

019798-010294i

　019798-010294i 018534,

求得K k ,再利用式(26)求出K s

K s =(B δT B δ)-1B δT (?A δk -?B δk K k )(26

)

其中B δ=

B

,?A δk =

?A k 00

,?B δk =

?B k 0

跟踪结果如图6所示,可见其跟踪速度快,误差小。

5　结束语

T SK 模糊模型是一个通用逼近器,它把一个

非线性系统当作多个线性子系统与其权重乘积之和,这样可以将线性控制理论应用于非线性系统的控制中。本文利用支持向量机和最小二乘法,辨识出非线性系统的T SK 模糊模型,并且通过遗传算法调整隶属度函数参数。然后针对辨识出的T SK 模型进行控制,控制量包括两个部分:权重最大子空间反馈控制及其监督控制,监督控制保证了系统

图6　摆杆角度跟踪曲线

的稳定性。小车倒立摆的辨识和控制结果显示系统辨识误差小,摆杆摆起和平衡速度快,摆杆跟踪精度高。

参考文献:

[1]　Buck ley J J .Sugeno type con tro llers are un iversal

con tro llers [J ].Fuzzy Sets Syst ,1993,53:299～

303.

[2]　C ristian in i N ,Shaw e 2T aylo r J .A n in troducti on to

suppo rt vecto r m ach ines and o ther kernel 2based learn ing m ethods [M ].Cam b ridge U n iversity P ress ,2000.

[3]　Chan W C ,Chan C W ,Cheung K C ,et a l .O n the

modelling of non linear dynam ic system s u sing sup 2po rt vecto r neu ral netw o rk s [J ].Engineering A pp li 2cati on s of A rtificial In telligence ,2001,14:105～113.

[4]　K i m J ,W on S .N ew fuzzy inference system u sing a

suppo rt vecto r m ach ine [A ].D ecisi on and Con tro l ,P roceedings of the 41st IEEE Conference [C ].2002,2:1349～1354.

[5]　高卫华,谢剑英.离散型模糊系统的稳定线性监督控

制设计[J ].信息与控制,2000,29:325～328.

作者简介:丁学明(19712),男,博士研究生,研究方向:智能控制、CAN 现场总线控制、嵌入式系统,E 2m ail :xuem 2

ingding @sohu .com ;张培仁(19442),男,教授,博士生导

师,研究方向:CAN 现场总线控制系统、智能机器人技术等;张志坚(19802),男,硕博连读研究生,研究方向:模式识别与智能系统;屠运武(19632),男,高级工程师,研究方向:模式识别与智能系统。

7

91第2期丁学明,等:基于支持向量机的T SK 模糊模型辨识与控制