V o l u m e 3: C h a p t e r 6, 7, 8
M o d e r n C o n t r o l T h e o r y
—O p t i m a l C o n t r o l —
( A n u n d e r g r a d u a t e c o u r s e )
H u i P E N G
P h D , P r o f e s s o r
( h t t p ://d e p t a u t o .c s u .e d u .c n /s t a f f m e m b e r /H u i P e n g .h t m )
D e p a r t m e n t o f A u t o m a t i o n S c h o o l o f I n f o r m a t i o n S c i e n c e &
E n g i n e e r i n g C e n t r a l S o u t h U n i v e r s i t y C h a n g s h a , H u n a n , 410083, C h i n a
C o n t e n t s
C h a p t e r 1 I n t r o d u c t i o n
C h a p t e r 2 S t a t i c O p t i m i z a t i o n
C h a p t e r 3 V a r i a t i o n a l M e t h o d s
C h a p t e r 4 T h e P o n t r y a g i n M i n i m u m P r i n c i p l e
C h a p t e r 5
D i s c r e t e -T i m e O p t i m a l C o n t r o l
C h a p t e r 6
D y n a m i c P r o g r a m m i n g
C h a p t e r 7 M i n i m u m T i m e O p t i m a l C o n t r o l
C h a p t e r 8 L i n e a r -Q u a d r a t i c O p t i m a l C o n t r o l
C h a p t e r 6
D y n a m i c P r o g r a m m i n g
6.1 M u l t i s t a g e d e c i s i o n p r o c e s s a n d t h e p r i n c i p l e o f o p t i m a l i t y
6.2 D y n a m i c p r o g r a m m i n g f o r d i s c r e t e s y s t e m s
6.3 D y n a m i c p r o g r a m m i n g f o r c o n t i n u o u s s y s t e m s
6.4 D y n a m i c p r o g r a m m i n g , t h e m i n i m u m p r i n c i p l e a n d t h e c a l c u l u s
o f v a r i a t i o n s
6.1 M u l t i s t a g e d e c i s i o n p r o c e s s a n d t h e p r i n c i p l e o f o p t i m a l i t y
6.1 M u l t i s t a g e d e c i s i o n p r o c e s s a n d t h e p r i n c i p l e o f o p t i m a l i t y
C o n s i d e r t h e f o l l o w i n g S h o r t e s t P a t h p r o b l e m , a m u l t i s t a g e d e c i s i o n p r o b l e m :f i n d i n g a s h o r t e s t p a t h f r o m t h e s t a r t i n g c i t y "S " t o t h e f i n a l c i t y "F "
.
S t a g e 1 S t a g e 2 S t a g e 3
D e c i s i o n v a r i a b l e : u (1)
u (2)
u (3)
S t a t e v a r i a b l e : S x (1)
x (2)
x (3) F
O p t i m a l d e c i s i o n : V [S ]
V [x (1)]
V [x (2)]
V [x (3)] V [F ]
V [x (k )]: t h e o p t i m a l d e c i s i o n a t t h e s t a t e x (k ); a s h o r t e s t p a t h f r o m t h e s t a t e x (k ) t o t e r m i n a l F .
6.1 M u l t i s t a g e d e c i s i o n p r o c e s s a n d t h e p r i n c i p l e o f o p t i m a l i t y
T h e p r i n c i p l e o f o p t i m a l i t y :
A n o p t i m a l p o l i c y h a s t h e p r o p e r t y t h a t , w h a t e v e r t h e i n i t i a l s t a t e a n d d e c i s i o n (i .e ., c o n t r o l ) a r e , t h e r e m a i n i n g d e c i s i o n s m u s t c o n s t i t u t e a n o p t i m a l p o l i c y w i t h r e g a r d t o t h e s t a t e r e s u l t i n g f r o m t h e f i r s t d e c i s i o n .
6.1 M u l t i s t a g e d e c i s i o n p r o c e s s a n d t h e p r i n c i p l e o f o p t i m a l i t y
I n o t h e r w o r d s , t h e p r i n c i p l e o f o p t i m a l i t y s t a t e s t h a t :
{}*****
***I f a -s t a g e d e c i s i o n p r o b l e m s t a r t i n g a t s t a t e (0) i s o p t i m a l ,
t h e o p t i m a l c o n t r o l s e q u e n c e i s (0),(1),,,
a n d t h e s t a t e () () i s r e s u l t e d f r o m (0),(0)(),,,(1),,(1)(1,
t h )N x u u x k k N x u u u k u k u N
t h e ()-s t a g e d e c i s i o n p r o b l e m s t a r t i n g a t t h e s t a t e () i s a l s o o p t i m a l , a n d
t h e o p t i m a l c o n t r (),,o l o f t h e ()-s t a g e d e c i s i o n p r o b l e m i s .
O n e p a r t o f o p t i m a l t r a j e c t o r y i s s t i l l o (1)u k u N k x k k N N ??? p t i m a l t r a j e c t o r y .
6.1 M u l t i s t a g e d e c i s i o n p r o c e s s a n d t h e p r i n c i p l e o f o p t i m a l i t y
S o l v e t h e s h o r t e s t p a t h p r o b l e m :
V [x (k )]: t h e o p t i m a l d e c i s i o n a t t h e s t a t e x (k ); a s h o r t e s t p a t h f r o m t h e s t a t e x (k ) t o t e r m i n a l F .
()()(){}()()(){}()()(){}333
223232322323232232233()0
()4()6()8()m i n (),(),()10()m i n (),(),()9()m i n ,(),()8
R e c u r r e n t l y s o l v i n g f r o m f i n a l s t a t :
(e )V F V a V b V c V a L a V a L a V b L a V c V b L b V a L b V b L b V c V c L L c V c V a b L c V c ==??=??=??=→→→=??=→→→=??=→→=?→
?
()()(){}()()(){}()()(){}()()(){}121112121121212112121211()m i n (),(),9()m i n (),(),()()(12()m i n (),(),()11
()m i n ,(),()12
)V a L a V a L a V b L V b L b V a L b V b L b V c V c a V c S V L c V a L c V b L c V c V S L L a S V b L S V c ?=→→=??=→→→=??=→→→=??=→→→=→
C h a p t e r 6
D y n a m i c P r o g r a m m i n g
6.1 M u l t i s t a g e d e c i s i o n p r o c e s s a n d t h e p r i n c i p l e o f o p t i m a l i t y
6.2 D y n a m i c p r o g r a m m i n g f o r d i s c r e t e s y s t e m s
6.3 D y n a m i c p r o g r a m m i n g f o r c o n t i n u o u s s y s t e m s
6.4 D y n a m i c p r o g r a m m i n g , t h e m i n i m u m p r i n c i p l e a n d t h e c a l c u l u s
o f v a r i a t i o n s
6.2 D y n a m i c p r o g r a m m i n g f o r d i s c r e t e s y s t e m s
6.2 D y n a m i c p r o g r a m m i n g f o r d i s c r e t e s y s t e m s
[]{}0*
L e t t h e s t a t e e q u a t i o n o f d i s c r e t e s y s t e m b e :
(1)(),(),, ,, , 0,1,,1
(0), ()S o l v e f o r o p t i m a l c o n t r o l s e q u e n c e () m a k i n g m i n i m a l .
n m N
x k f x k u k k x f R u R k N x x x N x u k J +=∈∈=?== [][][]{}[]1
1**() (),(), , ,D e f i n e () a s t h e ()-s t a g e o p t i m a l d e c i s i o n s t a r t i n g f r o m s t a t e ():
()m i n (),(),(),(N N k N j N N j N j
u k k j
J L x k u k k J L R
V x j N j x j V x j J
L x k u k k L x k u ?=????==∈???===????∑∑[]{}[][][]1*1
*()01(0),(1),,(1)
1), (0)m i n (),(), m i n (0),(0),0(),(),N k j
N N N u k k N u u u N k k k J V x L x k u k k L x u L x k u k k ?=?=??=??????∴==????
??=+????
∑∑∑
6.2 D y n a m i c p r o g r a m m i n g f o r d i s c r e t e s y s t e m s
[][]1 A c c o r d i n g t o t h e p r i n c i p l e o f o p t i m a l i t y , i f t h e -s t a g e d e c i s i o n (0) i s o p t i m a l ,
t h e n t h e (1)-s t a g e d e c i s i o n (1), r e g a r d i n g t h e (1) r e s u l t i n g f r o m (0)
a n d (0) a s t h e i n i t i a l s t a t N N N V x N V x x x u ??[][][][][]{}
[]1(0)(1),(2),,(1)
11(0)
1(1)
e , s h o u l d b e a l s o o p t i m a l :
(0)m i n (0),(0),0m i n (),(), m i n (0),(0),0(1) S i m i l a r l y , w e h a v e
(1)m i n N N u u u u N k N u N u V x L x u L x k u k k L x u V x V x L x ??=????∴=+????
=+=∑ [][]{}
[][][]{}
[][][]{}
2(1)()
1()
(1),(1),1(2) I n g e n e r a l , i t h o l d s t h a t
()m i n (),(),(1) o r ()m i n (),(),(1)N N j N j u j j j u N j u V x V x j L x j u j j V x j V x N j L x N j u N j N j V x N j ???+??+=++?=???+?+—T h e d y n a m i c p r o g r a m m i n g a l g o r i t h m , t h e r e c u r r e n c e f o r m u l a
E x a m p l e :6.2 D y n a m i c p r o g r a m m i n g f o r d i s c r e t e s y s t e m s
{}10*T h e s t a t e e q u a t i o n o f d i s c r e t e s y s t e m i s : , 0,1,,1
g i v e n (0), a n d () i s f r e e .
S o l v e f o r o p t i m a l c o n t r o l s e q u e n c e m a k i n g m i n i m a l .
i i i i N i
x x u i N x x u x N x u J +=+=?== ()
()()()(){}
{}{}11
1
2220
2
201122221111011111
F r o m t h e r e c u r r e n c e f o r m u l a :
m i n m i n 222 0 N N N N i i
k N N N N N N N N N N N N u u N J x x u
V x x x u V x x u V x x u x u u ???=??????????=++==+=++=++?=?∑()()*******
*11111112
*11111 420 =223 2
N N N N N N N N N N u x u x x x u x V x x ?????????→+=→=?→+=∴=
()()[]
()()()()2*
2*
11
11
2*
T o s e a r c h f o r a o p t i m a l f e e d b a c k s t r u c t u r e , w e n e e d p r o v e
, 0, t h a t i s , i f
p r o v e : j N j j N j
j N j j N j j
N j j
N j
V x k x
j N V x k x V x k x p r o o f ????+??+??=?∈==()(){}
(){
}
{}()221
1
222**
11*****11
m i n m i n 0 220 1 N j N j
j N j
N j N j j N j u N j
N j
j N j
N j
u j N j j N j N j N j N j N j j V x x u V x
x
u
k x
u
k u k x u u x u k ???????+??????????????=++=+++?=→++=→=??+()()
*
***1
1
21
*
11 =1 , =1+
1 F r o m t h e f e e d b a c k l a w : N j N j
N j
N j j j j N j j N j
j j x
x
u
x k k V x k x k k ?+????????→+=+∴=+**'*'1111
, 11N i N i i i i i i N i N i k k u x k x k k k ????????=?==?++F e e d b a c k l a w
R e c e n t t o p i c s :
r e f e r t o :J o s e B . M a r e a n d J o s e A . D e D o n a , S o l u t i o n o f t h e i n p u t -c o n s t r a i n e d L Q R p r o b l e m u s i n g d y n a m i c p r o g r a m m i n g , S y s t e m s & C o n t r o l L e t t e r s ,v o l .56, p p . 342 –348, 2007.
()()()()(){}
112
11
00110
01
111111
12
0F o r t h e s y s t e m : , , , ,,, , m i n
N n k k k k k N T T T N N N N N
k k k k k O P T T O P T
T T O P T N N N N N N N N N k N u u n N u x A x B u x u J V x u u u x P x x Q x u R u V x x P x V x x Q x u R u V x u
?+??=??????≤≤???=+∈∈==++==≤≤?++∑ ()()1
1111
, c o n s t r a i n e d
T
T O P T N N N N N N N N
T
T N N N
B P B R B P A x u L Z A x h Z B P B R B P ?????=?+=?+=+1-12
1-12
1-11
1 i f 0 o t h e r w i s e
0 i f i f N N N N N N N N Z A x L Z A x h Z A x ?≤?≤??=???≤?≤?=??
-120
101110 i f p r e d i c t i v e c o n t r o l ; p a r a m i t r i z a t i o n a n d d e p e n d i n g o n s p a c e
N N O P T
Z A x u F x G F G x ??????>??=+
6.2 D y n a m i c p r o g r a m m i n g f o r d i s c r e t e s y s t e m s
C h a p t e r 6
D y n a m i c P r o g r a m m i n g
6.1 M u l t i s t a g e d e c i s i o n p r o c e s s a n d t h e p r i n c i p l e o f o p t i m a l i t y
6.2 D y n a m i c p r o g r a m m i n g f o r d i s c r e t e s y s t e m s
6.3 D y n a m i c p r o g r a m m i n g f o r c o n t i n u o u s s y s t e m s
6.4 D y n a m i c p r o g r a m m i n g , t h e m i n i m u m p r i n c i p l e a n d t h e c a l c u l u s
o f v a r i a t i o n s
6.3 D y n a m i c p r o g r a m m i n g f o r c o n t i n u o u s s y s t e m s
6.3 D y n a m i c p r o g r a m m i n g f o r c o n t i n u o u s s y s t e m s
[]00G i v e n t h e s t a t e e q u a t i o n o f t h e s y s t e m b e i n g c o n t r o l l e d :
()(),(),, , , ,
(), , n m
f m f x t f x t u t t x R u R t t t u t U R t t t ??=∈∈∈????∈??∈??
()()()[]()0
00* , i s g i v e n , i s f r e e
T h e o b j e c t i v e f u n c t i o n a l :
,(),(),, ,S o l v e f o r o p t i m a l c o n t r o l () m a k i n g m i n i m a l .
D e f i n e ,f
f f t f f t x t x t x t J x t t L x t u t t d t L R u t J V x t t ??=??=+∈????
?∫()()()[]{
}
*
a s t h e m i n i m u m o f s t a r t i n g f r o m s t a t e () a n d t i m e : ,,m i n ,(),(),f
t f f t u U
J x t t V x t t J x t t x t t L x t u t t d t ?∈???==+??????????∫
6.3 D y n a m i c p r o g r a m m i n g f o r c o n t i n u o u s s y s t e m s
()()(){
}
()(){}
()(){}0
*
00000(), ,,m i n , f r o m t h e p r i n c i p l e o f o p t i m a l i t y , f o r i n s t a n t ,, i t m u s t b e h e l d :
,m i n
,,, f
f
f
t f f t u U f t f f
t
u t t
J x t t V x t t x t t L d t t t t V x t t x t t L x u t d t ττ??∈??∈????∴==+??????????∈??=
+??????∫∫{
}
()()(){}[]
{}
()(){}[]{}()()(),(),(), m i n ,,,,, m i n ,,,,, m i n f
f t t
t f f t
t t
u t t t t
t
u t t t u t t t x t t L x u t d t L x u t d t L x u t d t V x t t t t L x t t u t t t t ττττττ?θθθ+?+???∈??
+?∈+?∈+???=
++??=
++?+?????+?+?+????
=∫∫∫()()()()()()2,,,T
t V x t t V x t t V x t t t x t t O t t x t ???+?????????????????????+?+?+?????????
M e a n v a l u e t h e o r y ,?
01
θ≤≤
6.3 D y n a m i c p r o g r a m m i n g f o r c o n t i n u o u s s y s t e m s
()[]{}()()()()()()()()()()()()()2(),(),
, m i n ,, L e t 0, y i e l d s
,, m i n ,,,,T u t t t T u t V x t t t V x t t O t L x t t u t t t t x t t x t t V x t t V x t t L x t u t t f x t u t t t x t ττθθθ∈+??????∴=????????????+?+?+?++????????????
?→??????????????=?+??????????????
??—H a m i l t o n -J a c o b i -B e l l m a n e q u a t i o n
()()()()()()()()()()()*
**S o l v i n g t h e H a m i l t o n -J a c o b i -B e l l m a n e q u a t i o n t o g e t b y m i n i m i z i n g
, ,,,, ,
,w e o b t a i n ,,T u t V x t t L x t u t t f x t u t t x t V x t t u t u x t t x t ?????????+???????????????
???????=??????
()()()()()()*
*
I n s e r t i n g i n t o t h e H a m i l t o n -J a c o b i -B e l l m a n e q u a t i o n , y i e l d s
,, ,,,, u t V x t t V x t t L x t u x t t t t x t ?????????????
?????=???????????
??+()()()()()()*
T h e s e c o n d f o r m o f H a m i l t o n -J a c o b i -B e l l m a n e q u a t i o n
,,,,,, T h e b o u n d a r y c o n d i t i o n i s
T V x t t V x t t f x t u x t t t x t x t V x t ?????????????????→?????????
?()()()()()*
,=, U s i n g t h e H a m i l t o n -J a c o b i -B e l l m a n e q u a t i o n t o s o l v e f o r n e e d s a c o n d i t i o n :
, i s c o n t i n u o u s l y d i f f e r e n t i a b l e i n a n d f f f f t x t t u t V x t t x t t
?????????
????
C h a p t e r 6
D y n a m i c P r o g r a m m i n g
6.1 M u l t i s t a g e d e c i s i o n p r o c e s s a n d t h e p r i n c i p l e o f o p t i m a l i t y
6.2 D y n a m i c p r o g r a m m i n g f o r d i s c r e t e s y s t e m s
6.3 D y n a m i c p r o g r a m m i n g f o r c o n t i n u o u s s y s t e m s
6.4 D y n a m i c p r o g r a m m i n g , t h e m i n i m u m p r i n c i p l e a n d t h e c a l c u l u s
o f v a r i a t i o n s
第6章 连续系统的最优控制 6.1 最优化问题 6.2 最优控制的变分法求解 6.3 线性系统二次型性能指标的最优控制 1、线性系统有限时间最优状态调节系统 ◆二次型性能指标 设受控系统对平衡点的增量方程为 ()()()()()x t A t x t B t u t ?=?+?，00()x t x ?=? 简记为 ()()()()()x t A t x t B t u t =+，00()x t x = 最优状态调节是指：对上述系统，在时间区间0[,]f t t t ∈，
寻求最优状态反馈控制，使初始状态偏差00()x t x =迅速衰减，且同时使二次型性能泛函 11()()[()()()()]d 22f t t t t f f f x u t J x t Q x t x t Q x t u t Q u t t =++? * min f x u J J J J J =++→= 式中 ()0f n n Q ?≥——终端加权矩阵。 ()0x n n Q ?≥——状态加权矩阵。 ()0u r r Q ?>——控制加权矩阵。 三个加权矩阵均为对称矩阵，为简单，一般取为对角矩 阵。 ●1()()2 t f f f f J x t Q x t =表示对终端状态偏差即稳态控制精度的限制。当1 diag[]f f fn Q q q =，2 1 1()2n f fi i f i J q x t ==∑
●0 1()()d 2f t t x x t J x t Q x t t =?表示对控制过程中状态偏差衰减速度的要求。当1 diag[]x x xn Q q q =，0 2 11()d 2f t n x xi i i t J q x t t ==∑? ●0 1()()d 2f t t u u t J u t Q u t t =?表示对控制过程中所消耗的能量的限制，以避免状态偏差过快衰减导致控制量超过允许数值。当 1 diag[]u u ur Q q q =，0 2 11()d 2f t r u ui i i t J q u t t ==∑?，2()i u t 可理解为功率。 实际上，在性能指标中，x J 已经对控制的稳态精度有所要求。当对稳态精度有更高的要求时，才增加f J 项。 由上可知，上述二次型性能指标的物理意义是，在整个时间区间0[,]f t t t ∈，特别是终值时刻f t t =上状态变量尽量接近于0
最优控制的应用概述 1.引言 最优控制是现代控制理论的重要组成部分，它研究的主要问题是：在满足一定约束条件下，寻求最优控制策略，使得性能指标取极大值或极小值。最优控制是使控制系统的性能指标实现最优化的基本条件和综合方法。可概括为：对一个受控的动力学系统或运动过程，从一类允许的控制方案中找出一个最优的控制方案，使系统的运动在由某个初始状态转移到指定的目标状态的同时，其性能指标值为最优。最优控制是最优化方法的一个应用。从数学意义上说，最优化方法是一种求极值的方法，即在一组约束为等式或不等式的条件下，使系统的目标函数达到极值，即最大值或最小值。从经济意义上说，是在一定的人力、物力和财力资源条件下，是经济效果达到最大（如产值、利润），或者在完成规定的生产或经济任务下，使投入的人力、物力和财力等资源为最少。 最优控制理论是研究和解决从一切可能的控制方案中寻找最优解的一门学科，基本内容和常用方法包括动态规划、最大值原理和变分法。这方面的开创性工作主要是由贝尔曼（R.E.Bellman）提出的“动态规划”和庞特里亚金等人提出的“极大值原理”，到了60年代，卡尔曼（Kalman）等人又提出了可控制性及可观测性概念，建立了最优估计理论。这方面的先期工作应该追溯到维纳（N.Wiener）等人奠基的控制论（Cybernetics）。最优控制理论的实现离不开最优化技术。控制系统最优化问题，包括性能指标的合理选择以及最优化控制系统的设计，而性能指标在很大程度上决定了最优控制性能和最优控制形式。最优化技术就是研究和解决最优化问题，主要包括两个需要研究和解决的方面：一个是如何将最优化问题表示为数学模型；另一个是如何根据数学模型尽快求出其最优解。 2.最优控制问题 所谓最优控制问题，就是指 在给定条件下，对给定系统确定 一种控制规律，使该系统能在规 定的性能指标下具有最优值。也 就是说最优控制就是要寻找容 许的控制作用（规律）使动态系 统（受控系统）从初始状态转移 到某种要求的终端状态，且保证 所规定的性能指标（目标函数）图1 最优控制问题示意图 达到最大（小）值。 最优控制问题的示意图如图1所示。其本质乃是一变分学问题。经典变分理论只能解决一类简单的最优控制问题。为满足工程实践的需要，20世纪50年代中期，出现了现代变分理论。最常用的方法就是极大值原理和动态规划。最优控制在被控对象参数已知的情况下，已成为设计复杂系统的有效方法之一。
实验报告 课程名称：现代控制工程与理论实验课题：最优控制 学号：12014001070 姓名：陈龙 授课老师：施心陵
最优控制 一、最优控制理论中心问题： 给定一个控制系统（已建立的被控对象的数学模型），选择一个容许的控制律，使被控对象按预定要求运行，并使给定的某一性能指标达到极小值（或极大值） 二、最优控制动态规划法 对离散型控制系统更为有效，而且得出的是综合控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。 最优性原理：在一个多级决策问题中的最优决策具有这样的性质，不管初始级、初始状态和初始决策是什么，当把其中任何一级和状态做为初始级和初始状态时，余下的决策对此仍是最优决策 三、线性二次型性能指标的最优控制 用最大值原理求最优控制，求出的最优控制通常是时间的函数，这样的控制为开环控制当用开环控制时，在控制过程中不允许有任何干扰，这样才能使系统以最优状态运行。在实际问题中，干扰不可能没有，因此工程上总希望应用闭环控制，即控制函数表示成时间和状态的函数。 求解这样的问题一般来说是很困难的。但对一类线性的且指标是
二次型的动态系统，却得了完全的解决。不但理论比较完善，数学处理简单，而且在工际中又容易实现，因而在工程中有着广泛的应用。 一．实验目的 1.熟悉Matlab的仿真及运行环境； 2.掌握系统最优控制的设计方法； 3.验证最优控制的效果。 二．实验原理 对于一个给定的系统，实现系统的稳定有很多途径，所以我们需要一个评价的指标，使系统在该指标下达到最优。如果给定指标为线性二次型，那么我们就可以利用MATLAB快速的计算卡尔曼增益。 三．实验器材 PC机一台，Matlab仿真平台。 四．实验步骤 例题1 （P269）考虑液压激振系统简化后的传递函数方框图如下，其中K a为系统前馈增益，K f为系统反馈增益，w h为阻尼固有频率。（如图5-5所示） 将系统传递函数变为状态方程的形式如下： ,
- 37 - Lorenz 系统的最优控制 周俊冬 马 明 （南通广播电视大学，江苏 南通 226006） 【摘 要】文章讨论了Lorenz 系统的最优控制问题，将该混沌系统控制到任意所期望的状态。基于哈密顿-雅可比-贝尔曼方程将构建最优控制器问题归结为解偏微分方程问题，通过巧妙构造Lyapunov 函数从而得到最优控制器。数值仿真表明，所设计的控制器实用有效并且易于实现。 【关键词】Lorenz 系统；最优控制；哈密顿-雅可比-贝尔曼方程 【中图分类号】TP273 【文献标识码】A 【文章编号】1008-1151(2010)05-0037-02 （一）引言 1963年Lorenz 发现了第一个混沌吸引子——Lorenz 系统，从此揭开了混沌研究的序幕。Lorenz 系统在信息加密和保密通信等领域有着广阔的应用前景，自从Pecora 和Carroll 提出混沌系统控制的观点和理论以后，线性和非线性反馈控制、自适应控制、延迟控制、变结构控制等多种不同方法都被成功地应用于Lorenz 混沌系统的控制中。 近十多年来，混沌控制的研究得到了蓬勃的发展，这一方向迅速成为混沌和控制学科交叉研究的热点，其间，人们提出了各种混沌控制方法，其中优化控制是一种在系统控制中应用最为广泛的手段，通常给定性能指标，或称目标函数泛函，寻找一容许控制，使目标泛函沿系统所有可能的状态轨迹取最小值。 目前，国内外学者已提出许多不同的混沌最优控制方法，并且问题最后都归结为求解动态规划中所涉及的偏微分方程。实际上，在许多情况下，动态规划中的偏微分方程的解是不存在或不惟一的。因此，求解动态规划中的偏微分方程是获得非线性系统最优控制的主要障碍。 本文针对Lorenz系统提出了一种最优控制方法，将该混沌系统控制到任意所期望的状态。基于哈密顿-雅可比-贝尔曼方程将构建最优控制器问题归结为解偏微分方程问题，通过巧妙构造Lyapunov函数从而得到最优控制器，同时找出了哈密顿-雅可比-贝尔曼方程的解。仿真结果表明该方法的有效性。 （二）哈密顿-雅可比-贝尔曼方程 设一个连续的非线性动力系统方程为： *()()(),()0x t f x g x u f x =+=& （1） 式中n x R ∈是状态变量，m u R ∈是控制器，():n n f x R R →和 ():n n m g x R R ×→是连续函数，驱使系统从任意初始值到任意 确定点* x 的最优控制方案是，使目标函数 [][()]T J u q x u Ru dt ∞ =+∫ （2） 取得最小值，式中()q x 是连续、可微且正定的函数，根据动态规划，最优控制归结为Hamilton-Jacobi-Bellman 偏微分方程： min 0u U u u dS dS dt dt ωω∈=????+=+=???????? （3） 式中()T q x u Ru ω=+，(())min [()]T t u U S x t q x u Ru dt ∞ ∈=+∫ ，U 为所有 控制器的集合。0u 为最优控制 （三）Lorenz系统的最优控制 Lorenz 系统的数学模型为： 121212133123 ()x a x x x bx x x x x x x cx =??? =????=??&&& （4） 当参数10a =、28b =、83c =时，系统是混沌的，图1显 示了系统的混沌吸引子。下面把该混沌系统从任意初始点稳 定到任意给定的目标点****123(,,)T x x x x =。 x (3) 图1 Lorenz 系统的混沌吸引子 控制器分为前馈控制****123(,,) T u u u u =和反馈控制123(,,)T u u u u =两部分，那么系统（4）变为： * 12111 * 2121322* 312333 ()x a x x u u x bx x x x u u x x x cx u u ?=?++?=??++??=?++?&&& （5） 取前馈控制为： ***1122 ******* 212133113******31212213 2u ax ax ax u bx x x x x x x x u x x x x x x cx ?=?+?=?+++???=??+? （6） 则受控系统（5）变为： 【收稿日期】2010-01-29 【作者简介】周俊冬，南通广播电视大学机械工程系教师；马明，南通广播电视大学机械工程系教师。
2-5 求通过(0)1x =，(1)2x =，使下列性能泛函为极值的极值曲线* ()x t ： 2(1)f t t J x dt =+?& 解：由题可知，始端和终端均固定， 被积函数2 1L x =+&，0L x ?=?，2L x x ?=?&&， 2d L x dt x ??=?&&& 代入欧拉方程0L d L x dt x ??-?=??&，可得20x =&&，即0x =& & 故1x c =& 其通解为：12x c t c =+ 代入边界条件(0)1x =，(1)2x =，求出11c =，21c = 极值曲线为* ()1x t t =+ 2-6 已知状态的初值和终值为 (1)4x =，()4f x t = 式中f t 自由且f t >1，试求使下列性能泛函达到极小值的极值轨线* ()x t ： 2 1 1[2()()]2 f t J x t x t dt =+ ?& 解：由题可知，2 122L x x =+ &，()4f t ψ=，()14x =，()4f x t = 欧拉方程： L 0d L x dt x ??-=??& 横截条件：()00t x =x ，()() f f x t t ψ=，( )0f T t L L x x ψ ?? ?+-= ??? ? &&& 易得到 2dx dt =& 故12x t c =+& 其通解为：()2 12x t t c t c =++ 根据横截条件可得：()()()122 121114424 f f f f f x c c x t t c t c x t t c ?=++=??=++=??=+=??& 解以上方程组得：12569f t c c =??=-??=? 还有一组解??? ??===1212 1c c t f (舍去，不符合题意f t >1)
非线性系统最优控制理论综述 时间：2015-06-17 作者：马玲珑 摘要：非线性系统，其最优控制求解相当困难，寻求近似的最优控求解方法是当下解决这一问题的主要途径。目前，比较成熟的最优控制求解方法主要有七类，本文对这七种方法进行了详细的阐述，并对其优缺点进行了客观的对比。 论文关键词：非线性,最优控制 近年来，最优控制理论[1,2]的研究，无论在深度和广度上，都有了很大的发展，已成为系统与控制领域最热门的研究课题之一，取得了许多研究成果。同时，也在与其他控制理论相互渗透，出现了许多新的最优控制方式，形成了更为实用的学科分支。例如鲁棒最优控制[3]、随机最优控制[4]、分布参数系统的最优控制[5]、大系统的次优控制[6]、离散系统的最优控制及最优滑模变结构控制[7,8]等。而对于非线性系统，其最优控制求解相当困难，需要求解非线性HJB方程或非线性两点边值问题，除简单情况外[9]，这两个问题都无法得到解析解。因此，许多学者都致力于寻求近似的求解方法[10~13]，通过近似解得到近似的最优控，即次优控制。 1、非线性最优控制理论研究成果分类 目前，较为流行的近似最优控制求解方法主要有以下几类[6][13]。 1）幂级数展开法：幂级数展开方法通过一个幂级数来构造控制律，得到序列形式的近似最优解，或者将系统中的非线性项以幂级数形式分解，或者通过引进一个临时变量并围绕它展开。 将上式代入HJB方程求得级数近似解，也可利用Adomian分解将非线性项进行分解，由此寻求非线性HJB方程级数的近似解。 2）Galerkin逐次逼近方法：由动态规划得到的一般性偏微分HJB方程，引入一个迭代过程来求解一般非线性HJB方程的一个近似解序列。 3）广义正交多项式级数展开法：其主要思想是将最优控制问题中的状态变量，控制输入，性能指标和各个参数分别用广义正交多项式展开，利用广义正交多项式的积分、乘积运算阵 将描述系统的微分方程转化为一系列的代数方程。然后，得到 ，T非奇异时由得到的控制律是一个多项式级数解。该方法将最优控制问题转化为代数极值问题，从而避免了求解时变非线性Riccati方程。 4）有限差分和有限元方法：经典的有限差分和有限元方法可以用来近似求解非线性
二阶系统的最优控制 Ξ 肖 滨 (海军潜艇学院 青岛 266071) 摘 要 应用最优控制理论验证了二阶系统最优控制为典型的Bang 2Bang 控制,通过理论推导得出了其相轨迹,并讨论了二阶系统最优控制的实现。 关键词 最优控制 二阶系统 Bang 2Bang 控制 The Opti m al Con trol of Second -Order System X iao B in (N avy S ub m arine A cad e m y ,Q ing d ao ,266071) ABSTRACT T h is paper demo strated that the op ti m al contro l of second 2o rder system is the typ ical Bang 2Bang contro l by app lying the Op ti m al Contro l T heo ry .T he state track about th is contro l m ethod is obtained also by using theo ry inference ,and how to realize the op ti m al contro l of second 2o rder system is discussed deep ly at last . KEY WOR D S op ti m al contro l ,second 2o rder system ,Bang 2Bang contro l 在雷达声纳等控制系统中,都涉及到目标自动搜索及跟踪问题,而其控制一般都采用闭环自动控制和调整实现,对于二阶系统而言,如何获得最优控制,使系统动态性能达到最快速的跟踪控制效果,一直是人们所关注的问题。 二阶系统的传递函数为 H (S )=k m S (S T m +1) (1)采用图1所示的闭环控制后,其传递函数为H (S )= K m T m S 2+S T m +K m T m (2)图2是二阶闭环系统阶跃响应曲线,可以看出:当系统阻尼太大时,系统响应时间长;而当系统阻尼太小时,输出超调量又太大。这是二阶闭环系统的矛盾缺陷,本文试图从最优控制理论出发,讨论二阶系统的最优控制问题。 图1二阶系统的闭环控制框图y (s )S (S T m +1)k m - +x (s )u (s )1 二阶系统最优控制的理论推导〔1〕以x (t )=[x 1(t ),x 2(t )]T 表示系统状态,其中x 1(t )、x 2(t )分别表示系统输出y (t )及输出的一阶导 数y 2(t ),将二阶系统开环传递函数式(1)以系统状态方 程形式记作: x 1′x 2′=x 2-x 2 T m +uk m T m (3)考虑到输入量的限制,规定: u (t ) ≤1 (4)? 92? 第22卷 第1期火力与指挥控制 (总第22-029) Ξ收稿日期 1996-06-20
摘要 倒立摆系统是一个典型的快速、多变量、非线性、不稳定系统，许多抽象的控制理论概念都可以通过倒立摆实验直观的表现出来。因此，倒立摆系统经常被用来检验控制策略的实际效果。应用上，倒立摆广泛应用于航空航天控制、机器人，杂项顶杆表演等领域，研究倒立摆的精确控制对工业复杂对象的控制也有着重要的工程应用价值。 本文以固高公司生产的GIP-100-L型一阶倒立摆系统为研究对象，对直线一级倒立摆模型进行了建模，控制算法的仿真对比，并得出了相应的结论。 文中介绍了倒立摆的分类、特性、控制目标、控制方法等以及倒立摆控制研究的发展及其现状。利用牛顿力学方法推到了直线以及倒立摆的动力学模型，求出其传递函数及其状态空间方程。 在建立了系统模型的基础下，本文还研究了倒立摆系统的线性二次型最优控制问题，并且使用了MATLAB软件进行仿真，通过改变LQR模块及状态空间模块中的参数，在仿真中取得了不同的控制效果，最终得到了最好的控制效果。 关键字：一级倒立摆线性系统、数学建模、最优控制、LQR、仿真
目录 1 一阶倒立摆的概述 (1) 1.1倒立摆的起源与国内外发展现状 (1) 1.2倒立摆系统的组成 (1) 1.3倒立摆的分类： (1) 1.4倒立摆的控制方法： (2) 2．一阶倒立摆数学模型的建立 (3) 2.1概述 (3) 2.2数学模型的建立 (4) 2.4实际参数代入： (5) 3．定量、定性分析系统的性能 (7) 3.1对系统的稳定性进行分析 (7) 3.2 对系统的能空性和能观测性进行分析： (8) 4．线性二次型最优控制设计 (9) 4.1线性二次最优控制简介 (9) 4.2 直线一级倒立摆LQR控制算法 (10) 4.3 最优控制MATLAB仿真 (18) 总结 (21) 参考文献 (22)
双闭环直流调速系统的二次最优控制设计方法摘要：利用MA TLAB仿真工具，对线性二次型最优控制方法进行了研究，将之应用于双闭环直流调速系统的设计中，并给出了最优的速度环动态设计方法。仿真和实验结果表明，设计所得到的调速系统获得了良好的控制性能，对参数和扰动也不敏感，文中结合直流提升机调速系统的实际应用，给出了系统响应波形。 工业实际直流调速系统中，一般往往存在惯性滞后和非线性等环节，影响系统的调速性能。按照经典控制理论设计的双闭环调速系统，常常是理论设计与现场调试相差很远。而且一般提高了系统的快速性，系统的稳定性又受到了影响，难以获得最优的控制性能。该文以状态空间理论为基础，以MA TLAB仿真软件为工具，将线性二次型最优控制方法应用于双闭环直流调速系统的设计过程中。二次型(LQ)最优闭环系统具有无穷增益裕量、至少±60。相位裕量、有界超调和一定的非线性容限，并且最优性与初始条件无关等优点。通过该设计方法，使直流调度系统获得了良好的控制性能，并能兼顾系统的快速性、稳定性和抗干扰性能。 1 线性二次型最优控制设计方法 所谓最优控制问题，就是寻找一个控制系统的最优控制方案或最优控制规律，使系统能最优地达到预期的控制目标。线性二次型最优控制就是以状态变量和控制变量二次型函数的积分作为目标函数，通过设计调节器，使二次型目标函数具有最小值的问题。 设LTI系统状态方程模型为： 采用线性二次型目标函数：其中Q，R分别为对状态变量和输入变量的加权矩阵，t0,tf为起始时间和终止时间，S为终态约束矩阵。为使目标函数J，取最小值，由最小值理论可得最优控制为： 其中P(t)为微分Riccati方程的解，Riccati微分方程如下：
第二章连续系统最优控制 ?2.1 引言 ?2.2 时间端点固定的情况 ?2.3 有终端函数约束的情形 ?2.4 终时不指定的情况 ?2.5 小结
（2-1） 为了对动态系统实现最优控制，首先要了解动 态系统，获得描写动态的动态方程；其次，要提出目标，即控制的结果要使什么为最优。然后再用数学手段来处理。00)(),),(),((. .x t x t t u t x f x t s == m n R u R x ∈∈, 式中 ? + =f t t f f u dt t t u t x t t x J 0 )),(),((]),([min φθ泛函求极值 2.1引言
t 0原处于平衡状态（作为零状态），当外界扰动使系统偏离零状态，达到某一状态时，应对系统施加怎样的控制u （t ），才能使系统从时刻起，到时刻止达到所希望的状态，并满足某种目标J 为最小。 )),(),((t t u t x f x = 00)(x t x =f t 上述泛函求极值问题在变分方法中称为Bolza 问题。它表示这样一种概念：非线性系统 )(f t x
为对稳态提出的某种要求，例如稳态 误差；而 为对暂态过程提 出的某种要求，例如暂态误差、能量消耗等。在式（2-1）中，若=某值，则为设计终端控 制器问题；若 =0，则为设计调节器问题。 ]),([f f t t x θdt t t u x f t t )),(,)((0 ? φ在式（2-1）中，目标函数J 为标量，目标J 包含两项： )(f t x )(f t x dt t t u x f t t )),(,)((0 ? φ表示暂态误差与能量消耗， 那么，式（2-1）实际上是多个目标之和。
综述非线性系统最优控制理论 近年来，最优控制理论[1,2]的研究，无论在深度和广度上，都有了很大的发展，已成为系统与控制领域最热门的研究课题之一，取得了许多研究成果。同时，也在与其他控制理论相互渗透，出现了许多新的最优控制方式，形成了更为实用的学科分支。例如鲁棒最优控制[3]、随机最优控制[4]、分布参数系统的最优控制[5]、大系统的次优控制[6]、离散系统的最优控制及最优滑模变结构控制[7,8]等。而对于非线性系统，其最优控制求解相当困难，需要求解非线性HJB方程或非线性两点边值问题，除简单情况外[9]，这两个问题都无法得到解析解。因此，许多学者都致力于寻求近似的求解方法[10~13]，通过近似解得到近似的最优控，即次优控制。 1、非线性最优控制理论研究成果分类 目前，较为流行的近似最优控制求解方法主要有以下几类[6][13]。 1）幂级数展开法：幂级数展开方法通过一个幂级数来构造控制律，得到序列形式的近似最优解，或者将系统中的非线性项以幂级数形式分解，或者通过引进一个临时变量并围绕它展开。 将上式代入HJB方程求得级数近似解，也可利用Adomian分解将非线性项进行分解，由此寻求非线性HJB方程级数的近似解。 2）Galerkin逐次逼近方法：由动态规划得到的一般性偏微分HJB方程，引入一个迭代过程来求解一般非线性HJB方程的一个近似解序列。 3）广义正交多项式级数展开法：其主要思想是将最优控制问题中的状态变量，控制输入，性能指标和各个参数分别用广义正交多项式展开，利用广义正交多项式的积分、乘积运算阵 将描述系统的微分方程转化为一系列的代数方程。然后，得到，T非奇异时由得到的控制律是一个多项式级数解。该方法将最优控制问题转化为代数极值问题，从而避免了求解时变非线性Riccati方程。 4）有限差分和有限元方法：经典的有限差分和有限元方法可以用来近似求解非线性HJB方程。近年来，这类方法用来近似求取非线性HJB方程的粘性解。 5）状态相关Riccati方程方法：这种方法适用的模型是仿射非线性系统，