当前位置：文档之家 › 第五章用变分法求解最优控制问题

第五章用变分法求解最优控制问题

  • 格式：ppt
  • 大小：2.02 MB
  • 文档页数：100

下载文档原格式

  / 100

合集下载

极小值原理及其应用

极小值原理及其应用

假设同定理5-1。
若 u* (t) 和 t f * 是使性能指标取最小值的最优解，x* (t)
为相应的最优轨线，则必存在n 维向量函数
，
使得 (t )
x*(t)和, u*(t), t f满* 足如(下t)必要条件：
① x(t) 及 (t)满足下述正则方程：
x(t) H
(t) H
x
式中哈密顿函数
③ 哈密顿函数相对最优控制取绝对极小值
H[x* (t), (t), u* (t), t]
min
u (t )
H[x* (t
x(t f
)
（5-4）
③ 哈密顿函数相对最优控制为极小值
H (x*, u*, ) min H (x*, u, ) （5-5） u (t )
④ 哈密顿函数沿最优轨线保持为常数
当 t f 固定时
H[x* (t), u* (t), (t)]
（5-6）
H[x* (t f ), u* (t f ), (t f )] const
x为* (为t) 为相应的最优轨线，则必存在非零常向量 及 n 维向量函数 (t) ，使得 x*(t), u*(t), t f * 和 (t) 满足如下必要条件：
① x(t) 及 (t)满足下述正则方程：
x(t) H
式中哈密顿函数
(t) H
x
H (x, ,u) T (t) f (x,u)
H (x, ,u) L(x,u) T (t) f (x,u)
② x(t) 及 (t)满足边界条件：
x(t0 ) x0
(t f ) 0
③ 哈密顿函数相对最优控制取绝对极小值
H[x*(t), (t), u*(t)] min H[x*(t), (t), u(t)] u (t )

最优控制5

最优控制5
tf
J [u(t )] [ x(t f ), t f ] L[ x(t ), u(t ), t ]dt
t0
(5 13)
第5章
x
J [u(t )] [ x(t f ), t f ] L[ x(t ), u(t ), t ]dt
t0
tf
(5 13)
(5 14)
xt f x1 x0
u (0)
根据状态方程
x(1) 2 x(0) u(0)
3 J *[ x(0)] min{x 2 (0) u 2 (0) 3[2 x(0) u (0)] 2 } u * (0) x(0) u (0) 2
最后，从前往后推，可得出最优控制序列u*(0),u*(1),u*(2) 关于动态规划本质的讨论： 一个最优控制策略具有这样的性质，不论过去的状态及过去的决策如 何，如把现在的状态看作后续状态的初态，则其后诸决策仍必须构成一 最优策略。
J *[ x(t ), t ] J * J * * H ( x, , t ) min{H ( x, , u, t )} uU t x x
哈密尔顿——雅可比——贝尔曼方程 定义：
(5 22)
(5 24)
第5章
J *[ x(t ), t ] J * J * * H ( x, , t ) min{H ( x, , u, t )} uU t x x
解法一：穷举法，列出所有可能的组合方案，找出时间最短的一个
可能的行车线路共有：2*2*2=8 （每阶段有两种可能）
缺点：计算量大，容易出错。
第5章
解法二：动态规划法，从终点开始，按时间最短为目标，逐段向前逆推， 依次计算出各站至终点站的时间最优值，据此决策出每一站的最 优路线。

第五章用变分法求解最优控制问题

第五章用变分法求解最优控制问题
x 容易验证 x ( t ) 0 时， J 0 对应局部极小； ( t ) 2 t 时， J 4 27 ，对应局部极大。 3
5.3 有约束条件的泛函极值 ——动态系统的最优控制问题
前面讨论泛函极值问题时，对极值轨迹 X ( t ) 没有附 加任何约束条件。但在动态系统最优控制问题中， 极值轨迹必须满足系统的状态方程，也就是要受到 状态方程的约束。考虑下列系统
（5-3）
上式称为欧拉——拉格朗日方程。
（5-2）式中第二项为零的条件要分两种情况来讨论：
1、 固定端点的情况
这时 以 x (t
F x
tf
x ( t 0 ) x 0 , x ( t f ) x f ，它们不发生变化，所
0
) x (t f ) 0
。而（5-2）中第二项可写成
0
f
(
F x
) t t f x (t f ) 0
（5-5） （5-6）
(
F x
) t t0 x (t 0 ) 0
因为这里讨论 x (t ) 是标量函数的情况，x ( t ) 和 x ( t f ) 也是标量，且是任意的，故（5-5）、（5-6）可化 为
X X
*
定理： ( X ) 在 J
J ( X , X ) 0
*
为了判别是极大还是极小，要计算二阶变 分 J 。但在实际问题中根据问题的性质容易 判别是极大还是极小，故一般不计算 J 。
2
2
5.2 无约束条件的泛函极值问题 5.2.1 泛函的自变量函数为标量函数的情况
为简单起见，先讨论自变量函数为标量函数 * x (t ) x (t ) （一维）的情况。我们要寻求极值曲线 ， 使下面的性能泛函取极值

5 最优控制-极小值原理

5 最优控制-极小值原理
* j
正常（或平凡）情况、奇异（或非平凡） 正常（或平凡）情况、奇异（或非平凡）情况
Bang-Bang控制原理 控制原理 是问题3 的时间最优控制, 设 u * ( t ) 是问题3-1的时间最优控制,
λ x* ( t )， ( t )
是相应的状态向量和协态向量,若问题是正常的, 是相应的状态向量和协态向量,若问题是正常的,则几乎所有 ),有下式成立 t ∈ t0 , t f (除去有限个开关时间),有下式成立 除去有限个开关时间),
在最优轨线末端哈密尔顿函数应满足的条件 (5)极值条件 极值条件
1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x * ( t ) , t u * ( t ) =
{1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x* ( t ) , t u * ( t )} min
u∈U
（50） ） （51） ） （52） ）
或者
H ( x * , u* , λ* , t ) ≤ H [ x * , u, λ* , t ]
哈密顿函数沿最优轨线随时间的变化规律： 哈密顿函数沿最优轨线随时间的变化规律：
* * 在末值时刻 t f 是固定的情况 H (t ) = H (t f ) = const * *
3 极小值原理及其在快速控制中的应用
1 问题的提出 用变分法求解最优控制时， 用变分法求解最优控制时，认 不受限制。 为控制向量 u(t )不受限制。但是 实际的系统， 实际的系统，控制信号都是受到
u(t ) ∈ U ⊂ R r 某种限制的。 某种限制的。
因此， 因此，应用控制方程 ∂H = 0

最优控制问题求解方法综述(中英双语)

最优控制问题求解方法综述(中英双语)

最优控制问题求解方法综述Summary of approaches of optimal control problem摘要：最优控制问题就是依据各种不同的研究对象以及人们预期达到的目的，寻找一个最优控制规律或设计出一个最优控制方案或最优控制系统。

解决最优问题的主要方法有变分法、极小值原理和动态规划法，本文重点阐述了各种方法的特点、适应范围、可求解问题的种类和各种方法之间的互相联系。

Abstract：Optimal control problems are to find an optimal control law or design a optimal control program or system according to various kinds of different research objects and the aim people want. The approaches to solve optimal control problems generally contain variational method, the pontryagin minimum principle and dynamic programming. This paper mainly states characteristics, range of application, kinds of the solvable problems of each approach and the association between these three methods.关键词：最优控制、变分法、极小值、动态规划Keywords: optimal control , classical variational method , the pontryagin minimum principle , dynamic programming正文：最优控制理论是现代控制理论的一个主要分支，着重于研究使控制系统的性能指标实现最优化的基本条件和综合方法。

最优控制第五章用变分法求解连续最优控制问题—有约束条件的泛函极值

最优控制第五章用变分法求解连续最优控制问题—有约束条件的泛函极值

xT


H x
uT

H u

d
t

xT

tf t0
使J´取极小的必要条件是，对任意的δu和δx，
都有δJ´=0成立。
因此得
H 0
x H x

H 0 u
tf 0 t0
(5-9) (5-10) (5-11) (5-12)
(5-5)
或 J tf H x, x,u, ,td t t0
(5-6)
式中
Hx, x,u,,t Lxt,ut,t T tf xt,ut,t xt
(5-7)
对式(5-5)右边第二项作分部积分，得
t f T x d t t f T x d t T x t f
为此，构造增广泛函
J Φxt f ,t f T Nxt f ,t f

t f
t0
Lxt,ut,t T
t f
xt , ut , t
xt d t
(5-21)
写出哈密顿函数
Hxt,ut,t,t Lxt,ut,t T t f xt,ut,t
(5-25)
ut u*t ut
(5-26)
tf

t
* f
t f
(5-27)
x(t) δx (t* f)
x*(t)
x(t) x(t0)
x
t
f
t f
δx(tf)
0 t0
t*f t*f+ δtf
t
图4 可变终端各变分间的关系
从图4可知在端点处变分之间存在下列近似关系
考虑到式(5-24)右边第一项和第二项的一次

王孝武主编《现代控制理论基础》(第3版)(2)省公开课一等奖全国示范课微课金奖PPT课件


16/88
3） 哈密顿函数沿最优轨线随时间改变率
dH dt
H x
T
x
H u
T
u
H λ
T
λ
H t
在最优控制 u* 、最优轨线
x*
下，有
H u
0
和
H T x
x
H λ
T
λ
H T x
H λ
H λ
T
H x
0
（23）
（10）式哈密顿函数对
导，结果为 f ( x,u,t)
λ求x 偏
n (t)
将性能指标（8）式改写为其等价形式
（9）
由（6）式可知 f ( x,u,t) x
为零
J [ x(t f )] t f {L( x, u,t) λT (t)[ f ( x, u,t) x ]}d t t0
定义哈密顿函数 H ( x, u, λ,t) L( x, u,t) λT (t) f ( x, u,t)
T
tf
x(t
f
)
L x
T
t0
x(t0 ) 0
注意：满足欧拉方程是必要条件，不是充分条件。
10/88
6.2 用变分法求解最优控制问题
6.2.1 末值时刻固定、末值状态自由情况下最优控制
非线性时变系统状态方程为
x f ( x,u,t)
（6）
初始状态
x(t) tt0 x(t0 )
（7）
其中，x 为n 维状态向量； u 为r 维控制向量； f 为n 维向量函数。
T
δ
J
x
(t
f
)
δ x(t f ) λT (t f ) δ x(t f )

最优控制变分法

tf
F (t ) (t )dt 0
(1· 2—1)
t0
则在区间 [t 0 , t f ]上
F (t ) 0
下面我们来证明这个定理。 由于函数 (t )，是任意选定的，因此，可以取 (t ) W (t ) F (t ) (1.2—2) 其中 W (t ) 的是任一满足条件
0 , t t0和t t f W (t ) 2 c , t0 t t f
二、固定端点时间、无约束条件的变分问题 这一节，我们讨论一类最简单的变分问题，即无约束条件、 端点时间固定，只有一个自变量函数的拉格郎问题。通过这个问 题来引出欧拉方程和横截条件。 求解变分问题，就是要把使泛函达到极值的那个自变量函数 找出来，这就需要利用欧拉方程和横截条件。因此，欧拉方程和 横截条件是求解变分问题的基础。 在推导欧拉方程和横截条件时要使用一个定理，这个定理叫 作变分法的基本颈备定理。 本节首先介绍基本预备定理，接着推导欧拉方程，然后讨论 横截条件，最后讨论泛函取极值的充分条件。
2. 欧拉方程 现在，我们来推导欧拉方程和相应的横截条件。首先讨论固定 端点问题，然后讨论未定端点问题。 考虑最简单的泛函
(1· 2—3) L 的极值。其中x(t ) 是 t 二次可微函数； [ x(t ), x(t ), t ]，是变量 x, x和 t 连函函数，并且有连续二阶偏导数，端点时间 t 0 和 t f 固定。 首先研究容许函数（或曲线）端点固定的情况，即规定 x(t 0 ) x0 和 x(t f ) x f 。图1—4示出了一族容许函数。现在的 的问题是要从这一族容许函数(或曲线)中找出使泛函J取极值的函数(或 曲线)，即极值函数或极值曲线。
tf
(2)马耶耳问题 马耶尔问题的泛函表示为 J 1[ x(t f ),t f ] 2 [ x(t 0 ),t 0 ] 绪论中基于性能指标（0—9）的最短时间控制问题和基于性能指标 （0—15）的最优推力方向角选择问题就是马耶耳问题的一个特例。 t (3)波尔扎问题 波尔扎问题的性能泛函是 J 1 [ x(t f ), t f ] 2 [ x(t 0 ), t 0 ] L[ x(t ), u (t ), t ]dt

变分法求解最优控制

控制的最优化性能指标：
J (u(t )) (t f , x(t f )) F (t, x(t ), u(t ))dt
t0 tf
性能指标J(u(t))在数学上称为泛函，在控 制系统中称为损失函数。
变分法基本概念
1.泛函
设S 为一函数集合，若对于每一个函数 x(t)∈S有一个实数J 与之对应，则称J 是 定义在S 上的泛函，记作J (x(t))。S 称为 J 的容许函数集。
t0
tf
再令 J 1 0 ，由 便得：
dt f ,x(t f ),x,u, 的任意性，
(i) x * , * 必满足正则方程： 1.状态方程
x H f (t, x, u)
2.协态方程
H x
* *
(ii)哈密顿函数 H (t, x , u, ) 作为u的函数，也 必须满足
定义一个标量函数：
H (t, x, u, ) F (t, x, u) T (t ) f (t, x, u)
称为哈密顿函数。所以新的性 能指标为
J 1 ( x, u, ) (t f , x(t f )) [ H (t, x, u, ) T x]dt
t0 tf
t0 tf
d (dt fy) [t f fF xt ,yxdx , t ) t t f F'( ) y ) ( (, ) , u dy a (
T
b( y )
] [x(t f )] x (t f )
T
T tf
[(x) H x (u) H u ( ) H ( ) x]dt (t f )x t t f (x)T dt t0 f y ( x, y)dx f [b( y), y)]b' ( y) f [a( y), y)]at'0( y)

最优控制变分法


AB



x2 x1
1 y ' 2 dx
通过A，B两点的函数若为 y f (x) ，则不同的函数有不同的 弧长，即弧长是 y 的函数，记为 J ( y ) ，即
x2 1 y 2 dx J ( y ) AB x1

因此，求弧长的定积分是一种变换，它把x1与x2之间各点相应 的y变换为标量（弧长）。由此例可以看出定积分为泛函。 以下是各章经常要用到下列形式的目标函数
以下计算第二个积分，实际上是估计余项。 按泛函求极值的
ˆ 与 y 的一级距离应落入ε邻区内（由于本节的泛函 定义， y
只对 y 与 y’提出要求，故只用到一级距离），即令
ˆ y| d 0 max | y
x [ x 0 , x1 ]
ˆ ' y ' | d 1 max | y
x [ x 0 , x1 ]
第一章

变分法
1.1 泛函 1.2变分的推演 1.3Euler方程 1.4向量情形 1.5有约束的情形 1.6端点可变情形 1.7变分的另一种定义
1.1 泛函
（1）定义（泛函）
泛函是一映射L : J K , J Y , Y为一向量空间， K 一般为实数 域R或复数域C。 这说明泛函是一种变换，它把向量空间Y中某一子集J 映射为 K的某个子集。 例：曲线的弧长 在xy平面上过A（x1 ,y1）,B(x2,y2)两点之间的曲线弧长公式为
| [ ( Fy Fy ) ' (F y ' Fy ' )]dx | | |dx
x0 x0
x1
x1
[| (Fy Fy ) | | ' ( F y ' Fy ' ) |]dx
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

t
f
t0


t t0
f
vdu
J

d F F ( x dt x
F ) xdt x x
tf
（5-2）
t0
J取极值的必要条件是 J 等于零。因 x 是 任意的，要使（5-2）中第一项（积分项）为 零，必有
F x d dt ( F x ) 0
6、泛函的极值：若存在 0 ，对满足的 X X 一切X，J ( X ) J ( X ) 具有同一符号，则 称 J ( X ) 在 X X 处有极值。
*
*
*
处有极值的必要条件是对 于所有容许的增量函数 X （自变量的变分）， 泛函 J ( X ) 在 X *处的变分为零
ˆ X (t ) X (t )
0 ，存在 0
时，就有
ˆ J (X ) J (X )
则称 J ( X ) 在
ˆ X
处是连续的。
3、线性泛函： 满足下面条件的泛函称为线性泛函
J X J X

J ( X Y ) J ( X ) J (Y )
（5-3）
上式称为欧拉——拉格朗日方程。
（5-2）式中第二项为零的条件要分两种情况来讨论：
1、 固定端点的情况
这时 以 x (t
F x
tf
x ( t 0 ) x 0 , x ( t f ) x f ，它们不发生变化，所
0
) x (t f ) 0
。而（5-2）中第二项可写成
J

t t0
f
F x ( t ), x ( t ), t dt
（5-1）
* * x x (t )、(t ) 在极值曲线 x ( t )、 ( t ) 附 x 为此，让自变量函数
近发生微小变分 x、 x ，即
x (t ) x (t ) x (t )
*
* x (t ) x (t ) x (t )
tf t0
T
( t ) f ( X , U , t ) X dt

（5-17）
于是有约束条件的泛函 J 的极值问题化为无约 束条件的增广泛函 J a 的极值问题。 再引入一个标量函数
H ( X , U , , t ) F ( X , U , t ) f ( X , U , t ) （5-18）
J X ( t f ), t f


tf t0
F X ( t ), U ( t ), t dt
（5-14）
*
这是综合指标。我们要求出最优控制 U ( t )和满足状 态方程的极值轨迹 X
*
( t )，使性能指标取极值。
在下面的讨论中，假定初始时刻 t 0和初始状态 X ( t ) X 是给定的，终端则可能有几种情况。我们 将就几种常见的情况来讨论，即 t f 给定， ( t f ) 自 X 由和 t f 自由, X ( t f ) 属于一个约束集。
0 0
5.3.1 终端时刻 t f 给定，终端状态 X ( t )自由
f
将状态方程（5-13）写成等式约束方程的形式
f ( X , U , t ) X (t ) 0
（5-15）
与有约束条件的函数极值情况类似，引入待定的n 维拉格朗日乘子向量函数
( t ) 1 ( t ), 2 ( t ), , n ( t )
时）
例5-1
求通过点（0，0）及（1，1）且使
J

1
(x
0
2
2 x ) dt
取极值的轨迹
x ( t )。
*
解 这是固定端点问题，相应的欧拉——拉格朗日方 程为 d
2x (2 x) 0 dt
即
x 0 x
它的通解形式为
x ( t ) Acht Bsht
式中：

F x 1 F F x 2 X F x n

(5-11)
横截条件为（自由端点情况）
F 0 X
（当 t t 0 和 t
tf
T
（5-16）
与以前不同的是，在动态问题中拉格朗日乘子 向量 (t ) 是时间函数。 在最优控制中经常将 (t ) 称为伴随变量，协态（协状 态向量）或共轭状态。引入 (t ) 后可作出下面的增 广泛函
J a X ( t f ), t f

F X , U , t
x 容易验证 x ( t ) 0 时， J 0 对应局部极小； ( t ) 2 t 时， J 4 27 ，对应局部极大。 3
5.3 有约束条件的泛函极值 ——动态系统的最优控制问题
前面讨论泛函极值问题时，对极值轨迹 X ( t ) 没有附 加任何约束条件。但在动态系统最优控制问题中， 极值轨迹必须满足系统的状态方程，也就是要受到 状态方程的约束。考虑下列系统
0
f
(
F x
) t t f x (t f ) 0
（5-5） （5-6）
(
F x
) t t0 x (t 0 ) 0
因为这里讨论 x (t ) 是标量函数的情况，x ( t ) 和 x ( t f ) 也是标量，且是任意的，故（5-5）、（5-6）可化 为
于是泛函J 的增量 J 可计算如下（以下将*号省去）
J



t t0
f
F x
x , x x , t F x , x , t dt
tf t0
F F 2 2 x x o ( x ) , ( x ) d t x x

*
1 0
2 3 ( x x ) dt
x (0) 0
*
取极值的轨迹 没有限制。
x ( t ) ，并要求
，但对
x (1)
*
解 这是终端自由的情况。欧拉—拉格朗日方程为
d dt (2 x 3 x ) 0
2
即
2x 3x
2
常数
于是 x 是常数，x 则是时间的线性函数，令
第五章 用变分法解最优控制 —泛函极值问题
本章主要内容
变分法基础 5.2 无约束条件的泛函极值问题 5.3 有约束条件的泛函极值——动态系 统的最优控 t f 制问题 5.4 小结
5.1
在动态系统最优控制问题中，性能指标是一个 泛函，性能指标最优即泛函达到极值。解决泛函极 值问题的有力工具是变分法。所以下面就来列出变 分法中的一些主要结果，大部分不加证明，但读者 可对照微分学中的结果来理解。
5.1 变分法基础
先来给出下面的一些定义。 1、泛函： 如果对某一类函数X (t )中的每一个函 数 X (t )，有一个实数值J 与之相对应，则称J 为依赖于 函数 X (t )的泛函，记为
J J X (t )
粗略来说，泛函是以函数为自变量的函数。
2、泛函的连续性： 若对任给的 当
T
它称为哈密顿（Hamilton）函数，在最优控制中 起着重要的作用
于是 J a 可写成
J a X ( t f ), t f

H ( X , U , , t )
tf t0
T
X 这里 是实数， 和
Y
是函数空间中的函数。
4、自变量函数的变分： 自变量函数 X (t ) 的变分 X X 是指同属于函数类 X (t ) 中两个函数X ( t ) 、 ( t ) 之差
1
2
X X 1 (t ) X 2 (t )
这里, t 看作为参数。当 X (t ) 为一维函数时，X 可用图5-1来表示。
J

tf t0
F ( X , X , t ) dt
(5-9)
式中
x1 (t ) x 2 (t ) X x n (t )
x1 (t ) x 2 (t ) X n (t ) x
X X
*
定理： ( X ) 在 J
J ( X , X ) 0
*
为了判别是极大还是极小，要计算二阶变 分 J 。但在实际问题中根据问题的性质容易 判别是极大还是极小，故一般不计算 J 。
2
2
5.2 无约束条件的泛函极值问题 5.2.1 泛函的自变量函数为标量函数的情况
为简单起见，先讨论自变量函数为标量函数 * x (t ) x (t ) （一维）的情况。我们要寻求极值曲线 ， 使下面的性能泛函取极值
cht e e
t t
sht e
t t
2
2
由初始条件 x ( 0 ) 0 ，可得A=0。 再由终端条 件
x (1) 1
，可得 B
1 sh 1，
因而极值轨迹为
x ( t ) sht sh 1
*
例5-2 求使指标
J
*
X f X ( t ), U ( t ), t
（5-13）
U 式中，X (t ) 为 n 维状态向量， (t ) 为m 维控制向量（这 里假定U ( t )不受限制.
否则不能用变分法求解，而要用极小值原理或动态 规划法求解, f X ( t ), U ( t ), t 是n维连续可微的向量 函数。性能指标如下：
上式中 o [( x )
2
, ( x ) ]是高阶项。
2
（泰勒级数展开）
根据定义，泛函的变分 J 是 J 的线性