当前位置：文档之家 › 最优控制--汉密尔顿函数 ppt课件

最优控制--汉密尔顿函数 ppt课件

  • 格式：ppt
  • 大小：467.00 KB
  • 文档页数：60

下载文档原格式

  / 60

合集下载

最优控制课程课件II-5.HJB方程

最优控制课程课件II-5.HJB方程

Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
4 / 67
回顾：Bellman 方程 回顾：Bellman 方程
离散时间最优控制问题
问题 1 (离散时间最优控制问题)
13 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
4/4 HJB 方程必要性-取极限
两边同除 ∆t，取 ∆t → 0，即可得对于 t ∈ [t0, tf ] 都有 HJB 方程
∂V −
(x(t),
t)
=
min{g(x(t),
u(t),
t)
+
∂V [
(x(t),
t)]T f (x(t),
u(t),
t)}
∂t
u(t)
∂x
令 t = tf ，得到边界条件
V (x(tf ), tf ) = h(x(tf ), tf ).
(11)
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
10 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
1/4 HJB 方程必要性-最优性原理
将性能指标分成 [t, t + ∆t] 和 [t + ∆t, tf ] 两段

第十章_具有约束的最优控制问题

第十章_具有约束的最优控制问题

G ( t , y , u ) [ 的运动方程
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为：T 最优控制问题： 最大化 0 F ( t , y , u ) dt
T
例2 解以下最优控制问题：

最大化 0 1 dt y yu 满足
y (0) 5 y ( T ) 11 T 自由
T

和
u ( t ) [ 1,1]
它具有一个受约束的控制变量，该控制集合可视为 两个不等式约束：
1 u (t ) 和 u (t ) 1
汉密尔顿函数： H 拉格朗日函数：
u
对于所有 t [ 0 , T ]
]
H y [ 的运动方程 ]
y
H
[ y 的运动方程
(t ) 常数
( T ) 0 [ 横截条件 ]
四、不等式积分约束 T 最优控制问题： 最大化 0 F ( t , y , u ) dt y f (t, y , u ) 满足
y H H
u
F (t, y , u ) f (t, y , u ) G (t, y , u )
[ y 的运动方程
[ 的运动方程
]


[ 的运动方程
]
[ 的运动方程
]
( T ) 0 [ 横截条件 ]
上页的最大值原理可简化为：
Max H
]
]
( T ) 0 , ( T ) k 0 , ( T )[ ( T ) k ] 0 [ 的横截条件

最优控制课程课件II-5.HJB方程

最优控制课程课件II-5.HJB方程
第九讲：Hamilton-Jacobi-Bellman 方程
最优控制的数学理论之五
张杰
人工智能学院 中国科学院大学 复杂系统管理与控制国家重点实验室 中国科学院自动化研究所
2017 年 10 月 17 日
Jie,l
. . . .... .... .... . . . . .... .... .... . .
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
9 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程
Hamilton-Jacobi-Bellman 方程
定理 3 (Hamilton-Jacobi-Bellman 方程)
最优控制的数学理论
. .. . . ..
14 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的充分条件
1/3 HJB 方程必要性-命题表述
定理 4 (HJB 方程的充分条件)
若存在函数 V (x, t) : Rn × [t0, tf ] → R 满足 HJB 方程：
(4)
. .. . . ..
5 / 67
回顾：Bellman 方程 回顾：Bellman 方程
动态规划的最优性原理
定理 1 (最优性原理,
Bellman1954)
过程的最优
有如
下性质：不论初始状态和初始
如 ，其 的 对于由初始
所形成的状态来 ，必定也
是一 最优
北京
天津 J [南京, 天津,北京]
J [南京, 北京]
V (x(t), t) = min{g(x(t), u(t), t)∆t + V (x(t), t) u(t)

第十章_具有约束的最优控制问题

第十章_具有约束的最优控制问题

对于给定的 ，或者 关于( y , u ) 对所有t [ 0 , T ] 是凹 的，或者 H 0 关于 y 对于所有t [ 0 , T ] 是凹的。
如果是无限水平问题，充分性定理仍然适用，但是要 加上一个补充性条件：
T
lim ( t )[ y ( t ) y ( t )] 0
G ( t , y , u ) [ 的运动方程
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为：T 最优控制问题： 最大化 0 F ( t , y , u ) dt
]
H y [ 的运动方程 ]
y
H
[ y 的运动方程
( T ) 0 [ y 的横截条件
( t ) 常数 0
和
]
k
G ( t , y , u ) dt
0
T
0
k
G ( t , y , u ) dt 0 0
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为： 最优控制问题： 最大化 F ( t , y , u ) dt 0 y f (t, y , u ) 满足
(10 . 43 ) (10 . 44 ) (10 . 45 ) (10 . 47 )

离散数学PPT课件 7欧拉图与汉密尔顿图(ppt文档)

离散数学PPT课件 7欧拉图与汉密尔顿图(ppt文档)

00
0 1

1 0
11
此轮的设计:以两位二进制数
V={00,01,10,11}为结点,画带
权图(即边上标有数字--称为
边的权), 从任何a1∈V结点 画2条有向边,标权0(或1),
该边指向结点a2,于是构成 边a10, (或a11),这八条边分别 表示八个二进制数:
e0 =000
e1 =001 00 01 e5 =101 10
v2
v3
v4
v5
G2 v6
如何判定一个图中是否有 a
b
1
4
欧拉路,或有欧拉回路?
c
d
3
2
3.有欧拉路与有欧拉回路的判定: 定理8-5.1:无向图G具有欧拉路,当且仅当G是连通的,且有 零个或两个奇数度的结点. *证明:必要性, 设G有欧拉路.(自行尝试证明) 充分性,(证明的过程就是一个构造欧拉路的过程)
7. 欧拉图与汉密尔顿图
这里主要讨论图的遍历问题,一个是遍历过程中要求经过
的所有边都不同;一个是遍历过程中要求经过的所有结点
都不同.
欧拉在1736年发表了第一篇关于图论的论文, 就是就七
桥问题.
A
BDΒιβλιοθήκη CAe1 e2 e5
B e6 D
e3 e4
C
e7
一.欧拉图:
1.欧拉路:在无孤立结点的图G中,如果存在一条路,它经 过图中每条边一次且仅一次, 称此路为欧拉路.
e3 =011 e2 =010
11 1
e7 =111
000,001,010,011,100,101,110,111 从此图上取一个欧拉回路: e0e1e2e5 e3e7e6e4 将上述各边的末位数字写成序列:01011100, 于是就按照此序列将鼓轮进行加工,标0部分

动态最优化第10讲 具有约束的最优控制问题

动态最优化第10讲 具有约束的最优控制问题

最大值原理条件：
0 对于所有的t 0,T
u
c g 0, 0, 0
dy dt
d
dt y
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（5）现值哈密尔顿函数和拉格朗日函数
引入新的乘子： m et （隐含 met）
n et （隐含 net）
汉密尔顿函数和拉格朗日函数：
Gt,
y, u dt
0
Γ
T
T
0
Gt,
y,
u
dt
k
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（4）不等式积分约束
问题重新表述为：
（2个状态变量的无约束问题，新变量具有截断终结线）
Max
T
0
F
t,
y,
u
dt
S.T. dy f t, y,u
dt
dΓ Gt, y,u
dt
y0 y0 yT 自由 （y0 ,T给定）
dt
又由于：汉密尔顿函数H独立于Γ ,
所以有：d H 0 t 常数
dt Γ 最大值原理条件重新表述为：
Max H u
dy H
dt
对于所有的t 0,T
d H t 常数
dt y
T 0
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（3）等周问题
等周问题简便解法：
构造拉格朗日函数（增广汉密尔顿函数）：
u1
0
u1
3
0
0 0 0
u2
u2
0 i
0,i
0,i
0 i
0
i
0,i
0,i

第八章_对最优控制的进一步讨论



T
0
* [ f ( t , y , u ) f ( t , y * , u * ) f y ( t , y * , u * )( y y * ) f u ( t , y * , u * )( u u * )] dt 0
*
V V 0
b)若 f 关于 y 和 u 线性，那么 (t ) 无须不等式约束。
0
f u ( t , y , u )( u u )] dt
* * *
( 8 .3 1)
以上推导得到：
[ f ( t , y , u ) f ( t , y , u ) f y ( t , y , u )( y y ) (8 .3 1) 0 * * * f u ( t , y , u )( u u )] dt * * * * * * * * f ( t , y , u ) f ( t , y , u ) f y ( t , y , u )( y y ) f u ( t , y , u )( u u ) (8 .3 0)
f ( t , y , u ) f ( t , y , u ) f y ( t , y , u )( y y ) f u ( t , y , u )( u u ) 0 (8 .3 0)
* * * * * * * *
V V 0
*
曼加萨林充分性定理不但适用于垂直终结线问题， 也适用于固定端点或截断垂直终结线问题。
*
(8.29)
以上推导得到： Fu ( t , y , u ) f u ( t , y , u ) * * * * f ( t , y * , u * ) Fy (t , y , u ) y

北师大版高中数学必修1第2章2.1函数概念课件PPT


且对应关系指的是对应的结果，而不是对应
的过程.
1, x 0,
x
y
与y 是同一函数.
x
1, x 0
函数的三要素 定义域、对应关系、值域.
（1）定义域是使解析式有意义的自变量的取值范围.
x
如y 的定义域为{x | x 0}.
x
如涉及实际问题，函数的定义域还必须使得
实际问题有意义.例如,问题1中学生学号取正整数.
思考：集合B与函数值域的关系？
{ f ( x)|x A} B
函数概念的理解
⑴集合A和B是非空数集.
⑵集合A为函数的定义域，对于集合A中的每一
个数x,在集合B中都有唯一确定的数y和它对应.
⑶值域是全体函数值组成的集合，
集合B不一定是值域，值域是集合B的子集.
⑷函数的概念强调了数与数之间的对应关系，
x2 1
(3) f ( x)
, g ( x) x 1;
x 1
1
1
(4) f ( x) x , g (t ) t .
x
t
解 (1) 因为f ( x)的定义域是R，
(2) 因为两个函数的
g ( x)的定义域是[0, )，
对应关系不同，
两个函数的定义域不同，
所以不是同一个函数；
系 f ,使对于集合A中的每一个数x,在集合B中都有唯一确定的
数y和它对应，那么就把对应关系f 称为定义在集合A上的一
个函数,记作 y f x , x A.
课堂小结
数学抽象 函数定义
函数三要素
（1）定义域是使解析式有意义的自变量的取值范围.
（2）对应关系指的是对应的结果，而不是对应的过程.

【国家自然科学基金】_hamilton函数_基金支持热词逐年推荐_【万方软件创新助手】_20140801


53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87
悬臂梁 广义边界条件 平稳概率密度 对偶求解 对偶方程 对偶性质 夹层圆柱壳 多自由度系统 多目标控制优化 多机 可靠性函数 可靠性 变分法 变分原理 双正交关系 半主动悬架 励磁控制 分段转换b3样条函数 分布式卫星系统 分岔 函数方法 偶应力 低维不变环面 伴随系统 传播子技术 ρ -不变凸 nonlocal弹性理论 lyapunov第一近似理论 kam hamilton系统正则方程 hamilton原理 hamilton函数 hamiltion galerkin变分法 euler-bernoulli梁
2008年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
科研热词 推荐指数 辛几何 1 稳定控制器 1 矢量阵列信号 1 电力系统 1 特征函数展开法 1 混合磁路电机 1 汽门控制 1 正则微分方程 1 楔形域 1 有限变形 1 弹性细杆 1 弥散效应 1 引力场方程 1 广义哈密顿方法 1 对偶混合变量 1 孤立波 1 四元数music 1 哈密顿解法 1 哈密顿能量理论 1 可镇定性 1 变分原理 1 参数估计 1 卡西米尔函数 1 励磁控制 1 分析力学 1 冲击波 1 低雷诺数流动 1 reissner-mindlin厚板理论 1 hamilton体系 1 hamilton 1
科研热词 推荐指数 hamilton函数 2 首次穿越 1 预置反馈控制 1 静止无功补偿器 1 随机稳定性 1 闭轨 1 辛算法 1 辛正交性 1 输液曲管 1 轨道 1 跳变模态 1 跟踪控制 1 超二次位势 1 记忆合金弹簧 1 经济效益指标 1 系统 1 空隙率 1 相对运动 1 相图 1 电力系统 1 球面叶层 1 灵敏度分析 1 滚动时域 1 混沌 1 浅海混响 1 流固耦合 1 正则方程 1 极限流速 1 极大值原理 1 本征展开 1 有限元 1 最优策略 1 最优控制 1 暂态稳定 1 支承弹簧 1 径向基点插值函数(rpim) 1 影响函数 1 弹簧层模型 1 弱粘接 1 应力 1 广义hamilton系统 1 幸对偶 1 平面弹性问题 1 平衡态 1 平衡 1 地声反演 1 固有频率 1 同宿轨道 1 可靠性函数 1 可更新资源 1 半主动悬架 1 功互 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52

6汉密尔顿图

30
例15.3
设图为G2，则G2＝<V1,V2,E>，其中 V1＝{a,g,h,i,c}，V2＝{b,e,f,j,k,d}， 易知，p(G2-V1)＝|V2|＝6>|V1|＝5， 由定理15.6可知，G2不是哈密顿图， 但G2是半哈密顿图。 baegjckhfid为G2中一条哈密顿通路。 设图为G3，G3＝<V1,V2,E>，其中 V1＝{a,c,g,h,e}，V2＝{b,d,i,j,f}， G3中存在哈密顿回路。 如 abcdgihjefa， 所以G3是哈密顿图。33Fra bibliotek极大路径


是一条路径，如果的始点和终点都不 与外的顶点相邻，则称是一条极大路 径。 极大：不能再向外延伸
34
无向半汉密尔顿图的充分条件
定理15.7 设G是n阶无向简单图，若对于G中任意不相邻的顶点
vi,vj，均有 d(vi)+d(vj)≥n-1
则G中存在哈密顿通路。
(15.1)
证明 首先证明G是连通图.否则G至少有两个连通分支, 设G1,G2是阶数为n1,n2的两个连通分支,设v1∈V(G1), v2∈V(G2),因为G是简单图,所以 dG(v1)+dG(v2)＝dG1(v1)+dG2(v2)≤n1-1+n2-1≤n-2 这与(15.1)矛盾,所以G必为连通图.
35
定理15.7
下面证G中存在哈密顿通路。 设Г＝v1v2„vl为G中用“扩大路径法”得到的“极大路 径”,即Г的始点v1与终点vl不与Г外的顶点相邻.显然有 l≤n. (1)若l＝n,则Г为G中哈密顿通路。
(2)若l＜n,这说明Г不是哈密顿通路,即G中还存在着Г外的 顶点.但可以证明G中存在经过Г上所有顶点的圈.
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

ppt课件
31
在这类极值问题中，要处理两种类型的等式约 束。一是微分方程约束，一是终端边界约束。根据 拉格朗日乘子法，要引入两面两个乘子矢量，一个 是n维λ(t)，另一个是q维μ，将等式约束条件泛函 极值化成无约束条件泛函极值问题来求解。
ppt课件
32
为此，构造增广泛函
J Φxt f ,t f T Nxt f ,t f
ppt课件
20
5个未知数x1, x2, λ1, λ2, u，由5个方程联立求得通解
1 C1
2 C1t C2
u C1t C2
C
2t
2
C3t
C4
x2
1 2
C1t
2
C2t C3
ppt课件
21
4个积分常数C1, C2, C3, C4由4个边界条件
x10 1, x2 0 1, x12 0, x2 2 0
t f
t0
Lxt,ut,t T
t f
xt , ut , t
xt d t
(5-21)
写出哈密顿函数
Hxt,ut,t,t Lxt,ut,t T t f xt,ut,t
ppt课件
(5-22)
33
于是
J Φxt f ,t f T Nxt f ,t f
t f
t0
H
xt
,
ut
,
t
,
t
T
t
xt
d
ppt课件
12
若始端和终端都固定时，δx(t0)=0，δx(tf)=0则以
xt0 x0
(5-15)
x t f x f
(5-16)
作为两个边界条件。
ppt课件
13
实际上，上述泛函极值的必要条件，亦可
由式(5-6)写出欧拉方程直接导出。
即 H d H
x H
H
u
dt
d dt
d dt
H t f
寻求最优控制u(t)，将系统从初始状态x(t0)=x0 转移到终端状态x(tf)，并使性能泛函J取极值。
ppt课件
4
将状态方程式(5-1)写成约束方程形式
f xt,ut,t xt 0
(5-3)
应用拉格朗日乘子法，构造增广泛函
J
t f
t0
Lxt
,
ut
,
t
T
t
f
xt
,
ut
,
t
xt
d
t
式中λ(t)——待定的n维拉格朗日乘子矢量。
2
一、拉格朗日问题
考虑系统
xt f xt,ut,t
(5-1)
式中 xt Rn；ut Rr ；
f xt,ut,t ——n维连续可微的矢量函数。
ppt课件
3
设给定 t t0 ,t f ，初始状态为x(t0)=x0，
终端状态x(tf)自由。性能泛函为
J
t f
t0
Lxt,ut,td t
(5-2)
x t0
x
H
H u
0
0
0
0
HxH
H
u
tf t0
0
x 0 0
(5-17)
ppt课件
14
应用上述条件求解最优控制的步骤如下：
1) 由控制方程
H 0 u
解出 u* u~x,
2) 将u*代入正则方程解两边边值问题，求x*、λ*。
3) 再将x*、λ*代入得 u* u~ x*, * 为所求。
ppt课件
(5-7)
6
对式(5-5)右边第二项作分部积分，得
t f T xd t t f T x d t T x t f
t0
t0
t0
将上式代入式(5-5)，得
J t f Hx,u, ,t T x d t T x t f (5-8)
t0
t0
ppt课件
7
设u(t)和x(t)相对于最优控制u*(t)及最优轨线
17
由式(5-7)，得
H
L T f
x
1 u2 2
T
0 0
1 0
x
10u
x
ppt课件
18
由欧拉方程，得
H x
d dt
H x
0 1
01 02
12
0
2101
ppt课件
19
H d H u 0
u d t u
112
0
u 2
H
d dt
H
0 0
1 0
x
0 1u
x
0
x1 x2 x2 u
t t0 ,t f
(5-35)
这就是说，对定常系统，沿最优轨线H恒为常值。
ppt课件
46
例4：给定系统状态方程为
x
0 0
1 0
x
10u
设初始状态x(0)= 0，终端状态约束曲线
x1(1)+x2(1)-1=0求使性能泛函
J 1 1u 2 td t
20
取极小时的最优控制u*(t)及最优轨线x*(t)。
9
式(5-9)称为动态系统的伴随方程或协态方程， λ又称为伴随矢量或协态矢量。
式(5-10)即系统的状态方程。
式(5-9)与式(5-10)联立称为哈密尔顿正则方程。
式(5-11)称为控制方程，
ppt课件
10
这个方程是在假设δu为任意，控制u(t)取值
不受约束条件下得到的。如果u(t)为容许控制，
u*(t)的变分为δu和δx，计算由δu和δx引起的
J´的变分为：
J
tf t0
xT
H x
uT
H u
d
t
xT
tf t0
使J´取极小的必要条件是，对任意的δu和δx，
都有δJ´=0成立。
ppt课件
8
因此得
H 0
x H x
H 0 u
tf 0 t0 ppt课件
(5-9) (5-10) (5-11) (5-12)
t
(5-23)
ppt课件
34
对上式中最后一次作分部积分，得
J Φ x t f
,t f
T N x tf
,t f
T txt t f t0
t f
t0
H
xt
,
ut
,
t
,
t
T
t
xt
d
t
(5-24)
ppt课件
35
这是一个可变端点变分问题。考虑x(t)，u(t)，
tf相对于它们最优值x*(t)，u*(t)，t*f的变分，并计 算由此引起J´的一次变分δJ´。设
2
-1
-2
x2*(t)
u*(t)
-3
ppt课件
24
例2：设问题同例1。但将终端状态改为θ(2)=0， ω(2)自由，即终端条件改成部分约束、部分自 由。重求u*(t)、x*(t)。
ppt课件
25
解 正则方程及控制方程与例1完全相同，只是
边界条件改成 t 0时 x10 1, x2 0 1，t 2 时 x12 0,2 2 0 ，代入例1的通解中可确定积分
变分各有两项：
xT t f
Φ x t f , t f x t f
Φ x t f , t f t f
t f
xT t f
N T x t f , t f x t f
N T
x tf
,t f
t f
t f
ppt课件
39
因此，有
J
t
f
H
dH dt
H t
H u
T
u
H x
T
f
(5-33)
ppt课件
44
如果u为最优控制，必满足
H 0 u
及
H 0
x
因此，有 d H H d t t
(5-34)
上式表明，哈密顿函数H沿最优轨线对时间的
全导数等于它对时间的偏导数。
ppt课件
45
当H不显含t时，恒有
dH 0 dt
即
H t 常数
ppt课件
5
定义纯量函数
Hx,u,,t Lx,u,t T f x,u,t (5-4)
称H[x,u,λ,t]为哈密尔顿函数。则
J tf Hx,u,,t T xd t t0
(5-5)
或 J tf H x, x,u, ,td t t0
(5-6)
式中
Hx, x,u,,t Lxt,ut,t T tf xt,ut,t xt
解得
C1
3, C2
7 2 ,C3
1,C4
1
ppt课件
22
因此，最优解为
u* t 3t 7
2
x1* t
1 2
t3
7 4
t
2
t
1
x
* 2
t
3 2
t2
7 2
t
1
ppt课件
23
最优控制u*(t)及最优轨线x*(t)如图2所示。
x(t) u(t) 2 1
x1*(t)
(2,2,5)
0
t
0.5
1 7/6 1.5
受到 utU 的约束，δu变分不能任意取值，
那么，关系式 H 0不成立，这种情况留待极 u
小值原理中讨论。
ppt课件
11
式(5-12)称为横截条件。常用于补充边界条件。
例如，若始端固定，终态自由时，由于δx(t0)=0， δx(tf)任意，则有
xt0 x0