最优控制 (4)1 ppt课件

04 离散时间系统的最优控制
CHAPTER
离散时间系统的最优控制问题的描述
定义系统
离散时间系统通常由差分方程描述，包括状 态转移方程和输出方程。
确定初始状态
最优控制问题通常从一个给定的初始状态开 始，我们需要确定这个初始状态。
确定控制输入
在离散时间系统中，控制输入是离散的，我 们需要确定哪些控制输入是可行的。
工业生产领域
02 现代控制理论在工业生产领域中也得到了广泛的应用
，如过程控制、柔性制造等。
社会经济领域
03
现代控制理论在社会经济领域中也得到了广泛的应用
，如金融风险管理、能源调度等。
02 最优控制基本概念
CHAPTER
最优控制问题的描述
确定受控系统的状态和输入，以便在 给定条件下使系统的性能指标达到最 优。
LQR方法
利用LQR（线性二次调节器）设计最优控制 器。
线性二次最优控制的应用实例
经济巡航控制
在航空航天领域，通过线性二次最优控制实现燃料消 耗最小化。
电力系统控制
在电力系统中，利用线性二次最优控制实现稳定运行 和最小化损耗。
机器人控制
在机器人领域，通过线性二次最优控制实现轨迹跟踪 和避障等任务。
03
02
时变控制系统
04
非线性控制系统
如果系统的输出与输入之间存在 非线性关系，那么该系统就被称 为非线性控制系统。
这类系统的特点是系统的参数随 时间而变化。
静态控制系统
这类系统的特点是系统的输出与 输入之间没有时间上的依赖关系 。
发展历程
古典控制理论
这是最优控制理论的初级阶段，其研究的主 要对象是单输入单输出系统，主要方法是频 率分析法和根轨迹法。

1
第4章 最优控制与变分法
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
4.1 最优控制问题的数学描述 4.2 无约束条件的动态最优化问题 4.3 带等式约束的动态最优化问题 4.4 用哈密顿函数求解最优控制问题
第4章 最优控制与变分法 3、约束条件的数学描述 、
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
一般约束条件可用如下的等式约束方程或 不等式约束方程来描述： 不等式约束方程来描述：
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
的质心距离地面的高度， 解 ： 设 x(t)为 M的质心距离地面的高度 ， 由牛顿第 为 的质心距离地面的高度
（4-1） ）
J = θ ( x, t ) t
（4-9） ）
性能指标如式(4-9)所示的问题称为迈耶问题 。 所示的问题称为迈耶问题。 性能指标如式 所示的问题称为迈耶问题 该类问题只关注始端和终端时刻的系统状态， 该类问题只关注始端和终端时刻的系统状态 ， 而 不关心系统的运动过程， 因此性能指标只是始端、 不关心系统的运动过程 ， 因此性能指标只是始端 、 终端时刻和状态的一个函数。 终端时刻和状态的一个函数。
第4章 最优控制与变分法
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。

J =
能观,
1 1 x ( t f ) T C T Q 0 Cx ( t f ) + 2 2
tf
[ x T C T Q 1 Cx + u T Q 2 u ] dt ∫
t0
二次型指标最优控制问题
线性系统
二次型性能指标
x = Ax + Bu y = Cx
tf
J =
1 T x (t f )Q 0 x (t f ) + 2
1 二次型性能泛函
1 1 T J = x (t f ) Q 0 x (t f ) + 2 2
半正定
tf
[ x T Q 1 x + u T Q 2 u ] dt ∫
t0
半正定
正定
误差大小的代价函数, qij大表示对应误差要求小 对控制的约束或要求. 表示在区间内消耗的能量, qij大表示对应付出的能量小. 最优控制目标是使性能指标J取得极小值, 其实质是用不大的控制来 保持比较小的误差,从而达到所用能量和误差综合最优的目的.
0 x = 1
1 x a + 2
1
y=x1
1 w( s ) = C ( sI A) B = 2 s + s a + 2 +1
281
6.4 线性二次型最优控制问题
6.4 线性二次型最优控制问题
输出调节问题
x (t ) = A (t ) x (t ) + B (t )u (t ) y ( t ) = C ( t ) x ( t ), x ( t 0 ) = x 0
q1 , q 2 > 0 , q 0 ≥ 0
u * ( t ) = Q 2 1 ( t ) B T ( t ) P ( t ) x ( t ) = q 2 1 p ( t ) x ( t )

多级决策过程所谓多级决策过程是指将一个过程按时间或空间顺序分为若干级步然后给每一级步作出决策在控制过程中令每走一步所要决定的控制步骤称之为决策以使整个过程取得最优的效果即多次的决策最终要构成一个总的最优控制策略最优控制方案
第4章 动态规划
求解动态最优化问题的两种基本方法：极小值原理和动态规划。
动态规划：是一种分级最优化方法，其连续形式与极小值原理相 辅相成，深化了最优控制的研究。
Optimal Control Theory & its Application
主要内容
1
多级决策过程和最优性原理
2
离散控制系统的动态规划
3
连续控制系统的动态规划
4 动态规划与变分法、极小值原理的关系
5
本章小结
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Dong Jie 2012. All rights reserved.
Date: 09.05.2019 File: OC_CH4.7
Optimal Control Theory & its Application
Optimal Control Theory
Dong Jie 2012. All rights reserved.
特点：1）将一个多阶段决策问题化为多个单阶段决策问题，易于分析 2）每阶段评估只与前一阶段结果有关，计算量减小
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Date: 09.05.2019 File: OC_CH4.5
Optimal Control Theory & its Application

0
)
2 f (X0)
2
f
(
X
0
)
x2x1
2 f (X0
)
xnx1
2 f (X0) x1x2
2 f (X0 x1xn)源自2 f (X0) x2 2
2 f (X0)
xn x2
2 f (X0)
x2xn
2 f (X0
)
xn 2
是f在点X 0处的Hesse矩阵
npjiangb@
npjiangb@
• 2.2 多元函数无约束的极小化 一、Hesse矩阵
设f
: Rn
R1 ,
X
0
Rn
, 如果f在点X
处对于自变量
0
X的各分量的二阶偏导数 2 f ( X 0 ) (i, j 1,2,, n) xix j
都存在，
则
称
函数f在
点X
处
0
二阶
可
导，
并且称矩阵
2
f (X x12
其中 N x * x x x * , 0 。 同样有：严格局部最优解。若 f x * f x
npjiangb@
定义 范数： 在 n 维实向量空间 R n 中，
定义实函数 x , 使其满足以下三个条件：
（１）对任意 x R n 有 x 0 , 当且仅当
dt
t0
• 五 终端控制问题
J Q[x(t f ), t f ]
• 六 非线性系统的最优控制
npjiangb@
• 1.5 最优化问题的解法
• 解析法：利用函数的解析性质去构造迭代公式使之收敛 到最优解
• 直接法：它对函数的解析性质没有要求，而是根据一定 的数学原理来确定

称 J (X ) 在 XX*处有极值(极大值或极小值)。
精品课件
定理(变分预备定理)：设 ( t )
是时间区间
[t0, t1]上连续的n维向量( t函) 数，
的连续n维向量函数(t，0)且(t1)0
有
t1
T
(t)(t)dt
，若
0
t0
是任意
则必有
(t)0,t[t0,t1]
精品课件
4.1.2 欧拉方程
LX,XrX,X
这里，LX,X 是X 的线性泛函，rX,X 是关于 X
的 高阶无穷小，则
JLX,X
称为泛函J[x]的变分。 可知泛函变分就是泛函增量 的线性主部。
精品课件
当一个泛函具有变分时，也称该泛函可微。和函 数的微分一样，泛函的变分可以利用求导的方 法来确定。
定理 设J[x]是线性赋范空间Rn上的连续泛函
返回主目录
精品课件
在动态系统最优控制问题中，性能指标是 一个泛函，性能指标最优即泛函达到极值。解决泛 函极值问题的有力工具是变分法。所以下面就来列 出变分法中的一些主要结果，大部分不加证明，但 读者可对照微分学中的结果来理解。
精品课件
4.1.1 泛函与变分
先来给出下面的一些定义。
1、泛函： 如果对某一类函数X(t)中的每一个函
(1) (L1 L2 ) L1 L2
(2) ( L1L2 ) L2 L1 L1 L2
b
b
(3) a L[ x, x, t]dt a L[ x, x, t]dt
(4) dx d x
dt dt 精品课件
举例：
可见，计算泛函的变分如同计算函数的微分一样。
精品课件
6、泛函的极值：若存在 0 ，对满足的 X X* 一切X，J(X)J(X*)具有同一符号，则

x
—可以详细的做线性搜索，但是这将非常耗时。 该过程通常需要快速，精确并且简单。 ◊ 尤其是你对所选择的
pk 值不确定
1-11
线性搜索
• 考虑一个简单的问题： F ( x1, x2 ) x1
2 2 x1x2 x2
1 x0 1
0 1 p0 x1 x0 p0 2 1 2
则称点 x* 是函数 F ( x* )的强最小点。 —弱：目标函数在一些方向上保持相同，并且只在其他方向上局部增加。 如果 x 不是一个强最小点，且标量 0 ，存在类似 F ( x* ) F ( x* x) ，对所有的 x * 有 0 x ，则称点 x 是函数 F ( x) 的弱最小点。
̶ 从 x [1.9 2] 处开始，已知全局最小值是 x [1 1] • 拟牛顿法做得很好-在迭代了26次后得到了最优解（调用35次），但是梯度搜索（最速下 降）却做得不好（尽管很接近），调用函数2000次，迭代了550次
1-22
图1.5 算法是如何工作的
1-23
1-24
1-25
Rosenblock with BFGS
* *
，这样才能
充分确保 F ( x* x) F ( x* ) 。 —对于任意的 x
0 ，充分条件是 G( x* ) 0 （PD）。
• 对于强最小值的二阶必要条件是 G( x* ) 0 （PSD），因为在这种情况下展开式中的更高 阶项很重要。例如：
xT G( x* )x 0
在合理的时间内能否保证可以找到一个好的答案--答案是可以，但不是一直能 保证的。
1-27
图1.7：初始环境下函数的一个点的收敛性是如何变化的

m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量 K 为常数
初始状态 终点条件
h(0) h0 h(T ) 0
v(0) v0 v(T ) 0
m(0) M F
控制目标
J m(T )
推力方案
0 u(t) umax
2019年11月25日星期一
指标
J x(T), y(T), x(T), y(T) x(T)
2019年11月25日星期一
现代控制理论
18
最优控制问题
例1.2
导弹发射问题
x F (t) cos (t)
m
y F (t) sin (t)
m
初始条件 x(0) 0 y(0) 0 x(0) 0
2019年11月25日星期一
现代控制理论
1
最优控制理论
东北大学信息科学与工程学院 井元伟教授
二○○九年十一月
2019年11月25日星期一
2
第1章 题第2章 法第3章 第理4章 划第5章 制 第6章 统
最优控制问 求解最优控制的变分方 最大值原 动态规 线性二次型性能指标的最优控 快速控制系
2019年11月25日星期一
现代控制理论
12
最优控制问题
例1.2 导弹发射问题
2019年11月25日星期一
现代控制理论
13
最优控制问题
例1.2 导弹发射问题
最优控制问题
例1.2
导弹发射问题
x F (t) cos (t)
m
y F (t) sin (t)
m
2019年11月25日星期一

即:
上式表明,沿最优轨线函数H相对最优控制u*(t)取绝对极小值,这是极小值原理的一 个重要结论.
由
∂Φ ∂H ∂G T ) Γ = 0 = 0 ⇒ + ( & & & ∂ω ∂ω ∂ω ∂H ∂G T ⇒ = −( ) Γ ∂u ∂u
∂H = 0 不再成立 上式表明,在有不等式约束的情况下,沿最优轨线 ∂u
初始条件
x (t 0 ) = x ( 0 ) , x ∈ Rn , u ∈ Ω ∈ R p ,
为有界闭集,不等式约束为
m≤ p
G [ x (t ), u (t ), t ] ≥ 0, G为m维连续可微的向量函数,
系统从x0转移到终端状态x(tf)，tf未给定,终端状态x(tf)满足等式约束
M [ x(t f ), t f ] = 0
M为q 维连续可微向量函数, q ≤ n 性能指标:
J = θ [ x ( t f ), t f ] +
∫
t
f
t0
F [ x ( t ), u ( t ), t ] dt
最优控制问题就是要寻找最优容许控制u(t)使J为极小
令
& ω (t ) = u (t ) ω (t 0 ) = 0
Z T (t ) = [ z1 (t ), z 2 (t ),L z m (t )] & 且 [ Z (t )]2 = G[ x(t ), u (t ), t ] Z (t0 ) = 0
设控制变量被限制在某一闭集内 即u(t)满足 G [ x ( t ), u ( t ), t ] ≥ 0
u ∈Ω
满足限制条件的u(t)称为容许控制，由于δu不能是任意的,
∂H = 0 的条件已不存在 ∂u

自动化学院
2020/8/9
1
第1章 绪论 第2章 求解最优控制的变分方法 第3章 最大值原理 第4章 线性二次型性能指标的最优控制 第5章 动态规划 第6章 状态估计
2
教学要求：
1. 学习泛函变分法，理解最优控制的一般概念 2. 掌握利用变分法求最优控制方法 3. 掌握极大值原理，状态调节器 4. 掌握动态规划
x(t) f [x(t), u(t), t]
（2）边界条件 ①初始时刻t0，初始状态x(t0)一般给定 ②终端时刻tf，变动，固定 ③终端状态x(tf)
12
第1章——绪论
x(tf)一般需满足一个约束方程[x(tf ), tf ] 0
满足约束方程的x(tf)构成一个目标集 x(tf ) S (3)一个衡量系统性能的性能指标
t0
N 1
或J x(N) F[x(k),u(k), k]
k k0
最优控制问题
（控制域） u t x t
J
17
4 常见的最优控制
tf
1.最少时间控制J dt t f t0
它要求设计一个快速控t0制系统，使系统在最短
时x间t0 内从初态终态 xt f
2.最少燃如料：导弹拦截器的轨道转移 。
最优值，J* J[u *(t)] 称为最优性能指标
14
3 研究最优控制的前提条件
1.给出受控系统的动态描述（状态方程）
连续系统 x(t) f [x(t),u(t),t]
离散系统 x(tk1 ) f [ x(tk ), u(tk ), tk ]
2.明确控制域（容许控制）
控制约束 ut 控制域（取值范围）
Mg
设M 1，x1(t) x(t)为高度，x（2 t） x1(t) x(t)

tf
0
tf T T T J x dx (t f ) v t t f t x x dt 0 x x x
T
T dxT (t f ) x x
T v x (t f ) x t t f
H g T x x d H g T w w 0 dt d T ( z ) 0 dt
(2-25) (2-26) (2-27)
d 0 dt z
( x, x, w, w, z , z , , , t ) H ( x, , w, t ) T x T [ g ( x, w, t ) z 2 ]
n
其中 f 是 n 维连续可微的向量函数；状态 x (t ) R ，其初态 已知是
x (t0 ) x0
(2-2) (2-3)
终态应满足边界条件
[ x (t f ), t f ] 0
其中 是 r 维连续可微的向量函数，r n ；
u (t ) R m 受不等式 控制
g [ x (t ), u (t ), t ] 0
16
2）横截条件 T
vx 0 x t t t f t f f
T
T v 0 x x t t x f
T v H 0 (2-28) t f t f t t f
0
( x, x, w, w, z , z , , , t ) H ( x, , w, t ) T x T [ g ( x, w, t ) z 2 ]
17
对上列方程稍加分析，便知 （1）由（2-25）式

03
优化目标
最小化损失函数，即达到最优控制效果。
线性调节器问题的解法
01
极点配置法
通过选择控制器的极点位置， 使得系统的传递函数在频率域
上具有理想的性能指标。
02
最优反馈增益
通过求解 Riccati 方程，得到 最优反馈增益，使得系统的性
能达到最优。
03
LQR 设计步骤
确定系统的状态空间模型、选 择适当的参考信号、设计控制
定义
非线性最优控制问题可以定 义为在给定初始状态和初始 时刻，寻找一个控制输入， 使得系统在结束时刻的状态
和性能指标达到最优。
特点
非线性最优控制问题具有复 杂性，其解决方案通常需要
借助数学工具和算法。
应用
非线性最优控制问题在许多 领域都有广泛的应用，如航 空航天、机器人、车辆控制 等。
利用梯度下降法求解非线性最优控制问题
移方程。
利用动态规划法求解非线性最优控制问题
3. 定义性能指标函数
根据问题的要求，定义性能 指标函数。
4. 求解最优子问题
利用动态规划法，依次求解 每个子问题，得到每个时刻 的最优控制输入。
5. 得到最优解
通过逆向递推，得到初始时 刻的最优控制输入和最优状 态。
04
动态规划基础上的最优控 制
多阶段决策过程的动态规划
利用动态规划法求解非线性最优控制问题
• 基本思想：动态规划法是一种通过将原问题分解为一 系列子问题，并逐个求解子问题，最终得到原问题最 优解的方法。
利用动态规划法求解非线性最优控制问题
01
步骤
02
1. 初始化：选择一个初始状 态和初始时刻。
03
2. 定义状态转移方程：根据 系统动态方程，定义状态转

u t R p 为 控 制 向 量 ， 且 u t 在 t 0 , t f 上 分 段 连 续 ；
f R n 为 连 续 向 量 函 数 ， x t 连 续 可 微
2.初态和终态： xt0，xtf S目标集
3.容许控制 ： ut — 控 制 域
§6-2 最优控制中的变分法
现
代 泛函变分的求法
控
制 理 论
定理： J x 的变 J J 分 x x | 0， (0 1 )
性质：1 .F 1 F 2 F 1 F 2
2 .F 1 F 2 F 1 F 2 F 2 F 1
理 论
L x t,x r x t,x
其L 中 xt,x— J的线性函数
rxt,x— J的高阶无穷小
则L 称 xt,x为泛 Jxt函 的一阶变 J 分
泛函变分是泛函增量的线性主部
Modern Control Theory
Page: 9
2 1 2a1ta2
ua1ta2
这里 a1、a2 为常数
由 x2 udt 得： x2t1 2a1t2a2ta3
Modern Control Theory
Page: 21
§ 6-4 有约束条件下的泛函数极值问题
现
代 控
由 x1 x2dt 得：x 1 t 1 6 a 1 t3 1 2 a 2 t2 a 3 t a 4
现
代 控
当 t0 和 tf给 定 时 ， x t0 和 x tf 是 否 定 还 是 自 由 ， 可 分 四 种
制 情 况 ：
理 论 (1) 固定始端和终端
x(t)
即 x t 0 和 x t f 给 定 x t 0 0 ,x t f 0

06
最优控制在现实生活中的应 用
经济问题
投资组合优化
通过最优控制理论，投资者可以 确定最佳的投资组合策略，以最 大化收益或最小化风险。
生产调度
在生产过程中，企业可以使用最 优控制理论来优化生产调度，以 提高生产效率并降低成本。
商业决策
商业决策者可以使用最优控制理 论来制定最佳的商业策略，例如 定价、库存管理和营销策略。
内点法
内点法是一种基于梯度下降的求解方法，通过迭代逼近最优解，适用 于大规模的优化问题。
最优控制的线性规划问题
最优控制问题可以转化为线性规划问 题，通过建立状态方程、目标函数和 约束条件，利用线性规划求解方法找 到最优控制策略。
在实际应用中，最优控制的线性规划 问题广泛应用于生产调度、物流优化、 金融投资等领域。
03
其中，V(x)表示状态x的价值函数，R(x,a)表示在状态x采取 行动a的即时奖励，p(x′∣x,a)表示从状态x采取行动a转移到 状态x′的概率。
递归求解方法
01
02
03
递归求解方法是动态规划的常用求解 方法，通过递归地求解子问题来得到 原问题的最优解。
递归求解方法的基本步骤是：将原问 题分解为若干个子问题，分别求解每 个子问题的最优解，然后利用子问题 的最优解来求解原问题的最优解。
03
状态方程的解可以给出系统在 任意时刻的状态，是进行最优 控制的基础。
性能指标函数
01
性能指标函数用于衡量控制策略的效果，通常表示为系统状态 和控制输入的函数。
02
性能指标函数的目标是最小化或最大化，例如控制能量、时间、
误差等。
性能指标函数的选取应根据具体问题的需求来确定，不同的性
03

生产计划与调度
在企业生产管理中，利用 最优控制理论对生产计划 和调度进行优化，提高生 产效率和降低成本。
08
总结与展望
最优控制理论的重要性和应用前景
总结
最优控制理论是现代控制理论的重要组成部分，它在解决复杂系统的优化和控制问题方面 具有显著的优势。该理论通过数学模型和算法，寻求在给定条件下实现系统性能最优化的 控制策略。
非线性最优控制理论
20世纪70年代，基于微分几何、非 线性分析和最优控制问题的研究。
智能优化算法与最优控制
20世纪80年代，考虑系统不确定性 ，引入概率论和随机过程理论。
03
最优控制问题的数学模型
状态方程与性能指标
状态方程
描述系统动态行为的数学方程，通常表示为状态变量对时间 的导数等于其函数。
性能指标
态。这种控制策略的关键在于如何根据当前状态信息快速、准确地计算出最优控制输入。
离散系统的最优输出反馈控制
总结词
离散系统的最优输出反馈控制是一种基 于系统输出的反馈控制策略，通过最优 控制算法计算出在当前输出下的最优控 制输入，使得系统状态在有限时间内达 到预期目标。
VS
详细描述
离散系统的最优输出反馈控制是一种有效 的最优控制策略，它根据系统的输出信息 ，通过最优控制算法计算出在当前输出下 的最优控制输入，使得系统状态在有限的 时间步内以最优的方式达到目标状态。这 种控制策略的关键在于如何根据输出信息 快速、准确地计算出最优控制输入。
控制问题分类
确定性和不确定性控制、线性与 非线性控制、连续和离散控制等 。
重要性及应用领域
重要性
在实际工程和科学问题中，许多问题 都需要通过最优控制理论来解决，如 航天器轨道控制、机器人运动控制、 电力系统优化等。