变分法与最优控制

第 2 章 最优控制中的变分法
在最优控制中由于目标函数是一个泛函数，最优控制的求解可以归结为求泛函极值问 题。变分法是研究泛函极值的一种经典方法，从 17 世纪末开始逐渐发展成一门独立的数学 分支。在力学、光学、电磁学等方面有着广泛的应用。
本章简要介绍经典变分法的基本原理，并把这些原理加以推广，用于解决某些最优控制 问题，重点讨论无约束条件的变分问题、等式约束条件的变分问题以及角点问题。尽管经典 变分法有其局限性，但本章所涉及的变分学及最优控制问题的一些基本概念，在最优控制理 论中是很基本的。建立这些概念对最优控制理论的学习是非常重要的。
∂α
α =0
0 ∂α
α =0
∫ ∫ =
1 0
2[
x(t
)
+
αδx(t )]δx(t )dt
|α =0
=
1 2 x(t )δx(t )dt
0
与【例 2-1】的结果完全一致。
【例 2-3】求泛函
∫ J = t1 L[t , x(t ), x (t )]dt t0
的变分。
解：根据式（2-10），所求变分为：
接近度，反之则不成立。
如果泛函 J[ y1 ( x) + y2 ( x)] = J[ y1 ( x)] + J[ y2 ( x)] （2） J[ay( x)] = aJ[ y( x)]
（2—5） （2—6）
则称该泛函为线性泛函，式中 a 为任意常数。 对于线性泛函，泛函值随宗量 y(x)线性变化，例如：
∫ J = t f L[ x(t), u(t), t] t0
（2—2）
可以表示为这种类型的性能指标称为积分型性能泛函。J 的值取决于 u(t),对于不同的

优化理论课件（2）第二部分动态优化：变分法和最优控制理论变分法是处理动态优化的古典方法，现在较少使用，在蒋中一的书中，变分法的思路可用来解释庞特里亚金最大值原理（一阶条件）。

本部分内容主要来自蒋中一《动态最优化基础》。

目录一、什么是动态优化？ (3)（一）动态优化问题的基本要素 (4)（二）泛函及其相关概念 (4)（三）可变终结点 (5)（四）横截条件 (6)（五）目标泛函 (6)二、变分法 (7)（一）基本问题：固定终结点问题 (7)（1）基本问题及其假定 (7)（2）一阶条件：欧拉方程 (8)（二）推广：多状态变量与高阶导数 (10)（1）多状态变量 (10)（2）高阶导数 (10)（三）可变端点问题 (10)（1）一般性横截条件 (11)（2）垂直终结线问题 (12)（3）水平终结线问题 (12)（4）终结曲线问题，即错误！不能通过编辑域代码创建对象。

(12)（5）截断的垂直终结线问题 (12)（6）截断的水平终结线问题 (13)（7）多变量和高阶导数情形 (13)（四）二阶条件（充分条件） (14)（1）固定端点问题的二阶条件及其二次型检验 (14)（2）凹凸性充分条件 (14)（3）变分 (15)（五）无限期界问题 (16)（1）收敛性 (16)（2）横截条件 (17)（3）充分条件 (17)（六）带约束的优化问题 (17)（1）等式约束 (17)（2）不等式约束 (18)（3）积分约束（等周问题） (19)三、最优控制理论 (20)（一）最优控制理论导论 (20)（二）最大值原理及其横截条件 (21)（1）最简单问题及最大值原理（一阶必要条件） (21)（2）最大值原理的理论基础及其横截条件 (23)（3）自控问题的汉密尔顿函数不变性 (26)（4）推广到多变量 (26)（三）最大值原理的经济学解释及现值的汉密尔顿函数 (27)（1）最大值原理的经济学解释 (27)（2）现值的汉密尔顿函数 (28)（四）充分条件（二阶条件） (29)（1）曼加萨林定理 (29)（2）阿罗条件 (31)（五）无限期界问题 (31)（1）横截条件与反例 (32)（2）作为充分条件一部分的横截条件 (32)（六）有约束的最优控制问题 (33)（1）涉及控制变量的约束 (33)（2）状态空间约束 (39)四、拉姆齐模型 (43)（一）相关理论发展背景 (43)（二）最简单的拉姆齐模型及其动力系统 (45)（三）微分方程定性稳定性判别方法简介 (47)（1）稳定性与渐进稳定性 (47)（2）稳定性判别基本定理 (48)（2）平面动力系统的奇点 (49)一、什么是动态优化？例：一个企业将原料从初始状态A通过五道工序，变为总结状态Z，每个阶段的选择对应一个阶段的成本，如何选择路径使得总成本最小化？从这个例子中可以看到：首先，动态强调的是时期之间的联系，而不仅仅是有时间的顺序；其次，这里也包含了Bellman方程的基本原理。

2 dx 2 2 dx = 2 dt xx dt x t x
= 其中：
xx x xx x x
2 x
2
t
x x

x
x


2 x x


xt


2 x t

所以 式<10>的全导数欧拉方程形式为：
t0 tf
.
问题：求 u * (t )，使被控过程状态由 x (t 0) 转移到 x (t f ) ，并使目标函数
J 最小。
, t ) 代入<4> 解：把<1 >式化为u的显函数形式，即 u F ( x, x 式，则有： . tf J [ x(t ), x(t ), t ]dt 5
a
b
x 的函数
) ) F ( x, y, y F ( x, y, y ]dx J [ y y a y y
b
泛函 J [ y ( x)]的变分 J 可通过增量形式求取：
泛函增量为： J J [ y( x) y( x)] J [ y( x)]
L[ y( x), y( x)] R[ y( x), y( x)]
2、 泛函的极值的定义：
若 泛函 J [ y ( x)] 在任何一条与 y y 0 ( x) 曲线接近的曲 线上的值均不小于 J [ y ( x)] ，即： ， J [ y( x)] J [ y0 ( x)] 0 则称泛函 J [ y ( x)] 在曲线上达到极小值。 泛函极值是一个相对概念 ， y ( x) 实际为相对于y0 ( x) 的一个微 小变化，变化形式有上述两种 :
1 3
x(t )

最优控制问题的变分法解析在控制论中，最优控制问题是寻找系统在给定约束条件下的最佳控制策略，以使所定义的性能指标取得最优值。

变分法是一种重要的数学工具，被广泛应用于解决最优控制问题。

本文将通过对最优控制问题的变分法解析，探讨其原理、应用和解决方法。

一、最优控制问题的基本原理最优控制问题的基本原理可以通过变分法进行分析。

变分法是数学中研究函数极值问题的一种方法，其关键思想是将函数的变分（变化量）与被考察函数的变化率联系起来。

在最优控制问题中，我们希望找到一个控制函数，使得系统的性能指标（如代价函数）取得最优值。

二、最优控制问题的数学描述最优控制问题通常使用微分方程或差分方程来描述系统的动力学行为。

假设系统的动力学方程为：```dx(t)/dt = f(x(t), u(t))```其中，x(t)为系统的状态向量，u(t)为系统的控制向量，f(x(t), u(t))表示系统的动力学行为。

我们的目标是通过选择合适的控制函数u(t)来最小化一个代价函数J，即：```J = ∫ L(x(t), u(t)) dt + Φ(x(T))```其中，L(x(t), u(t))为运动学指标函数，Φ(x(T))为终点状态指标函数。

通过变分法我们可以得到最优控制问题的欧拉-拉格朗日方程：```L_x - d/dt(L_u) = 0```其中，L_x表示L对x的偏导数，L_u表示L对u的偏导数。

三、最优控制问题的解决方法解决最优控制问题的一种常用方法是动态规划。

基本思想是将问题分解为一系列子问题，并利用最优子结构性质递归求解。

通过将最优控制问题转化为一组哈密顿-雅可比-贝尔曼（HJB）方程，可以得到最优控制的解析解。

此外，还可以采用数值方法，如离散化法和优化法，求得数值近似解。

四、最优控制问题的应用领域最优控制问题在许多领域都有着广泛的应用。

在经济学中，最优控制可用于优化投资组合、经济增长模型等；在工程领域，最优控制可用于优化控制系统、自动驾驶等；在生物学中，最优控制可用于优化生态系统管理、生物过程模型等。