动态最优化第7讲 最优控制理论极大值原理

第7章 最优控制内容提要最优控制是现代控制理论的重要组成部分。

它所研究的对象是控制系统，中心问题是给定一个控制系统，选择控制规律，使系统在某种意义上是最优的。

这一章介绍了最优控制问题及一些基本的求解方法，如变分法、最大值原理和动态规划等。

为最优控制系统的设计，特别是线性二次型性能指标和快速控制提供方法和理论基础。

关于求解最优控制的变分方法，介绍了泛函与变分法基础，欧拉方程，横截条件，含有多个未知函数泛函的极值，条件极值等；关于最大值原理，介绍了古典变分法的局限性，最大值原理基本叙述，变分法与极大值原理的异同等；关于动态规划，介绍了多级决策过程与最优性原理，离散系统动态规划，连续系统动态规划，动态规划与最大值原理的关系等；还介绍了线性二次型性能指标的最优控制问题，包括状态调节器、输出调节器、跟踪问题，以及快速控制问题和综合问题。

这章研究的内容是最优控制中最基本的，也是必需掌握的。

无论将来从事研究还是从事实际工作都是必不可少的。

习题与解答7.1设有一阶系统x x u =-+，3)0(=x 。

试确定最优控制函数()u t ，在2t =时，将 系统控制到零态，并使泛函220(1)d J u t =+⎰，取极小值。

解 作泛函2200[1()]d J u x x u t λ=+++-⎰写出泛函0J 的欧拉方程0 0u u x x F F uF F t ∂⎧-=⎪⎪∂⎨∂⎪-=⎪∂⎩推出20u λλλ-=⎧⎨-=⎩ 与状态方程x x u =-+联立求得111222ttt tc e c u e c x c e e λ-===+代入边界条件()()03, 20x x ==得122212322c c cc e e -+=+=解之得2212222263, e e c c e e e e----==--故212232t tc e u e e e e---==- □7.2 一质点沿曲线()y f x =从点(0,8)运动到(4,0)，设质点的运动速度为x ，问曲线取什么形状，质点运动时间最短？解 因为d , d d sx s x t== 所以t x =⎰由欧拉方程d0d d 0d y y F F tt -=⎛⎫= 得0c =做变量代换，令tg ,y θ'= 代入上式，得1sin ,x c θ== 101c c ⎛⎫= ⎪⎝⎭令 ⑴因为1d tg , d cos d d yy x c xθθθ'=== 得11d tg d tg cos d sin d y x c c θθθθθθ===可推出12cos y c c θ=-+ ⑵从（1）和（2）式中消去变量θ，得()22221x y c c +-=代入边界条件，得()2222221218, 4c c c c -=+=推出125, 3c c =±=所以曲线方程为()22325x y +-= □7.3 给定二阶系统010001x x u ⎡⎤⎡⎤=+⎢⎥⎢⎥⎣⎦⎣⎦，2(0)1x ⎡⎤=⎢⎥⎣⎦。

最优控制——最大值原理最优控制问题是数学中的一个重要问题，研究如何在给定约束条件下使一个系统达到最优状态。

在数学的最优控制理论中，最大值原理是一种重要的工具和方法，被广泛应用于很多最优控制问题的求解中。

本文将详细介绍最优控制中的最大值原理及其应用。

最大值原理也称为哈密顿-雅可比-贝尔曼方程(hamilton-jacobi-bellman equation)，它是最优控制问题的一个基本性质。

最大值原理给出了在给定约束条件下系统状态的最优演化方程。

最大值原理的基本形式是哈密顿－雅可比－贝尔曼方程。

对于一个给定的最优控制问题，假设系统的演化满足一个偏微分方程，此方程将由状态变量、控制变量、时间变量以及一个哈密顿函数构成，具体形式如下：∂V/∂t + min(u) {H(x,u,t)+ ∇V⋅f(x,u,t)} = 0其中，V(x,t)是值函数(value function)，表示从状态x在时间t开始时，系统必须选择的最佳控制来最大化性能指标的期望值。

f(x,u,t)是状态方程(state equation)，描述系统状态的演化。

H(x,u,t)是哈密顿函数(Hamiltonian)，是一个将值函数、控制变量和状态方程综合起来的函数，它的作用是描述系统的动力学性质。

最大值原理的关键在于通过逐步迭代的方式求解值函数V(x,t)，找到使系统达到最优状态的最佳控制变量。

这一过程通常称为最优控制问题的动态规划(dynamic programming)。

最大值原理的主要应用涉及很多不同领域，例如经济学、工程学、生物学等。

在经济学中，最大值原理被广泛应用于决策理论、资产定价、宏观经济模型等领域。

在工程学中，最大值原理常用于控制系统设计、路径规划、优化问题等。

在生物学中，最大值原理被用于神经科学、生态学、生物系统动力学建模等。

最大值原理的应用还包括优化问题、最短路径问题、最优控制问题、反问题等。

它不仅可以用于求解连续问题，也可以用于离散问题。

第一章绪论1.1 引言近50年来，科学技术的迅速发展，对许多被控对象如宇宙飞船、导弹、卫星和现代工业设备与生产过程的性能提出了更高的要求，在许多情况下要求系统的某种性能指标为最优。

这就要求人们对控制问题都必须从最优控制的角度进行研究分析和设计。

最优控制理论是现代控制理论的重要组成部分。

其形成与发展奠定了整个现代控制理论的基础。

早在20世纪50年代初九开始了对最短时间控制问题的研究。

随后，由于空间技术的发展，越来越多的学者和工程技术人员投身于这一领域的研究和开发，逐步形成了较为完整的最优控制理论体系。

最优化问题就是根据各种不同的研究对象以及人们预期要达到的目标，寻找一个最优控制规律，或设计出一个最优控制方案或最优控制系统。

最优控制理论研究的主要问题是：根据已建立的被控对象的时域数学模型或频域数学模型，选择一个容许的控制律，使得被控对象按预定要求运行，并使给定的某性能指标达到最优值。

从数学的观点来看，最优控制理论研究的问题是求解一类带有约束条件的泛函取值问题，属于变分学的理论范畴。

然而，经典变分学理论只能解决容许控制属于开机的一类，为适应工程实践的需要，20世纪50年代中期出现了现代变分理论。

在现代变分理论中最常用的两种分法是动态规划和极小值原理。

动态规划时美国学者R.E贝尔曼于1953-1957年为了解决多级决策问题的算法而逐步创立的。

最小值原理时前苏联科学院院士π.C.庞特里亚金与1956年-1958年间逐步创立的。

近年来，由于数字计算机的飞速发展和完善，逐步形成了最优控制理论中的数值计算法，参数优化方法。

当性能指标比较复杂或者不能用变量或函数表示时，可以采用直接搜索法，经过若干次迭代，都所到最优点。

常用的方法有邻近极值法、梯度法、共轭梯度法及单纯形法等。

同时由于可以把计算机作为控制系统的一个组成部分，以实现在线控制，从而使最优控制理论的工程实现成为现实。

因此，最优控制理论提出的求解方法，既是一种数学方法，又是一种计算机算法。

第七章 最优控制（Optimal Control ）最优化（Optimization ）：生产过程的控制，企业的生产调度，对资金、材料、设备的分配，经济政策的制定等都与最优化有关。

最优控制：通常是针对控制系统本身而言的，目的是使一个机组、一台设备、或一个生产过程实现局部最优。

7-1概述1．最优分配问题：仓库（水泥） 运费（元/包） 工地（需要水泥）问应怎样发送这些水泥，才能使运费最省？设：从甲仓库运往A 、B 、C 工地的水泥数分别为1x 、2x 、3x ；从乙仓库运往A 、B 、C 工地的水泥数分别为4x 、5x 、6x 目标函数()x f （总运费）：()65432195442x x x x x x x f +++++= 最优化的任务：确定[]Tx x x x x x x 654321=的值，使()x f 为最小。

约束条件：⎪⎪⎪⎩⎪⎪⎪⎨⎧=+=+=+≤++≤++1200600900180********241654321x x x x x x x x x x x x该问题称为具有不等式约束条件的线性最优化问题，属于静态最优化问题，变量x 与时间无关2．动态最优化问题动态最优化问题：在最优控制系统中，受控对象是一个动态系统，所有变量都是时间的函数。

目标函数：是时间函数的函数，称为泛函数（简称泛函） 例：目标泛函 ()()[]⎰=ft t dt t t u t x L J 0,,基本约束条件（受控对象的状态方程）：()()()[]t t u t x f t x ,,= J----标量L----标量函数()t x ----n 维状态矢量 ()t u ----r 维控制矢量f ----n 维矢量函数最优控制问题：在满足约束条件下，寻求最优控制函数()t u ，使目标泛函J 取极值（最小或最大），即()max min =J 。

3．求解动态最优化问题的方法古典变分法、极小（大）值原理、动态规划法7-2研究最优控制的前提条件1．给出受控系统的动态描述，即状态方程()()()[]t t u t x f t x,,= 2．明确控制作用域控制集：()(){}0,≤=u x j t u U ϕ()()r m m j u x j ≤=≤;,,2,10, ϕ----()t u 满足的约束条件容许控制：()U t u ∈ 3．明确始端条件 固定始端：()0t x 给定 自由始端：()0t x 任意可变始端：()00Ω∈t x 始端集：()()[]{}0000==Ωt x j t x ρ()[]()n m m j t x j ≤==;,2,100 ρ----()0t x 必须满足的约束条件 4． 明确终端条件固定终端：f t 、()f t x 给定 自由终端：f t 给定、()f t x 任意可变终端：()f f t x Ω∈ 目标集：()()[]{}0==Ωf j t x ff t x ϕ()[]()n m m j t x f j ≤==;,2,10 ϕ----()f t x 必须满足的约束条件5． 给出目标泛函（即性能指标） 对于连续时间系统，一般表示为：()[]()()[]⎰+Φ=ft t f dt t t u t x L t x J 0,, （综合型或鲍尔扎型）()[]f t x Φ----终端指标函数，反映对终端性能的要求；()()[]⎰ft t dt t t u t x L 0,,----动态指标函数，L 为状态控制过程中对动态品质及能量或燃料消耗的要求等。