现代控制理论第9章动态规划法

格式：ppt
大小：1.08 MB
文档页数：44

下载文档原格式

华中科技大学现代控制理论--动态规划与离散系统最优控制（可编辑）

华中科技大学现代控制理论--动态规划与离散系统最优控制Ch.7 最优控制原理目录 1/1 目录 7.1 最优控制概述 7.2 变分法 7.3 变分法在最优控制中的应用 7.4 极大值原理7.5 线性二次型最优控制 7.6 动态规划与离散系统最优控制 7.7 Matlab问题本章小结动态规划与离散系统最优控制 1/3 7.6 动态规划与离散系统最优控制前面讨论了连续系统最优控制问题的基于经典变分法和庞特里亚金的极大值原理的两种求解方法。

所谓连续系统,即系统方程是用线性或非线性微分方程描述的动态系统。

该类系统的控制问题是与传统的控制系统和控制元件的模拟式实现相适应的,如模拟式电子运算放大器件、模拟式自动化运算仪表、模拟式液压放大元件等。

随着计算机技术的发展及计算机控制技术的日益深入,离散系统的最优控制问题也必然成为最优控制中需深入探讨的控制问题,而且成为现代控制技术更为关注的问题。

动态规划与离散系统最优控制 2/3 离散系统的控制问题为人们所重视的原因有二。

1 有些连续系统的控制问题在应用计算机控制技术、数字控制技术时,通过采样后成为离散化系统, 如许多现代工业控制领域的实际计算机控制问题。

2 有些实际控制问题本身即为离散系统, 如某些经济计划系统、人口系统的时间坐标只能以小时、天或月等标记; 再如机床加工中心的时间坐标是以一个事件如零件加工活动的发生或结束为标志的。

动态规划与离散系统最优控制 3/3 本节将介绍解决离散系统最优控制的强有力工具--贝尔曼动态规划,以及线性离散系统的二次最优控制问题。

内容为最优性原理与离散系统的动态规划法线性离散系统的二次型最优控制最优性原理与离散系统的动态规划法 1/3 7.6.1 最优性原理与离散系统的动态规划法基于对多阶段决策过程的研究,贝尔曼在20世纪50年代首先提出了求解离散多阶段决策优化问题的动态规划法。

如今,这种决策优化方法在许多领域得到应用和发展,如在生产计划、资源配置、信息处理、模式识别等方面都有成功的应用。

现代控制理论课件(第九章)

an1
an 2

ann

bn1
bn 2

bnp

34
输出变量方程
y1 c11x1 c12x2 c1nxn d11u1 d1pup y2 c21x1 c22x2 c2nxn d21u1 d2 pup
第九章
状态空间分析方法
1
引言：前面几章所学的内容称为经典控制理论；
下面要学的内容称为现代控制理论。两者作一简单比较。
经典控制理论 (50年代前)
现代控制理论 (50年代后)
研究对象
单输入单输出的线可以比较复杂性定常系统
数学模型数学基础
传递函数 (输入、输出描述)
运算微积、复变函数
状态方程 (可描述内部行为)

x&2
=
3
4
1

x2

+
1

v
z& 2 1 -1 z 0
x1
y y1 2
1
0

x2

z
31
多输入-多输出系统
图9-6 多变量系统
32
x1 a11x1 a12 x2 a1n xn b11u1 b1pu p
1
R(s) 1
1
s3 3s2 2s 1
s(s 1)(s 2)
则：
y(3) 3y(2) 2y& y r
取：
xx12

y x&1
y&
x3 x&2 y(2)
19

《现代控制理论基础》第九章(2)PPT课件

x 4）最后，把对应于的 K ，通过如下的变换，得到
对应于状态 x 的 K 。
16
K KTcI1
这是由于的缘故。
u Kxv KTcI1xv
17
[例3] 设系统的传递函数为
W(s) 10 s(s1)(s2)
设计状态反馈控制器，使闭环系统的极点为：2,1 j
[解] 1）因为传递函数没有零极点对消现象，所以原系统能控且能观。可以直接写出它的能控规范I型实现：
9.2 线性系统的极点配置、状态反馈和输出反馈设计
9.2.1 线性系统极点配置的基本概念
极点配置问题
通过选择反馈增益矩阵，将闭
环系统的极点配置到根平面上所期望的位置，以获得所
期望的动态性能的问题。
1
整体概况
+ 概况1
您的内容打在这里，或者通过复制您的文本后。
概况2
+ 您的内容打在这里，或者通过复制您的文本后。
22
3）根据给定的期望极点值，得到期望特征多项式
f* () ( 2 )( 1 j)( 1 j)
34264
4）比较 f ( ) 与 f * ( ) 的各对应项系数，可得
3 k2 4 2 k1 6
k0 4
23
解上述方程组可得
k0 4 k1 4 k2 1
即
Kk0 k1 k2
4 4 1
1）由于系统 A,b,c 的状态完全能控， 0
所以必存在非奇异变换
x TcI x
式中 T c I
能控规范I型的变换矩阵
将系统 0A,b,c变换成能控规范I型：
x Ax bu
y
cx
8
式中：
ATc-I1ATcI

《动态规划法》课件

动态规划法的发展趋势
混合整数动态规划
将整数变量引入动态规划中，解决更复杂的问题，如组合优化问题。
动态规划与机器学习结合
利用机器学习算法辅助动态规划求解，提高算法的效率和准确性。
ABCD
多目标动态规划
考虑多个相互冲突的目标，寻求最优解的权衡。
分布式动态规划
将问题分解为多个子问题，在分布式系统中并行求解，提高大规模问题的处理能力。
排班问题
总结词
动态规划法可以用于解决排班问题，使得员工的工作计划安排最优。
详细描述
排班问题是一个多约束优化问题，涉及到员工的工作时间、班次、休息时间等多个因素。通过构建状态转移方程和优先级规则，动态规划法能够求解出满足所有约束条件的最佳排班方案。
生产调度问题
总结词
动态规划法可以应用于生产调度问题，优化生产流程和资源分配。
策略
一系列决策的集合，表示从初始状态到终止状态的整个求解过程。
转移方程与最优解
转移方程
描述状态转移的数学方程，表示从一个状态转移到另一个状态的关系。
最优解
在所有可能的策略中，能够使目标函数达到最优值的策略。
03
动态规划法的求解步骤
问题的分解
总结词
将复杂问题分解为若干个子问题
详细描述
动态规划法首先将原问题分解为若干个子问题，每个子问题都是原问题的简化版本。通过解决这些子问题，可以逐步推导出原问题的解决方案。
02
动态规划法的基本概念
阶段与状态
01
阶段
将问题的求解过程划分为若干个相互联系的阶段，以便按一定的次序进行求解。
02
03
状态
状态转移
在某一时刻，问题所处的情况或状态。

现代控制理论_第9章_动态规划法

(9-3)
式中，x k 为n 维状态向量，u k 为 m 维控制向量，设J x k ，u k 为每一步转移中的性能指标。
第一步，系统初始状态 x 0 在 u 0 作用下转移至 x 1 ，即
x 1 f x 0 ，u 0
w x 1 如果我们用 wN x 0 表示 N 级过程的性能指标的极小值， N 1 表示 N 1 级过程性能指标的极小值，则我们就可以列写出级决策过程的函数方程为：
w J x 0 ，u 0 wN 1 f x 0 ，u 0 x 0 min u 0
三者进行比较，由此作出第一级决策为u4,1 即应选 B2 C1路线。这时 B2 F 最小路程为 w4 B2 9 。函数方程是一个递推方程，一般说来，难于获得解析解，需要用数字计算机求解。
第二节动态规划法解离散系统的最优控制问题
设系统状态方程为
x k 1 f x k ，u k k 0,1,, N 1
最优性原理是动态规划法的基础和核心。动态规划法就是对一个多级过程，应用最优性原理，进行分级决策，求出最优控制的一种数学方法。
3、多级决策过程的函数方程
应用动态规划法求解过程的最优决策时，首先要根据最优性原理将多级决策过程表示成如下数学表达式：
wk xk min d xk , xk 1,i wk 1 xk 1,i
⑸ 在最后一级开始倒向逐级分析中，我们发现，由于各站的起始点并未确定，因此需要把各中间站的所有通过点作为出发点进行计算，并将所有对应的最佳决策存进计算机，建立起一个完整的“档案库”，因此要求计算机有相当大的容量。 (6)第一级起始条件（地）是确定的，因此只有逐级倒向分析到第一级时，才能作出确定的第一级决策，然后再根据第一级决策顺向确定各级的起始条件（各站的通过点），这时由于“档案库”中存有全部“资料”，因此用“查档”的方法就可逐级确定决策。由此可见，一般情况下，多级决策过程包括两个过程：倒向“建档”及顺向“查档”，而大量的计算工作是花费在建立“档案库”上。

动态规划法

动态规划法动态规划法（Dynamic Programming）是一种常用的算法思想，主要用于解决具有重叠子问题性质和最优子结构性质的问题。

动态规划法通过把问题分解为更小的子问题，并将子问题的解存储起来，以避免重复计算，从而提高了算法的效率。

动态规划法有两个核心概念：状态和状态转移方程。

在动态规划过程中，我们需要定义状态，即问题的子问题解，以及状态之间的关系，即状态转移方程。

动态规划法的一般步骤如下：1. 定义问题的子问题：将问题划分为更小的子问题，并明确子问题的解是什么。

2. 定义状态：将问题的子问题解抽象为状态，即用一个变量或者数组表示子问题的解。

3. 定义状态转移方程：根据子问题的关系，定义状态之间的转移方程，即如何根据已知的子问题解计算出更大的问题的解。

4. 缓存子问题解：为了避免重复计算，我们需要将已经计算过的子问题解存储起来，以便后续使用。

5. 递推计算：通过状态转移方程和缓存的子问题解，逐步计算出更大的问题的解，直到计算出最终的问题解。

动态规划法的关键在于找到正确的状态转移方程和合理的存储子问题解的方式。

有些问题的状态转移方程比较容易找到，比如斐波那契数列，每个数都是前两个数的和；而有些问题的状态转移方程可能比较复杂，需要通过观察问题的特点和具体分析来确定。

动态规划法的时间复杂度通常为O(n)，其中n 表示问题规模。

由于利用了子问题的解，避免了重复计算，因此动态规划法相对于暴力求解法能够大大提高算法的效率。

但是，动态规划法的空间复杂度通常较高，需要存储大量的子问题解，因此在实际应用中需要权衡时间和空间的消耗。

总的来说，动态规划法是一种非常灵活且强大的算法思想，能够解决许多复杂的问题，特别适用于具有重叠子问题性质和最优子结构性质的问题。

通过正确定义状态和状态转移方程，并结合缓存子问题解和递推计算，我们可以高效地求解这类问题，提高算法的效率。

最优控制问题的动态规划法

最优控制问题的动态规划法动态规划法是一种常用的最优控制问题求解方法。

它通过将问题分解为子问题，并保存子问题的最优解，最终得到整体问题的最优解。

本文将介绍最优控制问题的动态规划法及其应用。

一、概述最优控制问题是指在给定控制目标和约束条件下，通过选择一组最优控制策略来实现最优控制目标。

动态规划法通过将问题分解为若干个阶段，并定义状态和决策变量，来描述问题的动态过程。

并且，动态规划法在求解过程中通过存储子问题的最优解，避免了重复计算，提高了计算效率。

二、最优控制问题的数学模型最优控制问题通常可以表示为一个关于状态和控制的动态系统。

假设系统的状态为$x(t)$，控制输入为$u(t)$，动态系统可以表示为：$$\dot{x}(t) = f(x(t), u(t))$$其中，$\dot{x}(t)$表示状态$x(t)$的变化率，$f$为状态方程。

此外，系统还有一个终止时间$T$，以及初始状态$x(0)$。

最优控制问题的目标是找到一个控制策略$u(t)$，使得系统在给定时间$T$内，从初始状态$x(0)$演化到最终状态$x(T)$，同时使得性能指标$J(x,u)$最小化。

性能指标通常表示为一个积分的形式：$$J(x,u) = \int_0^T L(x(t), u(t)) dt + \Phi(x(T))$$其中，$L$表示运动代价函数，$\Phi$表示终端代价函数。

三、最优控制问题的动态规划求解最优控制问题的动态规划求解包括两个主要步骤：状态方程的离散化和动态规划递推。

1. 状态方程的离散化将状态方程离散化可以得到状态转移方程。

一般来说，可以使用数值方法（如欧拉方法、龙格-库塔方法）对状态方程进行离散化。

通过选择适当的时间步长，可以平衡计算精度和计算效率。

2. 动态规划递推动态规划递推是最优控制问题的关键步骤。

假设状态函数$V(t,x)$表示从时刻$t$起，状态为$x$时的最优性能指标。

动态规划递推过程通常可以描述为以下几个步骤：（1）递推起点：确定最终时刻$T$时的值函数$V(T,x)$，通常可以根据终端代价函数$\Phi$直接得到。

最优控制问题的数值方法

最优控制问题的数值方法最优控制问题是应用数学中的一类重要问题，涉及到优化某些目标函数的控制策略。

这类问题在很多领域都有广泛的应用，如经济学、工程学、环境科学等。

为了求解最优控制问题，研究者们开发了多种数值方法，以提供高效准确的策略。

一、动态规划法动态规划法是求解最优控制问题中最常用的方法之一。

其基本思想是将问题划分为若干个阶段，在每个阶段选择最优的控制策略，以达到整体的最优目标。

动态规划法的核心是计算值函数或状态函数，通过递归的方式实现最优解的求解。

在动态规划法中，首先需要建立状态转移方程，描述状态之间的变化关系。

然后通过迭代求解，逐步更新值函数，直到收敛为止。

具体的计算方法可以根据不同的最优控制问题进行调整，以提高计算效率。

二、最优控制问题的间接方法除了动态规划法，最优控制问题还可以通过间接方法求解。

间接方法主要基于变分原理，通过构建哈密顿-雅可比-贝尔曼（HJB）方程来求解问题。

该方法将最优控制问题转化为一个偏微分方程，通过求解该方程得到最优解。

在应用最优控制问题的间接方法时，需要确定合适的控制参数，并在求解偏微分方程时进行迭代计算。

这种方法的优势在于能够处理一些非线性和约束等较为复杂的情况，但同时也带来了计算复杂度较高的问题。

三、最优控制问题的直接方法最优控制问题的直接方法是另一种常用的数值求解方法。

它直接构造控制策略的参数化形式，并通过参数调整来实现目标函数的最小化。

该方法需要事先构造一个合适的优化模型，并选择合适的优化算法进行求解。

在直接方法中，常用的优化算法有梯度下降法、共轭梯度法、牛顿法等。

通过迭代计算，优化参数逐步调整，直到达到最优解。

直接方法不需要建立状态函数或值函数，因此可以简化运算，但需要根据具体问题进行参数化建模和算法选择。

总结：在求解最优控制问题时，可以根据问题的特点选择适合的数值方法。

动态规划法适用于离散的最优控制问题，通过递归计算值函数实现最优策略的求解。

间接方法利用变分原理将问题转化为偏微分方程，并通过迭代计算获得最优解。

现代控制名词解释

现代控制名词解释一最优控制：在可供选择的容许控制集U中，寻找一个控制矢量U(t)使受控系统在时间域[t1,t f]内，从初态X(t0)转移到终态X(t f)或目标集X(t f) ∈2f时，性能指标J取最小（大）值。

这时的控制U(t)称为最优控制U*(t)。

在U*(t)作用下状态方程的解成为最优轨线X*(t)，沿最优轨线X*(t)，使性能指标J所达到的最优值，称为最优指标J*。

二最优控制常用的几种方法：1古典变分法2 极小值原理3 动态规划三静态最优化问题：变量X与时间无关，或在所讨论的时间区间内为常量。

四动态最优化问题：受控对象是一个动态系统，所有变量都是时间的函数。

五泛函的概念：函数的函数，它的宗量不是独立的自变量，而是另一些独立的自变量的函数，则称该因变量是该宗量函数的泛函。

六所谓求最优控制U*(t)，就是寻求使性能泛函J取极值时的控制U(t)。

七强极值：从零阶接近度的曲线中通过比较而得到的极值。

强极大值≥弱极大值弱极小值≤强极小值八设函极值定理：可微泛函J[y(x)]在y0(x)上达到极值，则y= y0(x)上的变分等于零，即j=0。

九动态规划法：动态规划的核心是“最优性原理”。

首先，将一个多步决策问题转化为一系列单步决策问题，然后从最后一步状态开始逆向递推到初始步状态为止的一套求解最优策略的完整方法。

十动态规划的特点：1 与穷举算法相比，可使计算大大减少 2 最优路线的整体决策时从终点开始，采用逆推方法，通过计算，比较各段性能指标逐段决策逐步延伸完成的3 动态规划法体现了多步最优决策的一个重要规律，即所谓的最优性原理。

十一动态规划模型的五个要素：1 阶段：按时间，空间分 2 状态：描述系统的特征3 决策：多个决策组成了一个决策链对应决策链 4 状态转移方程X k+1=f(X k,U k) 5 指标阶段指标L[X(k),U(k)], J*是泛函的最优解。

现代控制理论教学课件

数字仿真实验结果分析阐述如何对数字仿真实验结果进行分析，包括性能指标的计算和评估，以及对实验结果进行解释和讨论。
数字仿真软件介绍常用的数字仿真软件，如 MATLAB/Simulink等，并解释其基本原理和使用方法。
数字仿真实验设计详细说明数字仿真实验的设计方法，包括如何建立系统模型、如何设计控制器、如何设置仿真参数等。
该方法能够全面地反映系统的性能，具有较强的适用性和实用性。同时，该方法可通过实验手段进行验证，可靠性高。
设计过程相对较为复杂，需要一定的专业知识和经验。
适用于高阶系统和多变量系统的控制器设计，广泛应用于工程实践中。
最优控制设计法
定义
最优控制设计法是一种基于最优化理论进行控制器设计的方法。
缺点
现代控制理论阶段
自20世纪60年代开始，状态空间法成为主导，适用于多输入多输出、非线性、时变系统的分析与设计。
现代控制理论的特点
状态空间描述
现代控制理论基于状态空间描述，通过状态变量全面反映系统内部状态，提供更深入的系统分析
。
时域分析法
相比古典控制理论的频域分析法，现代控制理论采用时域分析法，能够直接反映系统的时间响应特性。
05
现代控制理论进阶知识
系统的数学模型，包括微分方程、差分方程和状态方程等
。
A 非线性现象
介绍系统中的非线性现象，如死区、饱和、滞后等，并分析其对系统
性能的影响。
B
C
D
非线性系统设计
探讨非线性控制系统的设计方法，如反馈线性化、滑模变结构控制、反步法等。
稳定性分析
利用状态空间方程的特征值分析系统的稳定性，通过判断特征值的分布来确定系统的稳定性。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

解决这类问题有两种方法： 1.探索法（穷举法）
将至的所有可能的路线方案都列举出来，算出每条路线的路程，进行比较，找出最短路线。直观可知，这种方法是很费时的，如本例共有38条路线可供选择。如果中间站及各站可供选择的通过点都增为10个，则可供选择的路线将急剧增至1010条，显然计算工作量将急剧增加。 2. 分级决策法将整个过程分成若干级，逐级进行决策。具体过程如下：
D1 E1 F D1 E2 F D2 E1 F D2 E2 F D3 E1 F D3 E2 F 4 1 5 22 4 6 1 7 9 2 11 7 1 8 5 2 7
可以发现，如果从D1出发，则走 D1 E2 F 为最短，因此 D1至 E 应选 D1 E2 这段路线，称为决策。同理，如果从D2出发，应决策 D2 E1 ；从 D3出发，应决策 D3 E2。可见作此决策时不能只从本级路程长短出发，应考虑两级路程之和为最短。在整个路线问题中，究竟 D1，D2，D3 哪一点作为起点，则取决于第三级的决策，不过提出的三条可能的最短路线为第三级的决策积累了数据资料。
⑸ 在最后一级开始倒向逐级分析中，我们发现，由于各站的起始点并未确定，因此需要把各中间站的所有通过点作为出发点进行计算，并将所有对应的最佳决策存进计算机，建立起一个完整的“档案库”，因此要求计算机有相当大的容量。 (6)第一级起始条件（地）是确定的，因此只有逐级倒向分析到第一级时，才能作出确定的第一级决策，然后再根据第一级决策顺向确定各级的起始条件（各站的通过点），这时由于“档案库”中存有全部“资料”，因此用“查档”的方法就可逐级确定决策。由此可见，一般情况下，多级决策过程包括两个过程：倒向“建档”及顺向“查档”，而大量的计算工作是花费在建立“档案库”上。
比较可得分别从 C1 , C2 , C3 出发时的三条最短路线，它们为： E E E ；；。 C1 D1 F； C2 D2 F C3 D1 F
2 1 2
用同样方法，依次对 B C 级及 A B 级进行讨论，其结果列于表7-1。最后得到最短路线为
A B2 C1 D1 E2 F
第一节动态规划法的基本概念
一、多级决策过程所谓多级决策过程是指把一个过程分成若干级，而每一级都需作出决策，以便使整个过程达到最佳效果。为了说明这个概念，首先讨论一个最短路线问题的例子。
设有路线图如图7-1所示。现在要从 A 地出发，选择一条最短路线最终到达 F 地，其间要通过 B、C、D、E 等中间站，各站又有若干个可供选择的通过点，各地之间的距离已用数字标注在图中。由此可见，通过这些中间站时，有多个方案可供选择。
上式表明，为使 k 级决策过程达到最小消耗，第一级决策应根据两部分消耗之和最小的原则作出。第一部分 d xk , xk 1,i 是第一级决策的一步消耗，第二部分 wk 1 xk 1,i 为由下一步到达点 xk 1,i 作起点至终点的最小消耗。式(7-1)称为多级决策过程的函数方程，它是最优性原理的数学表达形式。在上述路线问题中， B2 至 F 的四级决策过程的函数方程可表示成：
将 A 至 F 全程分为五级：第一级由 A 至 B B1 , B2 , B3 ；第二级由 B B1, B2 , B3 至 C C1 , C2 , C3 ；第三级由 C C1 , C2 , C3 至 D D1, D2 , D3 ；第四级由 D D1 , D2 , D3 至 E E1 , E2 ；第五级由 E E1 , E2 至 F 。让我们由后向前逐级分析，先从第五级开始，其起点为 E E1 , E2 ，终点为 F 。 E1 , E2 至 F 各只有一条路线，并无选择余地。E1 至 F 路程为1，E2 至 F 路程为2。第四级起点为D D1 , D2 , D3 ，终点为 E E1 , E2 ，其间有六条路线，由 D 至 F 的各种可能路线为:
uki
(9-1)
式中 wk xk ―― k 级决策过程的始点 xk 至终点 xi 的最小消耗；
d xk , xk 1,i
――由k 级决策过程始点 xk 至下一步到达点xk 1,i 的一步消耗；
ቤተ መጻሕፍቲ ባይዱ
uki ―― k 级决策过程始点 xk 处所采取的控制决策，从而使状态转移到下一步 xk 1,i 。
第九章
动态规划法
动态规划法是求解控制变量限制在一定闭集内的最优控制问题的又一种重要方法，它是由美国学者贝尔曼于1957年提出来的。动态规划法把复杂的最优控制问题变成多级决策过程的递推函数关系，它的基础及核心是最优性原理。本章首先介绍动态规划法的基本概念，然后讨论如何用动态规划法求解离散及连续系统的最优控制问题。
(9-6)
这里，因为 x 0 已知，而 x 1 f x 0 ，u 0 ，因此在上述两步转移的总性能指标中，只有u 0及 u 1 未知。现在要求选择 u 0 及 u 1 ，使两步性能指标达极小。这就是二级决策问题。
依次类推，系统状态由 x 0 作起点进行 N 步转移，则 N 步转移的总性能指标为：
w4 B2 min d B2 , Ci w3 Ci
u4 i
(9-2)
式中: B2
Ci u4i
――四级过程的起点； ――由 B2 出发到达下一步 C 站的某个可能通过点，它可能为 C1、C2 或 C3 ；
――由 B2至 C 站的路线选择（本级决策）；
d B2 , Ci ――由 B2 至 Ci 之间的路程； w3 Ci ――从Ci 至 F 终点的最短路程。

(9-8)
由此可见，第一级决策实质上是函数
相应最短路程为： J * 14 。
通过上例的讨论，可以看到多级决策过程具有以下特点：
⑴ 把整个过程看成（或人为地分成）n 级的多级过程。 ⑵ 采取逐级分析的方法，一般由最后一级开始倒向进行。
⑶ 在每一级决策时，不只考虑本级的性能指标的最优，而是同时考虑本级及以后的总性能指标最优，因此它是根据“全局”最优来作出本级决策的。 ⑷ 从数学观点，分级决策法与穷举法进行比较：
可见同样方法来分析第三级，其起点为 C C1 , C2 , C3 ，终点为 D D1, D2 , D3 ，按题意共有八条路线。但是，D1，D2，D3至 F 的最短路线已在第四级讨论中确定，因此 C D F 的路线选择问题，实际上只是选定级 C D 的路线问题（即本级决策问题）。因此， C 至 F 只有八条路线，分别为
二、最优性原理
在前例的分级决策过程中，实际上已应用了这样一个基本原理： c a b 设一个过程由点开始，经点到达点，如图 9-2所示，如果 a b c为最优过程，则 b c 段也必定是一个最优过程。我们把这原理叙述如下：
一个最优决策具有这样的性质，不论初始状态和初始决策怎样，其余的决策对于第一次决策所造成的状态来说，必需构成一个最优决策。称此为最优性原理。它也可简单地叙述为：最优轨迹的第二段，本身亦是最优轨迹。
最优性原理是动态规划法的基础和核心。动态规划法就是对一个多级过程，应用最优性原理，进行分级决策，求出最优控制的一种数学方法。
3、多级决策过程的函数方程
应用动态规划法求解过程的最优决策时，首先要根据最优性原理将多级决策过程表示成如下数学表达式：
wk xk min d xk , xk 1,i wk 1 xk 1,i
C1 D1 F C1 D2 F C2 D1 F C2 D2 F C2 D3 F C3 D1 F C3 D2 F C3 D3 F
E2 E1 E2 E2 E1 E2 E1
E2
1 4 5 5 7 12 8 4 12 4 7 11 6 7 13 44 8 4 7 11 27 9
穷举法：全程五级线路，每一级都可任选，因此全部路程相当于一个“五变量函数”，求全程最短实质上是求这个“五变量函数” 的极小值。
分级决策法：分成五级，从最后一级开始进行分级决策时，每级都是一个“单变量函数”，因此进行每一级决策时，实际上是求一个“单变量函数”的极小值。因此多级决策法把一个求“五变量函数”的极值问题转化成为一个五组求“单变量函数”的极值问题。这组实际解题带来极大好处，使计算工作量在为减少。以前面举的十级中间站并各站具有十个通过点的路线问题为例，用多级决策法只需920次计算，这与1010次相比要少得多。
由表7-1可知
d B2，C1 w3 C1 4 5 9 d B2，C2 w3 C2 3 11 14 d B2，C3 w3 C3 5 8 13
三者进行比较，由此作出第一级决策为u4,1 即应选 B2 C1路线。这时 B2 F 最小路程为 w4 B2 9 。函数方程是一个递推方程，一般说来，难于获得解析解，需要用数字计算机求解。
JN J x 0 ，u 0 J x 1，u 1 J x k ，u k
k 0 N 1
J x N 1，u N 1
(9-7)
现在要求选择 u 0 ，u 1，，u k 1使性能指标 J N 达最小，这就是 N 级决策问题。我们可以应用动态规划法来求解。根据最优性原理，对 N 级最优决策过程来说，不论第一级控制向量 u 0 怎样选定，余下的 N 1级过程，从 u 0 产生的状态 x 1 f x 0 ，u 0 作为起点，必须构成 N 1 级最优过程。
第二节动态规划法解离散系统的最优控制问题
设系统状态方程为
x k 1 f x k ，u k k 0,1, , N 1
(9-3)