下载文档原格式
六、最优控制模型：（动态优化模型， DP ――Dynamical programming ）Ⅰ. 最速升降问题（或登月飞船软着陆问题）问题：① 设有一个物体M （例如：直升飞机、升降机、电梯）作垂直升降运动（设物体M 的质量为m ）；② M 内部装有一个控制器，产生一个控制作用力 )t (u （时间的函数），用以控制M 的上下运动，由 于作用力)t (u 大小有限，故满足一个约束不等式： xconst k k )t (u =≤问题：是要寻找一个合适的作用力)t (u 的变化规律，使得S M =最快的速度达到地点，而且：已知elevation 的初始状态在0t t =时，M 离开地面的高度为M ,)t (x 0的垂直运动速度为)t (x0 。
解：物体M 应满足的运动规律（即与时间变量t 有关的动态过程），因此，为描述物体运动的状态，令：)t (x )t (x 1=：为物体M 离开地面的高度（t 时刻）dt)t (dx )t (x 12=：为物体M 在t 时刻的速度 于是物体在t 时的运动状态可描述成为：状态方程： f )t (u m f (t)a a m f g )t (u dt )t (dx )t (x dt )t (dx 221⎪⎪⎩⎪⎪⎨⎧⎪⎭⎫ ⎝⎛==∴⋅=-==为控制函数）（ 同时应满足初始状态：⎩⎨⎧==初始速度 初始高度0x )t (x 0x )t (x 202101路径条件(终值状态)：⎩⎨⎧==终端速度 终端高度0)t (x 0)t (x f2f 1 控制约束： const)(k k )t (u =≤目标函数：寻找一个U )t (u ∈(闭的函数类)，使你所用的总时间0f t t -最短，即使 ()0f t t t t dt )t (u J Jf 0-===⎰取最小值本文由无忧数模网QQ1105758397提供或：寻求一个 U )t (*u ∈，使得：()())t (u J )t (*u J ≤或：寻求一个U )t (*u ∈，使得：()())t (u J min )t (*u J U)t (u ∈≤或者说：在容许控制的函数类U 中，找一个控制函数U )t (*u ∈，使状态⎪⎪⎭⎫ ⎝⎛=)t (x )t (x )t (x 21从初始状态⎪⎪⎭⎫ ⎝⎛=)t (x )t (x )t (x 02010转移到终端状态(目标集：{}0)x (h ,0)x (g ,R )t (x )t (x S i i n =≤∈= ) ⎪⎪⎭⎫ ⎝⎛=)t (x )t (x )t (x f 2f 1f (此问题中⎪⎪⎭⎫ ⎝⎛=00)t (x f)， 而且使所用的时间最短，即：()⎰-===∈ft t 0f Uu )t t min(dt min)u (J min *u J ，如果满足上述条件的U )t (*u ∈是存在的，则说)t (*u 是该系统的最优控制(或极值控制)，而把对应的状态)t (*u 叫做该系统的最优轨线(或极值轨线()t (*u ，)t (*x )叫最优对，*)u (J 叫最优性能指标。
最优控制问题的数值方法比较最优控制问题是应用数学中的一个重要研究领域，其目标是找到一种使系统性能达到最优的控制策略。
在现实生活中，最优控制问题广泛应用于机器人控制、经济管理、工程优化等领域。
为了解决这个问题，研究者们发展了许多数值方法，本文将对其中的几种方法进行比较。
一、动态规划动态规划是最早也是最经典的最优控制方法之一。
它基于状态和控制变量的离散化，将最优控制问题转化为一系列子问题的求解。
动态规划的核心思想是利用最优子结构性质，即全局最优解可以通过局部最优解的组合而得到。
动态规划方法的优点是理论基础牢固，能够得到全局最优解。
然而，动态规划在处理高维状态空间问题时，由于状态空间的指数增长，计算复杂度会急剧增加。
二、最优控制理论最优控制理论是另一种常用的数值方法，主要包括泛函分析、变分法和极大极小值等数学工具。
最优控制理论通过建立最优控制问题的变分原理，推导出极值条件，从而求解最优解。
最优控制理论在处理连续时间、连续状态和控制变量问题时效果较好，但在面对非线性系统和大规模系统时计算复杂度也较高。
三、优化算法优化算法是一类基于搜索策略的最优控制方法。
常见的优化算法包括最速下降法、共轭梯度法和拟牛顿法等。
这些方法通过迭代优化的方式逐步逼近最优解。
优化算法具有灵活性和适用性广的特点，能够处理一般的最优控制问题。
然而，这类方法的局部收敛性和迭代次数都与初始猜测解有关，需要耗费较多的计算资源。
四、数值仿真数值仿真方法是一种常用的最优控制求解技术，特别适用于非线性和高维系统。
数值仿真通过数值积分的方式，将最优控制问题转化为求解微分方程或者差分方程的问题，然后利用数值计算的方法求解。
数值仿真方法的优点是能够直接处理连续状态和控制变量，适用于复杂的系统模型。
然而，数值仿真方法在求解过程中容易受到数值误差的影响，需要对收敛性和精度进行分析。
总结起来，动态规划方法适用于离散状态和控制变量的最优控制问题，最优控制理论适用于连续状态和控制变量的问题，优化算法适用于一般的最优控制问题，而数值仿真方法适用于复杂的非线性和高维系统。
最优控制问题的动态规划法动态规划法是一种常用的最优控制问题求解方法。
它通过将问题分解为子问题，并保存子问题的最优解，最终得到整体问题的最优解。
本文将介绍最优控制问题的动态规划法及其应用。
一、概述最优控制问题是指在给定控制目标和约束条件下，通过选择一组最优控制策略来实现最优控制目标。
动态规划法通过将问题分解为若干个阶段，并定义状态和决策变量，来描述问题的动态过程。
并且，动态规划法在求解过程中通过存储子问题的最优解，避免了重复计算，提高了计算效率。
二、最优控制问题的数学模型最优控制问题通常可以表示为一个关于状态和控制的动态系统。
假设系统的状态为$x(t)$，控制输入为$u(t)$，动态系统可以表示为：$$\dot{x}(t) = f(x(t), u(t))$$其中，$\dot{x}(t)$表示状态$x(t)$的变化率，$f$为状态方程。
此外，系统还有一个终止时间$T$，以及初始状态$x(0)$。
最优控制问题的目标是找到一个控制策略$u(t)$，使得系统在给定时间$T$内，从初始状态$x(0)$演化到最终状态$x(T)$，同时使得性能指标$J(x,u)$最小化。
性能指标通常表示为一个积分的形式：$$J(x,u) = \int_0^T L(x(t), u(t)) dt + \Phi(x(T))$$其中，$L$表示运动代价函数，$\Phi$表示终端代价函数。
三、最优控制问题的动态规划求解最优控制问题的动态规划求解包括两个主要步骤：状态方程的离散化和动态规划递推。
1. 状态方程的离散化将状态方程离散化可以得到状态转移方程。
一般来说，可以使用数值方法（如欧拉方法、龙格-库塔方法）对状态方程进行离散化。
通过选择适当的时间步长，可以平衡计算精度和计算效率。
2. 动态规划递推动态规划递推是最优控制问题的关键步骤。
假设状态函数$V(t,x)$表示从时刻$t$起，状态为$x$时的最优性能指标。
动态规划递推过程通常可以描述为以下几个步骤：（1）递推起点：确定最终时刻$T$时的值函数$V(T,x)$，通常可以根据终端代价函数$\Phi$直接得到。
最优控制公式
最优控制是指在给定系统模型和性能指标的情况下，通过优化算法寻找系统输入的最优策略。
最优控制的数学描述可以使用最优控制公式来表示。
在最优控制中，通常使用动态系统的状态变量来描述系统的演化，并通过控制输入来影响系统的行为。
最优控制公式可以分为两类：动态规划和最优控制问题。
1.动态规划公式：动态规划是一种通过将问题划分为连续的子问题来求解最优控制策略的方法。
基于动态规划的最优控制公式为贝尔曼方程，它描述了最优值函数的递归关系。
贝尔曼方程通常写作：
$$V(x)=\min_u[g(x,u)+\int_{t_0}^{t_1}L(x,u)dt+V'(x )f(x,u)]$$
其中，$V(x)$是最优值函数，$x$是系统状态，$u$是控制输入，$g(x,u)$是即时收益函数，$L(x,u)$是运行损失函数，$f(x,u)$是系统动态的微分方程。
动态规划方法基于最优子结构的原理，通过递归地求解子问题来求得全局最优解。
2.最优控制问题的公式：最优控制问题可以用最小化一个性能指标的函数来描述，通常称为性能指标函数或者代价函数。
$$J(u)=\int_{t_0}^{t_1}L(x,u)dt$$
其中，$J(u)$是性能指标函数，$L(x,u)$是运行损失函数，$x$是系统状态，$u$是控制输入。
最优控制问题的目标是找到合适的控制输入$u$，使得性能指标函数$J(u)$最小化。
求解最优控制问题的方法包括动态规划、最优化方法、解析解等。
综上所述，最优控制公式是通过数学描述来求解最优控制策略的公式。
根据具体问题的不同，可以使用动态规划公式或者最优控制问题的公式来描述最优控制问题。
动态规划在最优控制中的应用在控制工程领域，如何实现系统的最优控制一直是一个关键且具有挑战性的问题。
动态规划作为一种有效的数学工具，为解决这类问题提供了强大的支持。
要理解动态规划在最优控制中的应用，首先得明白什么是最优控制。
简单来说，最优控制就是在满足一定约束条件的情况下，找到一种控制策略，使得某个性能指标达到最优值。
比如说，在一个生产过程中，我们希望在保证质量的前提下，以最小的成本、最短的时间生产出最多的产品，这就需要找到最优的控制策略来调整生产线上的各种参数。
那么动态规划又是如何发挥作用的呢？动态规划的核心思想是将一个复杂的多阶段决策问题分解为一系列相互关联的子问题，并通过逐步求解这些子问题来得到原问题的最优解。
举个简单的例子，假设我们要从 A 地前往 B 地，途中经过多个中间地点。
我们有多种交通方式可以选择，比如步行、骑车、坐公交或者打车。
每种交通方式都有不同的花费和所需时间。
我们的目标是在给定的预算和时间限制内，找到最快到达 B 地的路径。
这就可以看作一个最优控制问题。
使用动态规划来解决这个问题时，我们会从最后的目的地 B 开始倒推。
对于每个中间地点，我们会计算从该地点到 B 地的最优路径和成本。
然后逐步向前推进，直到起点 A。
通过这种方式，我们可以在每一步都做出最优的决策，最终得到从 A 地到 B 地的最优路径。
在实际的工程应用中，动态规划常用于解决诸如资源分配、生产调度、库存管理等问题。
以资源分配为例，假设有一定数量的资源需要分配给多个项目，每个项目对资源的需求不同，产生的效益也不同。
通过动态规划，我们可以确定如何分配资源，以使总效益达到最大。
在动态规划的求解过程中，一个重要的概念是贝尔曼最优性原理。
它指出，一个最优策略具有这样的性质：无论初始状态和初始决策如何，对于第一个决策所产生的新状态，后续的决策必须构成针对新状态的最优策略。
这就像我们前面提到的旅行例子，无论我们在哪个中间地点，后续的决策都应该是基于当前位置到达目的地的最优选择。
最优控制问题的优化算法比较最优控制问题是指为了达到某种目标要求，在给定的系统动力学模型和约束条件下，通过调节控制器的参数使系统的性能指标达到最优的一类问题。
在现实世界中，最优控制在各个领域都有广泛的应用，例如机械工程、电力系统、化工过程等。
为了寻找最优控制策略，需要使用优化算法来求解最优化问题。
本文将对几种常见的最优控制问题的优化算法进行比较，并讨论它们的优缺点。
一、动态规划算法动态规划算法是最优控制中最常用的一种方法。
它通过将原问题分解为多个子问题来求解，然后通过子问题的最优解来构造原问题的最优解。
该算法需要事先构建状态转移方程，并使用递推关系逐步计算最优解。
动态规划算法的优点在于可以得到全局最优解，但其缺点在于计算复杂度较高，对于维度较高或者状态空间过大的问题，算法求解效率较低。
二、强化学习算法强化学习算法是一种基于试错学习的方法，在最优控制问题中也得到了广泛应用。
它通过不断与环境进行交互来学习最优策略。
强化学习算法的优点在于可以处理连续状态和动作空间的问题，并且能够自动适应不确定性和环境变化。
然而，强化学习算法对样本数据要求较高，在初始阶段需要大量的试错过程，且收敛速度较慢。
三、遗传算法遗传算法是一种模拟生物进化过程的优化算法，它通过模拟基因交叉和变异的过程来搜索最优解。
在最优控制问题中，遗传算法可以用于求解参数优化问题。
遗传算法的优点在于可以处理复杂的优化问题，并且具有较好的全局搜索能力。
但是，遗传算法的计算复杂度较高，且结果的质量高度依赖于种群的初始化和选择策略。
四、模拟退火算法模拟退火算法是一种以概率驱动的全局优化算法，它通过模拟固体物质退火过程中的原子运动来搜索最优解。
在最优控制问题中，模拟退火算法可以用于求解连续参数优化问题。
模拟退火算法的优点在于可以避免陷入局部最优解，并且具有较好的全局搜索能力。
但是，模拟退火算法的收敛速度较慢，并且需要注意合适的退火模式和参数设置。
五、蚁群算法蚁群算法是一种模拟蚂蚁觅食行为的优化算法，它通过模拟蚂蚁在环境中的移动和信息素的更新来搜索最优解。
最优控制问题的动态规划算法动态规划（Dynamic Programming）是一种解决多阶段决策问题的优化方法，对于最优控制问题而言，动态规划算法是一种有效的求解方法。
本文将介绍最优控制问题以及如何使用动态规划算法解决该类问题。
一、最优控制问题简介最优控制问题是在给定系统的一些约束条件下，通过对系统进行控制使得某个性能指标达到最优的问题。
该问题可以形式化地表示为数学模型，通常由状态方程、性能指标和约束条件组成。
二、动态规划算法原理动态规划算法采用自底向上的方法，通过建立递推关系，将原问题分解为若干个子问题，并以自底向上的顺序求解子问题的最优解，最终得到原问题的最优解。
三、最优控制问题的动态规划算法步骤1. 确定阶段数和状态变量：将最优控制问题划分为多个阶段，并定义每个阶段的状态变量。
状态变量可以是系统的状态、控制量或其他相关变量。
2. 建立状态转移方程：根据最优控制问题的约束条件和性能指标，建立各个阶段之间的状态转移方程。
状态转移方程表示了系统在不同阶段之间的演化过程。
3. 定义性能指标：根据最优控制问题的要求，定义系统的性能指标。
性能指标可以是系统的能量消耗、最大收益或其他相关指标。
4. 确定边界条件：确定最优控制问题的边界条件，即初始状态和终止状态。
5. 递推求解最优解：采用动态规划算法的核心步骤，即按照递推关系将问题分解为若干个子问题，并求解子问题的最优解。
6. 反推最优解：根据子问题的最优解，反向推导出原问题的最优解。
四、最优控制问题的应用举例以经典的倒立摆问题为例，倒立摆的目标是通过对摆的控制使其保持垂直。
假设倒立摆由质量为m的杆和质量为M的滑块组成。
其动态方程可以表示为：（这里给出具体的动态方程式，包含各个参数和变量）通过建立状态方程和性能指标，我们可以将倒立摆问题转化为最优控制问题。
然后利用动态规划算法求解。
五、总结最优控制问题是一类常见的优化问题，在实际应用中具有广泛的应用价值。
第四章 最优控制模型（管理、决策方面应用，因此可说管理决策模型）§1 最优控制的问题提法：§1.1最优控制问题举例一、例，详见最优控制课听课笔记第一节；§1.2最优控制数学模型最优控制模型问题的数学描述――最优控制模型。
寻找U )t (*u ∈（开，闭）[]f f 0t ,t ,t 可以固定或自由，使得：[][])t ( u J m i n)t (*u J Uu∈= (){()()0),( 0 ),( ,)( )( )( )( ),( ),( dt(t)x d:.2100≤=∈=∈===f f f f f f f f t t x g t t x g R t x t x M x t x x t x t t u t x f t s其中： n R )t (x ∈ ，且1C )t (x ∈ （一阶连续可微）， R U )t (u m ≤∈，[] t ,u (t), x f ：向量值函数，且)( f ⋅ 对t ),t ( u ),t ( x 连续，对t ),t ( x连续可微。
[]()()()[]。
都可微 t (t), x 对 t (t), u (t), x L ,t ),t ( x,dt t ),t ( u ),t ( x L t ),t ( x )t ( u J f f t t f f fϕ+ϕ=⎰上述最优控制的离散模型：求 {})(,)(**i x i u ， 使得目标泛函: ()∑-==1N 0i i ),i ( u ),i ( x L J 达到最小。
而且满足：状态方程: ()⎪⎩⎪⎨⎧∈==+Mx x k k u k x f k x )(k x )0( ),( ),( )1( f 0最优控制问题的求解方法：1． 古典变分法：U 开集；2． 极大值原理：U 闭集；现代变分法，把古典变分法看作特例 3． 动态规划：便于数值计算，并有通用算法； 发展了变分法，结果是充分条件。
§2最优控制模型的动态规划解法§2.1动态规划方法概述§2.2生产——库存——销售管理系统的动态规划解法§2.1动态规划方法概述某一类管理问题的数学模型（状态方程）是一个差分方程：状态方程: ()⎪⎩⎪⎨⎧∈==+Mx x k k u k x f k x )(k x )0( ),( ),( )1( f 0目标泛函: ()∑-==1N 0i i ),i ( u ),i ( x L J 达到最小。
即:此为一个N 阶决策问题：动态规划法是求这一决策问题的有效办法，具有明显优点：（ⅰ）将一个N 阶决策问题转化为多次一步决策问题，即数学上的嵌入原理——将求一条极值曲线问题，嵌入到求一族极值曲线的更广泛的类似问题中；（ⅱ）大大简化了计算量；（ⅲ）具有局部优，就是整体优的最优性原理：可广泛应用于运输系统、生产库存管理系统、生产计划制定及最优投资分配问题、最优价格制定问题。
下面以最短路问题举例说明这种方法 ：一、最短路问题（最小时间问题）1．问题：若有一辆汽车以S 城出发经过若干城市到达F 城，如图：3 ,2 ,1i ,Q ,P i i =，是一些可以通过的城镇。
·P 1 6 ·P 2 1 ·P 34 4 1 2 4S · ·F 5 6 3 ·Q 1 7 · Q 2 2 ·Q 3图中两点间的数字：可以表示两城镇之间的距离（单位10公里），也可以表示行驶两城镇所用时间（应综合考虑：距离远近，路面好坏，是否拥挤等情况）。
于是：汽车从S 到F 可经多种途径选择到达F 。
问题是：从多种途径选择方案中，决定一种使S 到F 所走路线最短。
或者若图中数字表示时间，则决定一种路径使从S 到F 所用时间最短。
2．方法：Ⅰ.决策树法（穷举法）：决策树法是最容易想到的一种方法，但运算量很大——即把所有可能选择的路途所用的时间都求出来，然后取最小值，即有最优策略（最优决策）。
即： {}3 ,2 ,1i F Q SP min F *Q *SP i i i i == 因此有：1 P 3 4 F 15P 26 1 Q 3 3 F 14 P 1 62 P34 F 164 Q 22 Q3 3 F 15S1 P 3 4 F 145 P 24 1 Q 3 3 F 13Q 1 7 2 P 3 4 F 18Q 22 Q3 3 F 17因此，最终得出：{}3 ,2 ,1i F Q SP min F P P SQ i i 321== 困难：这样共有8条线路可选择，每条线路要作3次运算。
第1次：22211Q Q /P Q /P S →→→；第2次：3322Q /P Q /P →； 第3次：F Q P 33→或因此，共需24次运算：2438＝⨯次，若阶段更多，则计算量更大。
II ．“走一步瞧一步”（瞎子爬山？近视眼？）法：第一步：从S 到1P 或1Q ：显然 5SQ 4SP 11=<=，因此取决策1SP ；第二步：从1P 到2P 或2Q ：显然 2121Q P 6P P ==，因此取2121Q Q ,P P 均可，但从2P 到3P 或3Q 距离为1，而2Q 到32P P 距离为2，因此，第2步决策为2P ，因此取21P P ；第三步：2P 到3P 或2P 到3Q ，均有1Q P P P 3232==，但3Q 到F 的距离为3，因此第3步取路线32Q P 。
因此使用这种方法得到的决策为：143164F Q P SP 321=+++= 显然不是“最优决策”，同时还有：14F P P SQ 321= 问题出现在“局部优不能代替整体优”的问题。
III ．动态规划：即可把每一步决策都看成一个状态的转移，而每一种状态的转移又影响到下一阶段的状态，因此又是动态的，故称为动态规划法。
将上述问题分为四个阶段的多阶决策问题，故可将问题分为四阶段问题来考虑： 第一阶段问题：11Q /P S →； 第二阶段问题：2211Q /P Q /P →； 第三阶段问题：3322Q /P Q /P →； 第四阶段问题：F Q /P 33→·P 1 6 ·P 2 1 ·P 34 4 1 2 4S · ·F 5 6 3 ·Q 1 7 · Q 2 2 Q 3第1阶段 第2 阶段 第3 阶段 第4阶段解题方法从最后一个阶段开始：1° 分别计算33Q ,P 到F 的最小代价，此处花费代价为时间，记为J ，用[][]33Q J ,P J 分别表示3P 或3Q 到F 的代价，则显然有：[][]3Q *J 4P *J 33==2° 由后往前，考虑倒数第二阶段（即第三阶段），再把第三阶段和第四阶段联合作为一个子问题来考虑，若从2P 出发到F ，则有两种可能：[][]431Q *J 2J F Q P 541P *J 1J F P P 332332=+=+==+=+=∴ 线路F Q P 32最短，且[]4P *J 2=，故将线路F Q P 32记成P 2④Q 3.类似以2Q 出发到F ，则有两种可能：[][]532Q J 2J F Q Q 642P J 2J F P Q 332332=+=+==+=+=∴ 线路F Q Q 32最短，则[]5Q *J J 2==，故将线路F Q Q 32记成2Q ⑤3Q .3° 再由2、3、4这三个阶段构成的子问题：若从1P 出发到F 有两种可能：[][]1156Q *J 6J F Q P 61046P *J 6J F P P 221221=+=+==+=+=∴ 有线路F P P 21最短，且[]10P *J 1=，故将F P P 21记成：1P ⑩2P若从1Q 出发到F 有两种可能：[][]1257Q *J 7J F Q Q 844P *J 4J F P Q 221221=+=+==+=+=∴ 有线路F P Q 21最短，则[]8Q *J 1=，故将F P Q 21记成：1Q ⑧2P4° 把由1、2、3、4阶段作为子问题来考虑：从S 出发到F 有两种可能：[][]1385Q *J 5J F SQ 14104P *J 4J F SP 1111=+=+==+=+=且且故： F SQ 1最短，且[]13S *J = 5° 因此有最优策略：F SQ 1即： []13S *J F Q P SQ F SQ 3211==，1P ○102P 6 2P ○43Q 1 3P ○4F S ○13 4 6 1 4 F ○05 4 2 31Q ○82P 7 2Q ○53Q 2 3Q ○3F第1阶段 第2 阶段 第3 阶段 第4阶段除“二决一”比较之外，且运算只用了10次，而穷举法则算了24次，上次这种动态规划的办法：是将把一个四阶段决策问题化为四个互相嵌入子问题，逐一进行简化的计算方法，即数学上嵌入定理。
IV. 最优性原理“最优策略的一部分也是最优策略”例如：上例中知：F Q P SQ 321是最优决策，则F Q P Q 321也一定是从Q 1出发到F 的最优决策：证明［反证法］：设SQ 1P 2Q 3F 是最优决策，则Q 1P 2Q 3F 不是最优决策，则必存在另一个最优决策，不妨设为Q 1Q 2Q 3F 为最优决策。
因而，SQ 1Q 2Q 3F 是整体最优决策，因而与SQ 1P 2Q 3F 是最优决策相矛盾，因而原结论正确。
)1N (*u , ),1(*u ),0(*u - 是N 阶决策问题的最优策略序列，那么：)1N (*u , ),1(*u - 也是一个最优策略序列，其初始状态为：())0(*u ),0(x f )1(x =证明：同最短路.4． 多阶段决策问题的一般想法：设某系统的状态方程为：()⎩⎨⎧==+0)0(),(),()1(x x i i u i x f i x目标函数为：()∑-==1N 0i N i ),i (u ),i (x L J ，NJ表示控制N 步时的目标函数值。
最优控制问题，即：求最优决策序列{}{})1N (u , ),0(*u )i (*u -= ，使N J 取最小(大)值。
为简化假定为定常状态，即L 不明显还有时间变量i因而有：()⎩⎨⎧==+(2))0( (1))( ),( )1( 0x x i u i x f i x()(3))( ),( 1∑-==N i N i u i x L J 对目标函数(3)逐次应用(1)式有：()()()()()()()()()()())1N (u ),2N (u ,u(1) ,)0(u ),0(x f f f L ,u(1) ,)0(u ),0(x f L )0(u ),0(x L,)1N ( u ),1N ( x L )1(u ),1(x L )0(u ),0(x L J N --+++=--+++=因此，可以由上式看出：N J 只依赖于：)1N (u , ),1(u ),0(x - 因而可写成：())1N (u , ),1(u ),0(x J J N N -=又若用某种方法求出了最优决策：)1N (*u , ),0(*u - ，则N J 的最小值只依赖于初始值)0(x ，记为() )0( x *J N ，它可用下式来定义：()())1N (u , ),1(u ),0( x J m in)0(x *J N )1N (u ,),1(u ),0(u N -=-初始值是可变化的，因此：() )0( x *J N 表示初始状态为)0(x 时，控制N 步的目标函数最小值。
