当前位置：文档之家 › 动态规划-动态规划-美国数学家贝尔曼-动态规划领域

动态规划-动态规划-美国数学家贝尔曼-动态规划领域

  • 格式：pptx
  • 大小：645.93 KB
  • 文档页数：77

下载文档原格式

  / 77

合集下载

动态规划

动态规划

多阶段决策问题中，各个阶段采取的决策，一般来说是与时间有关的，决策依赖于当前状态，又随即引起状 态的转移，一个决策序列就是在变化的状态中产生出来的，故有“动态”的含义，称这种解决多阶段决策最优化 问题的方法为动态规划方法 。
任何思想方法都有一定的局限性，超出了特定条件，它就失去了作用。同样，动态规划也并不是万能的。适 用动态规划的问题必须满足最优化原理和无后效性 。
动态规划
运筹学的分支
01 原理
03 局限性
目录
02 分类
动态规划（Dynamic Programming，DP）是运筹学的一个分支，是求解决策过程最优化的过程。20世纪50年 代初，美国数学家贝尔曼（R.Bellman）等人在研究多阶段决策过程的优化问题时，提出了著名的最优化原理， 从而创立了动态规划。动态规划的应用极其广泛，包括工程技术、经济、工业生产、军事以及自动化控制等领域， 并在背包问题、生产经营问题、资金管理问题、资源分配问题、最短路径问题和复杂系统可靠性问题等中取得了 显著的效果 。
最优化原理可这样阐述：一个最优化策略具有这样的性质，不论过去状态和决策如何，对前面的决策所形成 的状态而言，余下的诸决策必须构成最优策略。简而言之，一个最优化策略的子策略总是最优的。一个问题满足 最优化原理又称其具有最优子结构性质 。
将各阶段按照一定的次序排列好之后，对于某个给定的阶段状态，它以前各阶段的状态无法直接影响它未来 的决策，而只能通过当前的这个状态。换句话说，每个状态都是过去历史的一个完整总结。这就是无后向性，又 称为无后效性 。
状态：状态表示每个阶段开始面临的自然状况或客观条件，它不以人们的主观意志为转移，也称为不可控因 素。在上面的例子中状态就是某阶段的出发位置，它既是该阶段某路的起点，同时又是前一阶段某支路的终点 。

第6章动态规划

第6章动态规划

第6章 动态规划动态规划（Dynamic Programming ）是解决多阶段决策过程最优化的一种有用的数学方法。

它是由美国学者Richard .Bellman 在1951年提出的，1957年他的专著《动态规划》一书问世，标志着运筹学的一个重要分支－动态规划的诞生.动态规划也是一种将多变量问题转化为单变量问题的一种方法。

在动态规划中，把困难的多阶段决策问题变换成一系列相互联系的比较容易的单阶段问题一个个地求解。

动态规划是考察解决问题的一种途径 ,而不是一种特殊的算法，不像线性规划那样有统一的数学模型和算法（如单纯形法）.事实上，在运用其解决问题的过程中还需要运用其它的优化算法。

因此，动态规划不像其它方法局限于解决某一类问题,它可以解决各类多阶段决策问题。

动态规划在工程技术、经济管理等社会各个领域都有着广泛的应用，并且获得了显著的效果。

在经济管理方面,动态规划可以用来解决最优路径问题、资源分配问题、生产调度问题、库存管理问题、排序问题、设备更新问题以及生产过程最优控制问题等，是经济管理中一种重要的决策技术。

许多规划问题用动态规划的方法来处理,常比线性规划或非线性规划更有效。

特别是对于离散的问题，由于解析数学无法发挥作用，动态规划便成为了一种非常有用的工具。

动态规划可以按照决策过程的演变是否确定分为确定性动态规划和随机性动态规划；也可以按照决策变量的取值是否连续分为连续性动态规划和离散性动态规划。

本教材主要介绍动态规划的基本概念、理论和方法,并通过典型的案例说明这些理论和方法的应用。

6.1动态规划的基本理论6.1.1多阶段决策过程的数学描述有这样一类活动过程,其整个过程可分为若干相互联系的阶段，每一阶段都要作出相应的决策,以使整个过程达到最佳的活动效果。

任何一个阶段(stage ，即决策点)都是由输入(input ）、决策（decision ）、状态转移律（transformation function )和输出(output )构成的，如图6-1（a ）所示.其中输入和输出也称为状态(state ）,输入称为输入状态，输出称为输出状态。

动态规划1(qh)

动态规划1(qh)

4 1 C3
B2
2
2
C2 3
5 B1 4
3 C1 3
D3 5
E2
3
2
D2
4
F
4
2 E1
D1
A
B
C
D
E
F
动态规划的函数方程（DP）
建立DP函数方程是指确定过 程的阶段及阶段数，规定状态变 量和决策变量的取法，给出各阶 段的状态集合，允许决策集合， 状态转移方程和指标函数等。
在上面的计算过程中，利用了第 k阶段与第k+1阶段的关系：
f3(C1)=MIN r(C1,D1)+ f4(D1) r(C1,D2)+ f4(D2)
=MIN（3+6，3+5）=8 最短路线： C1——D2——E2——F 最优解： d3*(C1)= D2
4 A3
4 1 C3
B2
2
2
C2 3
5 B1 4
3 C1 3
D3 5
E2
3
2
D2
4
F
4
2 E1
D1
A
B
C
D
4
F
4
2 E1
D1
A
B
C
D
E
F
d1
r (S 1,d 1 (S 1))+ f2(S 2) f 1(S 1) d 1 (S 1)
S1
B1
B2
A
15
14
14
B2
4 A3
4 1 C3
B2
2
2
C2 3
5 B1 4
3 C1 3
D3 5
E2
3

数学建模动态规划

数学建模动态规划

u5*(E2)F.
4
6
D2 2
F
3
1
D3
3
E2 u4 *(D 1)E1.
f4(D2)5 u4 *(D 2)E2.
f 3 ( C 2 ) m d 3 ( C 2 , D 1 i ) f 4 n ( D 1 ) d 3 ( { C , 2 , D 2 ) f 4 ( D 2 )}
m 4 i7 ,5 n 5 } { 1 . 0
一、基本概念
阶段：是指问题需要做出决策的步数。阶段总数常记为n，相 应的是n个阶段的决策问题。阶段的序号常记为k，称为阶段 变量，k=1,2, …,n. k即可以是顺序编号也可以是逆序编号， 常用顺序编号。 状态：各阶段开始时的客观条件，第k阶段的状态常用状态
变量 s k 表示，状态变量取值的集合成为状态集合，用 S k
4
A
5
2
B1 3
6
8 7
B2
7
C1
5
8
4
C2 5
3
C3 4
8
C4 4
D1
3
5 6
D2 2
1
D3
3
u5*(E1)F,
E1
4
3
E2
u5*(E2)F.
F
f 4 ( D 1 ) m d 4 ( D 1 , E 1 i ) f n 5 ( E 1 ) d 4 ( { D , 1 , E 2 ) f 5 ( E 2 )}
到过程终止时的最佳效益。记为
其中 opt 可根据具体情况取max 或min。 基本方程：此为逐段递推求和的依据，一般为：
式中opt 可根据题意取 max 或 min. 例如，案例1的基本方程为：

第8章 动态规划《管理运筹学》PPT课件

第8章 动态规划《管理运筹学》PPT课件
Vk,n (sk , uk , , sn1) fk [sk , uk ,Vk 1,n (sk 1, uk 1, , 1)] ③函数 fk (sk , uk ,Vk 1,n ) 对于变量 Vk1,n 要严格单调。
8.2 动态规划模型建立
下面以投资问题为例介绍动态规划的建模条件。
【例8-2】 某公司现有资金20万元，若投资于三个
8.1 动态规划基础知识
（5）状态转移方程：状态转移方程是确定过程由一
个状态转移到另一个状态的演变过程。动态规划中某一状
态以及该状态下的决策，与下一状态之间具有一定的函数
关系，称这种函数关系的表达式为状态转移方程。如果第
k段的状态为 sk ，该阶段的决策为
的状态就可以用下式来表示：
uk
sk
，则第k+1段
阶段的指标函数，是该阶段最优的指标函数。
8.2 动态规划模型建立
建立动态规划模型，就是在分析实际问题的基础上建 立该问题的动态规划基本方程。成功地应用动态规划方法 的关键，在于识别问题的多阶段特征，将问题分解成为可 用递推关系式联系起来的若干子问题，或者说正确地建立 具体问题的基本方程，这需要经验与技巧。而正确建立基 本递推关系方程的关键又在于正确选择状态变量，保证各 阶段的状态变量具有递推的状态转移关系。
第8章 动态规划
动态规划(DYnamic Programming，缩写为DP)方法 ，是本世纪50年代初期由美国数学家贝尔曼(Richard E ，Bellman)等人提出，后来逐渐发展起来的数学分支， 它是一种解决多阶段决策过程最优化问题的数学规划法 。动态规划的数学模型和求解方法比较灵活，对于连续 的或离散的，线性的或非线性的，确定性的或随机性的 模型，只要能构成多阶段决策过程，便可用动态规划方 法求其最优解。因而在自然科学、社会科学、工程技术 等许多领域具有广泛的用途，甚至一定程度上比线性规 划（LP）、非线性规划（NLP）有成效，特别是对于某 些离散型问题，解析数学无法适用，动态规划方法就成 为非常有用的求解工具。

动态规划PPT学习教案

动态规划PPT学习教案
第14页/共45页
15
第一节 动态规划的基本 概念和基本方程
6、阶段指标、指标函数和最优指标函数 （1）衡量某阶段决策效益优劣的数量指标，称为
阶段指标，用vk(Sk,dk)表示第k阶段的阶段指标。 在不同的问题中，其含义不同。它可以是距离、 利润、成本等。 在引例中，用dk=vk(Sk,dk)表示在第k阶段由点Sk 到点Sk+1=dk(Sk)距离。如d2(B3,C1)=6。
第12页/共45页
13
第一节 动态规划的基本 概念和基本方程
S1 A，S2 B1, B2, B3 ，S3 C1,C2,C3 ，S4 D1, D2
（2）状态应具有无后效性（即马尔可夫性）。即如果某 阶段状态给定，则在这阶段以后过程的发展不受这阶段 以前各阶段状态的影响。 3、决策与决策变量。在某阶段对可供选择状态的决定（ 或选择），称为决策。描述的变量称为决策变量。常用 dk(Sk)表示第k阶段处于状态Sk时的决策变量，它是状态 变量的函数。决策变量允许取值的范围，称为允许决策集 合，常用Dk(Sk)表示。显然dk（Sk）∈Dk(Sk)。 如在引例的第二阶段中，若从B1出发，D2（B1）={C1, C2, C3}如果决定选取B1 C2，则d2（B1）= C2。
A→B1→C2→D3→E 其长度为12。 显然，这种方法是不经济的，特别是当阶段数很多，各 阶段可供的选择也很多时，这种解法甚至在计算机上完 成也是不现实的。
第6页/共45页
7
第一节 动态规划的基本 概念和基本方程
由于我们考虑的是从全局上解决求A到E的最短路问题，
而不是就某一阶段解决最短路线，因此可考虑从最后一阶段 开始计算，由后向前逐步推至A点：
C
2
min
C2D1 C2 D2

运筹学第六章 动态规划


f
3
(C
2
)
min
((CC22,,DD21
) )
f f
4 4
( (
D1 D2
) )
6 5
11
min
5
2
min
7
7
最优决策C2 D2
15
f3(C1)=8
2
A5
1
B1 12 14
10
6
B2 10
4 13
B3
12 11
C1
3
9
f3(C2)=7
6
C2
5 8
C3
10
f4(D1)=5
D1
5 f5(E)=0
B1 12 14
2 f2(B2)=110 4
6
5
B2 10
4
1
13
B3
12 11
f2(B3)=19
f3(C1)=8
C1
3
9
f3(C2)=7
6
C2
5 8
C3
10
f3(C3)=12
f4(D1)=5
D1
5 f5(E)=0
E
D2 2
f4(D2)=2
状态 最优决策 状态 最优决策 状态 最优决策 状态 最优决策 状态 A （ A，B2） B2 （B2，C1） C1
22
f1(A)=19
A
f2(B1)=21
B1 12 14
2 f2(B2)=110 4
6
5
B2 10
4
1
13
B3
12 11
f2(B3)=19
f3(C1)=8
C1
3
9

动态规划讲解大全(含例题及答案)

基本模型
多阶段决策过程的最优化问题。 在现实生活中，有一类活动的过程，由于它的特殊性，可将过程分成若干个互相联系的阶段，在 它的每一阶段都需要作出决策，从而使整个过程达到最好的活动效果。当然，各个阶段决策的选取不 是任意确定的，它依赖于当前面临的状态，又影响以后的发展，当各个阶段决策确定后，就组成一个 决策序列，因而也就确定了整个过程的一条活动路线，如图所示：（看词条图） 这种把一个问题看作是一个前后关联具有链状结构的多阶段过程就称为多阶段决策过程，这种问 题就称为多阶段决策问题。
在前面的例子中，第一个阶段就是点 A，而第二个阶段就是点 A 到点 B，第三个阶段是点 B 到点 C，而第四个阶段是点 C 到点 D。
状态：状态表示每个阶段开始面临的自然状况或客观条件，它不以人们的主观意志为转移，也称 为不可控因素。在上面的例子中状态就是某阶段的出发位置，它既是该阶段某路的起点，同时又是前 一阶段某支路的终点。
fout.close(); return 0; }
USACO 2.3 Longest Prefix
题目如下： 在生物学中，一些生物的结构是用包含其要素的大写字母序列来表示的。生物学家对于把长的序 列分解成较短的（称之为元素的）序列很感兴趣。 如果一个集合 P 中的元素可以通过串联（允许重复；串联，相当于 Pascal 中的 “+” 运算符） 组成一个序列 S ，那么我们认为序列 S 可以分解为 P 中的元素。并不是所有的元素都必须出现。 举个例子，序列 ABABACABAAB 可以分解为下面集合中的元素： {A, AB, BA, CA, BBC} 序列 S 的前面 K 个字符称作 S 中长度为 K 的前缀。设计一个程序，输入一个元素集合以及一 个大写字母序列，计算这个序列最长的前缀的长度。 PROGRAM NAME: prefix INPUT FORMAT 输入数据的开头包括 1..200 个元素（长度为 1..10 ）组成的集合，用连续的以空格分开的字 符串表示。字母全部是大写，数据可能不止一行。元素集合结束的标志是一个只包含一个 “.” 的行。 集合中的元素没有重复。接着是大写字母序列 S ，长度为 1..200,000 ，用一行或者多行的字符串 来表示，每行不超过 76 个字符。换行符并不是序列 S 的一部分。 SAMPLE INPUT (file prefix.in) A AB BA CA BBC . ABABACABAABC OUTPUT FORMAT 只有一行，输出一个整数，表示 S 能够分解成 P 中元素的最长前缀的长度。 SAMPLE OUTPUT (file prefix.out) 11 示例程序如下： #include <stdio.h>

运筹学第八章_动态规划

15
□状态集合：状态变量 xk 的取值集合称为状态集合，状态集合 实际上是关于状态的约束条件。 □通常用Sk表示状态集合，xkSk。
□第1阶段 S1={A}；
x1
x2
□第2阶段具有3个状
态B1、B2和B3，故
S2={B1, B2, B3}。 □……
x3
x4
x5
16
（3）决策（decision）
x2
B1
C1
C2
C3
□决策集合：第k阶段当状态处于xk时决策变量uk( xk )的取值范 称为决策集合，常用Dk( xk ) 表示。
□例1中，从第2阶段的 状态B1出发，可以选择 下一阶段的C1、C2、 C3。 □即 D2( B1 ) = { C1、 C2、C3 }；
B1
C1
C2
C3
□决策集合实际上是决策的约束条件，uk( xk ) ∈ Dk( xk ) 。
6
□这是一个多阶段决策过程。 □该过程可以分为相互联系的若干阶段，每一阶段都需作出决
策，从而形成全过程的决策。
x1=1000
u1 第1年
x2=0.7u1+ 0.9(x1-u1)
u2 第2年
x3=0.7u2+ 0.9(x2-u2)
u3 第3年
x4=0.7u3+ 0.9(x3-u3)
u4 第4年
x5=0.7u4+ 0.9(x4-u4)
3
提纲
1 动态规划实例 2 动态规划的基本概念 3 动态规划的基本思想与基本原理 4 逆序解法与顺序解法
4
1 动态规划实例
学习目标：
1 明确什么是多阶段的决策问题，特别要注意没有明显 的时段背景的问题如何化归为多阶段的决策问题。

动态规划简述

动态规划在数学与计算机科学领域，动态规划用于解决那些可分解为重复子问题（overlapping subproblems，想想递归求阶乘吧）并具有最优子结构（optimal substructure，想想最短路径算法）（如下所述）的问题，动态规划比通常算法花费更少时间。

上世纪40年代，Richard Bellman最早使用动态规划这一概念表述通过遍历寻找最优决策解问题的求解过程。

1953年，Richard Bellman将动态规划赋予现代意义，该领域被IEEE纳入系统分析和工程中。

为纪念Bellman的贡献，动态规划的核心方程被命名为贝尔曼方程，该方程以递归形式重申了一个优化问题。

在“动态规划”（dynamic programming）一词中，programming与“计算机编程”（computer programming）中的programming并无关联，而是来自“数学规划”（mathematical programming），也称优化。

因此，规划是指对生成活动的优化策略。

举个例子，编制一场展览的日程可称为规划。

在此意义上，规划意味着找到一个可行的活动计划。

概述图1使用最优子结构寻找最短路径：直线表示边，波状线表示两顶点间的最短路径（路径中其他节点未显示）；粗线表示从起点到终点的最短路径。

不难看出，start到goal的最短路径由start的相邻节点到goal的最短路径及start到其相邻节点的成本决定。

最优子结构即可用来寻找整个问题最优解的子问题的最优解。

举例来说，寻找图上某顶点到终点的最短路径，可先计算该顶点所有相邻顶点至终点的最短路径，然后以此来选择最佳整体路径，如图1所示。

一般而言，最优子结构通过如下三个步骤解决问题：a) 将问题分解成较小的子问题；b) 通过递归使用这三个步骤求出子问题的最优解；c) 使用这些最优解构造初始问题的最优解。

子问题的求解是通过不断划分为更小的子问题实现的，直至我们可以在常数时间内求解。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

物品
1 2 … j …n
重量（公斤/件） a1 a2 … aj … an
每件使用价值 c1 c2 … cj … cn
类似问题：工厂里的下料问题、运输中的 货物装载问题、人造卫星内的物品装载问题等。
生产决策问题：企业在生产过程中，由于需求 是随时间变化的，因此企业为了获得全年的最佳 生产效益，就要在整个生产过程中逐月或逐季度 地根据库存和需求决定生产计划。
描述状态的变量称为状态变量，它可用一个数、 一组数或一向量（多维情形）来描述，第k阶段 的状态变量常用sk表示，通常一个阶段有若干个 状态。
第k阶段的状态就是该阶段所有始点的集合， 用Sk表示。在第1阶段状态变量s1是确定的，称初 始状态。如引例中:
S1 A，S2 B1, B2, B3，S3 C1,C2,C3，S4 D1, D2
min
4
9
12
决策点为B3
AB3
f2
B3
3 9*
f1(A)=12说明从A到E的最短距离为12，最短路 线的确定可按计算顺序反推而得。即
A→B3→C2→D2→E 上述最短路线问题的计算过程，也可借助于图
形直观的表示出来：
12 2 A4
3
11
B1
7 4
6
93
B2 2
4
96
B3
2 5
6
C1 3
多阶段决策过程特点：
（1）根据过程的特性可以将过程按空 间、时间等标志分为若干个互相联系又互相 区别的阶段。
（2）在每一个阶段都需要做出决策，从 而使整个过程达到最好的效果。
（3）在处理各阶段决策的选取上，不仅只 依赖于当前面临的状态，而且还要注意对以后 的发展。即是从全局考虑解决局部（阶段）的 问题。
3、决策（decision）
决策：在某一阶段，当状态给定后，往往可以 作出不同的决定，从而确定下一阶段的状态，这种 决定称为决策。
决策变量：描述决策的变量。dk(sk) ：第k阶段 的决策变量（状态变量sk的函数）。
允许决策集合：决策变量的取值范围。常用 Dk(sk)表示。显然dk(sk)∈Dk(sk)。
=Vkn (sk , dk*(sk ),
,
sn
,
d
* n
(sn
),
sn1
)
在引例中，指标函数Vkn 表示在第k阶段由点 sk 至终点E的距离。fk(sk) 表示第k阶段点sk 到终点 E的最短距离。f2(B1)=11表示从第2阶段中的点B1 到点E的最短距离。
7、基本方程（递推关系式）
第三阶段，由Cj到Di分别均有两种选择
f3
C1
min CC11DD21
f4 f4
D1 D2
3 3*
min
4
4
6 决策点为D1
f3C2
min
CC22DD21
f f
4 4
DD12
min
63 3 4*
7
决策点为D2
f3C3
min
CC33DD21
f f
4 4
DD12
min
二、动态规划基本概念
1、阶段（stage）
动态规划把一个问题的过程，恰当地分为若干个 相互联系的阶段，以便于按一定的次序去求解。
描述阶段的变量称为阶段变量,常用k表示。阶段 的划分，一般是根据时间和空间的自然特征来进行 的，但要便于问题转化为多阶段决策。
2、状态（state）
状态表示每个阶段开始时所处的自然状况或客 观条件。
常见的过程指标函数的形式：
①各阶段指标函数的和
Vkn sk , dk (sk ), sk1
n
, sn1 vj s j , d j (s j ) jk vk sk , dk (sk ) Vk1,n sk1, Pkn
②各阶段指标函数的积
Vkn sk , dk (sk ), sk1
6、指标函数和最优指标函数
指标函数分为阶段指标函数和过程指标函 数。阶段指标函数是对某一阶段的状态和决策产 生的效益值的度量，用vk(sk, dk(sk))表示，在不同 的问题中，其含义不同。它可以是距离、利润、 成本等；
在引例中，用vk(sk, dk(sk))表示在第 k 阶段由 点sk 到点sk+1（由决策变量dk(sk)决定） 的距离。如v2(B3, B3C1)=6。
2 A4
3
B1
6
7 4
3 B2 2
4
6
B3
2 5
C1 3 4
C2
6 3
3 C3 3
D1 3 E
4 D2
背包问题：有一个徒步旅行者，其可携带物品 重量的限度为a 公斤，设有n 种物品可供他选择 装入包中。已知每种物品的重量及使用价值（作 用），问此人应如何选择携带的物品（各几件）， 使所起作用（使用价值）最大？
4
7
6
C2 3
63 C3 3
3
D1 3 E
44
D2
图中各点上方框内的数，表示该点到E的最短距 离。图中红色箭头线表示从A到E的最短路线。
启示：
①对一个问题是否用上述方法求解，其关键在于 能否将问题转化为相互联系的决策过程相同的多阶 段决策问题。
②在处理各阶段决策的选取上，不仅只依赖于当 前面临的状态，而且还要注意对以后的发展。即是 从全局考虑解决局部（阶段）的问题。
引例（最短路问题）
2 A4
3
B1
6
7 4
3 B2 2
4
6
B3
2 5
C1 3 4
C2
6 3
3 C3 3
D1 3 E
4 D2
问题：上图是一个线路网络，两点之间连线上的数
字表示两点间的距离（或费用），要将货物从A地运往E地，
中间通过B、C、D三个区域，在区域内有多条路径可走，
现求一条由A到E的线路，使总距离最短。
暑期集训
Dynamic Programming
授课人：马 翠
动态规划
动态规划概述 动态规划基本概念 动态规划基本思想及原理 动态规划模型的建立与求解 应用实例
一、动态规划概述
动态规划（Dynamic Programming）是1951 年由美国数学家贝尔曼（Richard Bellman）提出， 是求解多阶段决策问题的优化方法。
n
, sn1 vj s j , d j (s j ) jk vk sk , dk (sk ) Vk1,n sk1, Pkn
最优指标函数：表示从第k阶段的状态sk开 始采用最优子策略P*kn，到第n阶段终止时所得 到的指标函数值，记为：
fk (sk ) optVkn (sk , dk (sk ), , sn, dn (sn ), sn1), dk (sk ) Dk (sk )
3 3*
3
4
6
决策点为D1
第二阶段，由Bj到Ci分别均有三种选择
f2
B1
min
B1C1 B1C2
B1C3
f3 f3 f3
C1 C2
C3
7 6 min 4 7 *
6 6
11决策点为C2
f2
B2
min
B2C1 B2C2
f3 f3
C1 C2
3 6* min 2 7 *
Bellman在1957年出版的《Dynamic Programming》是动态规划领域的第一本著作。
动态规划针对多阶段决策的过程，把多阶段 决策问题转化为一系列单阶段最优化问题，从而 逐个求解。
多阶段决策过程
多阶段决策过程可以在各个阶段进行决策， 去控制过程发展的多段过程；其发展是通过一系 列的状态转移来实现的；系统在某一阶段的状态 转移不但与系统当前的状态和决策有关，而且还 与系统过去的历史状态和决策有关。动态规划本 质上是多阶段决策过程。
机器负荷分配问题：某种机器可以在高低两 种不同的负荷下进行生产。要求制定一个五年计 划，在每年开始时，决定如何重新分配完好的机 器在两种不同的负荷下生产的数量，使在五年内 产品的总产量达到最高。
航天飞机飞行控制问题：由于航天飞机的运动 环境是不断变化的，因此就要根据航天飞机飞行 在不同环境中的情况，不断地决定航天飞机的飞 行方向和速度（状态），使之能最省燃料和完成 飞行任务（如软着陆）。
过程指标函数是指过程所包含的各阶段的状 态和决策所产生的总效益值，记为
Vkn (sk , Pkn ) Vkn (sk , dk (sk ), sk1, dk1(sk1), , sn , dn (sn ), sn1) k 1, 2, , n
动态规划所要求的过程指标函数应具有可分 离性，即可表达为它所包含的各阶段指标函数的 函数形式。
2
B1
6
7 4
C1 3 4
D1 3
A4 3
3 B2 2
4 6
C2
6 3
3
E
4 D2
B3
2 5
C3 3
③决策过程与阶段发展过程逆向而行。
④各阶段选取的决策，一般与“时序”有关，决
策依赖于当前的状态，又随即引起
动态”含义。因此，这种方法称为动态规划方法。
（4）当各个阶段的决策确定后，就组成了 一个决策序列，因而也就决定了整个过程的一 条活动路线。
多阶段决策问题
多阶段决策问题是把一个问题看作是一个前 后关联具有链状结构的多阶段过程，也称为序 贯决策过程。
决策 状态 1 状态
决策
决策
2
状态 状态
n 状态
多阶段决策问题示意图
多阶段决策问题和我们前面遇到的决策问题不 同，它是和时间有关的。与时间有关的活动过程 称为动态过程，其优化方法称为动态规划。
如在引例的第二阶段中，若从B1出发，D2(B1)= {B1C1, B1C2, B1C3}，如果决定选取B1C2，则d2(B1)= B1C2。