当前位置：文档之家 › 第6章_动态规划

第6章_动态规划

  • 格式：ppt
  • 大小：941.00 KB
  • 文档页数：61

下载文档原格式

  / 61

合集下载

第6章动态规划

第6章动态规划

第6章 动态规划动态规划（Dynamic Programming ）是解决多阶段决策过程最优化的一种有用的数学方法。

它是由美国学者Richard .Bellman 在1951年提出的，1957年他的专著《动态规划》一书问世，标志着运筹学的一个重要分支－动态规划的诞生.动态规划也是一种将多变量问题转化为单变量问题的一种方法。

在动态规划中，把困难的多阶段决策问题变换成一系列相互联系的比较容易的单阶段问题一个个地求解。

动态规划是考察解决问题的一种途径 ,而不是一种特殊的算法，不像线性规划那样有统一的数学模型和算法（如单纯形法）.事实上，在运用其解决问题的过程中还需要运用其它的优化算法。

因此，动态规划不像其它方法局限于解决某一类问题,它可以解决各类多阶段决策问题。

动态规划在工程技术、经济管理等社会各个领域都有着广泛的应用，并且获得了显著的效果。

在经济管理方面,动态规划可以用来解决最优路径问题、资源分配问题、生产调度问题、库存管理问题、排序问题、设备更新问题以及生产过程最优控制问题等，是经济管理中一种重要的决策技术。

许多规划问题用动态规划的方法来处理,常比线性规划或非线性规划更有效。

特别是对于离散的问题，由于解析数学无法发挥作用，动态规划便成为了一种非常有用的工具。

动态规划可以按照决策过程的演变是否确定分为确定性动态规划和随机性动态规划；也可以按照决策变量的取值是否连续分为连续性动态规划和离散性动态规划。

本教材主要介绍动态规划的基本概念、理论和方法,并通过典型的案例说明这些理论和方法的应用。

6.1动态规划的基本理论6.1.1多阶段决策过程的数学描述有这样一类活动过程,其整个过程可分为若干相互联系的阶段，每一阶段都要作出相应的决策,以使整个过程达到最佳的活动效果。

任何一个阶段(stage ，即决策点)都是由输入(input ）、决策（decision ）、状态转移律（transformation function )和输出(output )构成的，如图6-1（a ）所示.其中输入和输出也称为状态(state ）,输入称为输入状态，输出称为输出状态。

运筹学思考练习题答案

运筹学思考练习题答案

运筹学思考练习题答案第⼀章 L.P 及单纯形法练习题答案⼀、判断下列说法是否正确1. 线性规划模型中增加⼀个约束条件，可⾏域的范围⼀般将缩⼩，减少⼀个约束条件，可⾏域的范围⼀般将扩⼤。

(?)2. 线性规划问题的每⼀个基解对应可⾏域的⼀个顶点。

(?)3. 如线性规划问题存在某个最优解，则该最优解⼀定对应可⾏域边界上的⼀个点。

(?)4. 单纯形法计算中，如不按最⼩⽐值原则选取换出变量，则在下⼀个基可⾏解中⾄少有⼀个基变量的值为负。

(?)5. ⼀旦⼀个⼈⼯变量在迭代中变为⾮基变量后，该变量及相应列的数字可以从单纯形表中删除，⽽不影响计算结果。

(?)6. 若1X 、2X 分别是某⼀线性规划问题的最优解，则1212X X X λλ=+也是该线性规划问题的最优解，其中1λ、2λ为正的实数。

(?)7. 线性规划⽤两阶段法求解时，第⼀阶段的⽬标函数通常写为ai iMinZ x =∑(x ai 为⼈⼯变量)，但也可写为i ai iMinZ k x =∑，只要所有k i 均为⼤于零的常数。

(?)8. 对⼀个有n 个变量、m 个约束的标准型的线性规划问题，其可⾏域的顶点恰好为m n C 个。

(?)9. 线性规划问题的可⾏解如为最优解，则该可⾏解⼀定是基可⾏解。

(?)10. 若线性规划问题具有可⾏解，且其可⾏域有界，则该线性规划问题最多具有有限个数的最优解。

(?)⼆、求得L.P 问题121231425j MaxZ 2x 3x x 2x x 84x x 164x x 12x 0;j 1,2,,5=+++=??+=??+=?≥=的解如下： X ⑴=(0,3,2,16,0)T ;X ⑵=(4,3,-2,0,0)T ;X ⑶=(3.5,2,0.5,2,4)T ;X ⑷=(8,0,0,-16,12)T ; =(4.5,2,-0.5,-2,4)T ; X ⑹=(3,2,1,4,4)T ;X ⑺=(4,2,0,0,4)T 。

要求：分别指出其中的基解、可⾏解、基可⾏解、⾮基可⾏解。

第6章-动态规划

第6章-动态规划
f*n(Sn)为从第n个阶段到终点的最短距离， f*n+1(Sn+1)为从第n+1个阶段到终点的最短距离， dn(Sn,Xn)为第n个阶段的距离，f*5(S5)为递推 的起点，通常为已知的。
求解过程
由最后一个阶段的优化开始，按逆向顺序逐步 向前一阶段扩展，并将后一阶段的优化结果带 到扩展后的阶段中去，以此逐步向前推进，直 至得到全过程的优化结果。
f1
(
A)
min
dd11
( (
A, A,
B1) B2 )
ff22((BB12))
min
4 9
9 11
13
d1( A, B3) f2 (B3)
5 13
其最短路线是A→ B1→C2 →D2 →E ，相应的决 策变量是u1(A)=B1
因此，最优策略序列是：
u1(A) =B1, u2(B1)=C2, u3(C2)=D2, u4(D2)=E
5 8 C2 4 6 4
4 C3 2
C3
D1 4 2 6
D2 9 7
D3 5
D4
E1 1 F
E2 2
E5
F
动态规划的逆序解法与顺序解法
逆序（递推）解法：即由最后一段到第一段逐步 求出各点到终点的最短路线,最后求出A点到E点 的最短路线。运用逆序递推方法的好处是可以始 终盯住目标,不致脱离最终目标。 顺序解法：其寻优方向与过程的行进方向相同， 求解时是从第一段开始计算逐段向后推进，计算 后一阶段时要用到前一段求优的结果，最后一段 的计算结果就是全过程的最优结果。
B1
A
4+9=13
d(u1)+f2
B2
B3
f1(s1) u1*

运筹学知识点总结

运筹学知识点总结

运筹学：应用分析、试验、量化的方法，对经济管理系统中人力、物力、财力等资源进行统筹安排，为决策者提供有依据的最优方案，以实现最有效的管理。

第一章、线性规划的图解法1.基本概念线性规划：是一种解决在线性约束条件下追求最大或最小的线性目标函数的方法。

线性规划的三要素：变量或决策变量、目标函数、约束条件。

目标函数：是变量的线性函数。

约束条件：变量的线性等式或不等式。

可行解：满足所有约束条件的解称为该线性规划的可行解。

可行域：可行解的集合称为可行域。

最优解：使得目标函数值最大的可行解称为该线性规划的最优解。

唯一最优解、无穷最优解、无界解（可行域无界）或无可行解（可行域为空域）。

凸集：要求集合中任意两点的连线段落在这个集合中。

等值线：目标函数z，对于z的某一取值所得的直线上的每一点都具有相同的目标函数值，故称之为等值线。

松弛变量：对于“≤”约束条件，可增加一些代表没使用的资源或能力的变量，称之为松弛变量。

剩余变量：对于“≥”约束条件，可增加一些代表最低限约束的超过量的变量，称之为剩余变量。

2.线性规划的标准形式约束条件为等式（=）约束条件的常数项非负（b j≥0）决策变量非负（x j≥0）3.灵敏度分析：是在建立数学模型和求得最优解之后，研究线性规划的一些系数的变化对最优解产生什么影响。

4.目标函数中的系数c i的灵敏度分析目标函数的斜率在形成最优解顶点的两条直线的斜率之间变化时，最优解不变。

5.约束条件中常数项b i的灵敏度分析对偶价格：约束条件常数项中增加一个单位而使最优目标函数值得到改进的数量。

当某约束条件中的松弛变量（或剩余变量）不为零时，这个约束条件的对偶价格为零。

第二章、线性规划问题在工商管理中的应用1.人力资源分配问题（P41）设x i为第i班次开始上班的人数。

2.生产计划问题（P44）3.套材下料问题（P48）下料方案表（P48）设x i为按各下料方式下料的原材料数量。

4.配料问题（P49）设x ij为第i种产品需要第j种原料的量。

现代控制理论基础 第6章 线性系统的最优控制

现代控制理论基础 第6章 线性系统的最优控制
，
7
方法的比较
总的来说，当控制量无约束时，‘采用“变分法” ；当控制量有 约束时，采用“极小值原理” 或“动态规划”；如果系统是线性的， 采用“线性二次型”方法最好，因为，一方面，二次型指标反映了大 量实际的工程性能指标的要求；另方面，理论上的分析及求解较简单、 方便、规范，而且还有标准的计算机程序可供使用；得到的控制器易 于通过状态反馈实现闭环最优控制，工程实现方便。在实际的工程控 制中，目前线性二次型最优控制己得到了广泛的成功应用。
J 值为极值 J （最大值或最小值），这种泛函求极值的方法，实际上 就是数学上的“变分”问题，须采用数学中的“变分法” 。
5
采用直接变分法求解最优控制率，难于甚至“无法解决容许控 制属于闭集”的最优控制问题，所以受到实际工程应用上的限制， 例如，每台电动机都有最大功率的限制；船舶或飞机的操纵舵面 也有最大偏转角的限制。况且采用直接变分法设计出的系统，其 抗参数变化的能力，即系统的鲁棒性也不强。因此，工程应用上 有较小的实用价值。
线性系统二次型的最化控制，因为其性能指标具有明确的物理 意义，在大量的工程实际中具有代表性，而且最优控制率的求解 较简单，并具有统一的解析表达式，构成的最优控制系统具有简 单的线性状态反馈的型式，易于工程实现，所以在国内外实际的 工程中目前己得到广泛应用。本章主要介绍其基本概念、基本原 理和设计方法。
下面只介绍线性二次型最优控制的基本概念、求解原理及设 计中的一些主要结论。
8
第三节 线性二次型最优控制
一、控制对象数学模型
线性系统的状态空间表达式
x(t) A(t)x(t) B(t)u(t)
y(t) C(t)x(t)
式中，
n x(t) 为 维状态向量；
（6-4）

中石油华东《运筹学》2014年秋学期在线作业(三)答案

中石油华东《运筹学》2014年秋学期在线作业(三)答案

《运筹学》2014年秋学期在线作业（三）
一,单选题
1. （第6章)关于动态规划的如下说法中错误的是()；
A. 状态转移方程表明了各阶段之间状态的联系
B. 过程指标函数必须由阶段指标函数相加得到
C. 动态规划基本方程必须有边界条件
D. 动态规划中决策变量可以为连续变量也可以为离散变量
?
正确答案：B
2. (第5章)下列关于整数规划问题的说法，正确的是()；
A. 整数规划问题解的目标函数值优于其对应的线性规划问题的解的目标函数值
B. 部分变量都取整数的问题称之为纯整数规划问题
C. 全部变量都取整数的问题称之为纯整数规划问题
D. 分配问题不是整数规划问题
?
正确答案：C
3. 题目和选项如下图所示：
A.
B.
C.
D.
?
正确答案：B
4. (第5章)在用匈牙利法求解指派问题时，当独立零元素个数小于任务数（人数）时：下列说法正确的是()；
A. 用最少的直线划去所有的非独立的零元素
B. 剩余的元素非零元素都减去本行的最小元素
C. 为保证所有元素大于零，应在横线和竖线交汇格元素加上最小元素
D. 用最少的直线划去所有的独立零元素
?
正确答案：C
5. (第6章)用逆序法求解资源分配问题时，为保证独立性，状态变量取值一般为()；
A. 各阶段分配的资源数
B. 当前阶段开始时前部过程已分配的资源数
C. 当前阶段开始时剩余给后部过程的资源数
D. 资源的总数量
?。

第6章 动态规划

第6章动态规划判断06100011判断：在动态规划模型中，问题的阶段数等于问题中的子问题的数目；06100021判断：动态规划中，定义状态时应保证在各个阶段中所作决策的相互独立性；06100031判断：）动态规划的最优性原理保证了从某一状态开始的未来决策独立于先前已做出的决策；06100041判断：对一个动态规划问题，应用顺推或逆推解法可能会得出不同的最优解；06100051判断：动态规划计算中的“维数障碍”主要是由于问题中阶段数的急剧增加而引起的；06100061判断：）假如一个线性规划问题含有5个变量和3个约束，则用动态规划方法求解时将划分为3个阶段，每个阶段的状态将由一个5维的向量组成；06100071判断：任何一个多阶段决策过程的最优化问题，都可以用非线性规划模型来描述。

06100081判断：动态规划问题如果按状态转移率区分,可分成确定性的与随机性的.简答06200011简答：一个N阶段的决策过程具有哪特征？06200021简答：试述动态规划的优点。

06200031简答：试述最优化原理的内容06200041简答：试述动态规划数学模型的四种类型.计算题最短路问题06301012设某厂自国外进口一步精密机器，由机器制造厂至出口港口可供选择，而进口港又有三个可供选择，进口后可经由两个城市到达目的地，期间的运输成本如下图所示，试求运费最低的路线。

06301022、某工厂从国外引进一台设备，由A到G港口有多条通路可供选择，其路线及费用如下图所示。

现要确定一条从A到G的使总费用最小的路线。

请将该问题描述成一个动态规划问题，然后求其最优解。

资源分配06302012有一部货车每天沿着公路给四个零售店卸下6箱货物，如果各零售店出售该货物06302022设有某种肥料共6个单位重量，准备供给四块粮田用，其每块粮田施肥数量与增06302033某公司打算向承包的三个营业区增设六个销售店，每个营业地区至少增设一个，从各区赚取的利润与增设的销售店个数有关，其数据如下表所示。

高等教育《最优控制理论》课件 第一章


& xL xL & x M xM
x = xL − xM
则拦截器与目标的相对运动方程为：
& & v = xL − xM
F (t ) m(t ) F (t ) & m=− c & x=v
& v = a (t ) +
其中a(t)是除控制加速度外的固有相对加速度，是已知的。 初始条件为： x (t 0 ) = x 0
1-2 最优控制问题的实例
例1．1月球上的软着陆问题 飞船靠其发动机产生一与月球重力方向相反的推力 u(t)，以使飞船在月球表面实现软着陆，要寻求发动 机推力的最优控制规律，以便使燃料的消耗为最少。 设飞船质量为m(t)，高度为h(t)，垂直速度为v(t)，发 动机推力为u(t)，月球表面的重力加速度为常数g。设 不带燃料的飞船质量为M， 初始燃料的总质量为 F．初始高度为h0，初始的垂直速度为v0，那么飞船的 运动方程式可以表示为：
5：最优控制的提法 已知受控系统的状态方程及给定的初态
& X (t ) = f ( X (t ), u (t ), t )
X (t 0 ) = X (0)
规定的目标集为M，求一容许控制u(t)∈U,t∈ [t0,tf],使系统从给定的初态出发， 在tf >t0时刻转移到目标集M，并使性能指标
J = θ（x (t f ), t f ） ∫ F（x(t ), u (t ), t ) dt +
3：容许控制 在实际控制问题中，大多数控制量受客观条件的限制，只能在一定范围内取 值，这种限制通常可以用如下不等式约束来表示：
0 ≤ u (t ) ≤ u max
或 ui ≤ α
i = 1,2L p

运筹学课程教学大纲

教学基本文件模板课程教学大纲：《运筹学》课程教学大纲课程编号：课程名称：运筹学/Operational Research课程总学时/学分：72/4 （其中理论60学时，实验12学时）适用专业：适用本科四年制信息管理与信息系统专业一、课程简介本课程的授课对象是信息管理与信息系统专业本科生，属管理类专业专业基础必修课。

《运筹学》是以定量分析为主来研究经济管理问题，将工程思想和管理思想相结合，应用系统的、科学的、数学分析的方法，通过建模、检验和求解数学模型获得最优决策方案。

本课程的主要内容包括线性规划、运输问题、整数规划、目标规划、动态规划、网络分析等与经济、管理和工程领域密切相关的运筹学分支的基本模型、方法和应用。

运用科学的模型化方法来描述、求解和分析问题，从而支持决策。

二、教学目的和任务本课程旨在使同学们正确、全面地掌握各级管理工作中已被广泛应用、发展比较成熟的最优化理论与方法，并能运用所学理论和方法解决管理工作中出现的各种优化问题，为后续课程奠定定量分析基础。

在已学过高等数学、微积分、线性代数等课程基础上学习本课程，通过教授、自学、复习、作业练习、辅导、上机等教学环节达到上述目的。

学习中要注意到学科系统性，数学概念和逻辑的严密性、准确性和完整性，但不偏重纯数学方法论证。

注重基本概念、基本思路、基本方法、算法步骤的掌握，了解各种方法特点和实用价值，提高建立模型、分析求解能力和技巧。

应注重实际应用中建立模型，选择可行求解的理论方法，运用计算机工具求解这三方面训练的有机结合。

三、教学基本要求信息管理与信息系统专业的学生应系统地学习《运筹学》的全部内容。

系统掌握线性规划、运输问题、目标规划、整数规划、动态规划、图与网络分析的理论和方法；能借助Excel、Lingo等电子计算手段，运用所学理论和方法解决实际问题。

通过该课程的学习，进一步培养学生的分析问题和解决问题的能力。

四、教学内容与学时分配绪论（2学时）第一节运筹学的定义与发展简史1、运筹学名称的来历；2、运筹学的发展简史。

运筹学第六章 动态规划


f
3
(C
2
)
min
((CC22,,DD21
) )
f f
4 4
( (
D1 D2
) )
6 5
11
min
5
2
min
7
7
最优决策C2 D2
15
f3(C1)=8
2
A5
1
B1 12 14
10
6
B2 10
4 13
B3
12 11
C1
3
9
f3(C2)=7
6
C2
5 8
C3
10
f4(D1)=5
D1
5 f5(E)=0
B1 12 14
2 f2(B2)=110 4
6
5
B2 10
4
1
13
B3
12 11
f2(B3)=19
f3(C1)=8
C1
3
9
f3(C2)=7
6
C2
5 8
C3
10
f3(C3)=12
f4(D1)=5
D1
5 f5(E)=0
E
D2 2
f4(D2)=2
状态 最优决策 状态 最优决策 状态 最优决策 状态 最优决策 状态 A （ A，B2） B2 （B2，C1） C1
22
f1(A)=19
A
f2(B1)=21
B1 12 14
2 f2(B2)=110 4
6
5
B2 10
4
1
13
B3
12 11
f2(B3)=19
f3(C1)=8
C1
3
9
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

h h(u2 )
这时，机器的年完好率为b，0<b<1 。 假定开始生产时完好的机器数量为s， 要求制定一个五年计划，在每年开始时，决 定如何重新分配完好的机器在两种不同的负 荷下生产的数量，使在五年内产品的总产量 达到最高？
§2 动态规划的基本概念
一、阶段和阶段变量 在多阶段决策过程中，为了表示决策 和过程的发展而引入阶段的概念，一个阶 段就是需要作出决策的子问题。通常阶段 是按照决策进行的时间或空间上的先后顺 序划分的，用阶段变量k表示。
多阶段决策过程及实例
在生产和科学实验中，有一类活动的过程，由 于它的特殊性，可将过程分为若干相互联系的阶段。 在它的每一个阶段都需要作出决策，从而使整个过 程达到最好的活动效果，因此，各个阶段决策的选 取不是任意确定的，它依赖于当前面临的状态，又 影响以后的发展，当各个阶段决策确定后，就组成 了一个决策系列，因而也就确定了整个过程的一条 活动路线，这种把一个问题可看作是一个前后关联 具有链状结构的多阶段过程（如图1所示）就称为 多阶段决策过程，也称序贯决策过程，这种问题就 称为多阶段决策问题。
4 3 2 7 max 4 x 2 6 s 2 18( s 2 x 2 ) max ( 20 s 2 x 2 ) 0 x 2 s2 5 10 5 5 0 x 2 s2
因f2是x2线性单调下降函数，故得最优解 x2*=0，相应的有f2(s2)=20.4s2
二、状态和状态变量 状态表示某一阶段初所处的位置或状况，通常 一个阶段包含若干个状态，描述状态的变量称为状 态变量。常用sk表示第k阶段的某一状态。所有状态 变量组成的集合，称为状态变量集合。常用Sk表示 第k阶段的状态变量集合。 三、决策和决策变量 决策就是某阶段状态给定以后，从该状态演变 到下一阶段某状态的选择。描述决策的变量，称为 决策变量。常用xk（sk）表示第k阶段当状态处于sk 时的决策变量，在实际问题中，决策变量的取值往 往限制在某一范围内，此范围称为允许决策集合， 通常用Dk（sK）表示第k阶段的允许决策集合，显然 有：
4．建立状态转移方程。 写出状态转移方法： s k 1 Tk ( s k , x k ( s k )) 的具体形式 5．确定指标函数 6．建立动态规划基本方程
四、最短路问题的标号法 具体步骤： 1．给终点标号0。 2．再标离终点最近的一段，将距离数字分别写在该点 上方的方格内。 3．在标下一段时，正要标号的某点到该段已标号的各 点的各段长，分别加上已标号点的数字而取其中最小 者，就是某点到终点的最短距离，将距离数字填入某 点上方方格内，并且直线连接起来表示某点到终点的 最短路线。 4．继续按逆推过程一直计算到起点（初始点），该点 标的数即为起点到终点的最短距离。 此解法称为逆序解法，也可用顺序解法，即从起点逐步 计算到终点。
决策
决策
决策
状态
1
状态
2
状态
状态
n
状态
图1
链状结构的多阶段过程
多阶段决策问题很多，现举例如下： 例1：最短路问题 如图2，给定一个线路网络，两点之间连线上 的数字表示两点间的距离（或费用），试求一条 由A到G的铺管线路，使总距离为最短（或总费用 最小）。
1
5
A 3
B1 3 6 8 7 B2
C1 6 8 3 C2 5
2 D1 2 1 D2 3 D3 2 E2 6 E3 E1 5 2 6 F2 3 3
5
F1 4 G
3
C3
3
4
6 C4
8
3
图2
例2：机器负荷分配问题 某种机器可以在高低两种不同的负荷下进行 生产。在高负荷下进行生产时，产品的年 产量g和投入生产的机器数量u1的关系为
g g(u1 )
这时，机器的年完好率为a，即如果年初完好 机器的数量为u，到年终时完好的机器就为au， 0<a<1。在低负荷下进行生产时，产品的年 产量和投入生产的机器数量u2的关系为
2．在多阶段决策过程中，动态规划方法是既把前 一段和未来各段分开，又把当前效益和未来效益 结合起来考虑的一种最优化方法。因此，每段决 策的选取是从全局来考虑的，与该段的最优选择 答案一般是不同的。 3．在求整个问题的最优策略时，由于初始状态是 已知的，而每段的决策都是该段状态的函数，故 最优策略所经过的各段状态便可逐次变换得到， 从而确定了最优路线。 二、动态规划的基本方程 动态规划函数基本方程的一般形式为：
x2 阶 段 s2 0 1 2 3 4 5 0 0+0 0+4 0+6 0+11 0+12 0+12
P2(x2)+f3(s2-x2) 1 2 3 4 5 f2(s2) X2* 0 5 10 14 16 21 0 1 2 2 1，2 2
5+0 5+4 10+0 5+6 10+4 11+0 5+11 10+6 11+4 5+12 10+11 11+6
s k 1 Tk ( s k , x k ( s k ))
§3 动态规划的基本方法
一、动态规划方法的基本原理 动态规划方法的基本思想： 1．动态规划方法的关键在于正确地写出基本的递推关 系式和恰当的边界条件（简言之为基本方程），要 做到这一点，必须先将问题的过程分成几个相互联 系的阶段，恰当的选取状态变量和决策变量及定义 最优值函数，从而把一个大问题化成一族同类型的 子问题，然后逐个求解，即从边界条件开始，逐段 递推寻优，在每一个子问题的求解中，均利用了它 前面的子问题的最优化结果，依次进行，最后一个 子问题所得的最优解，就是整个问题的最优解。
解：第一步，划分阶段。每一年为一个阶段，5 年分为5个阶段，k=1，2，3，4，5。
第二步，确定状态变量：状态变量sk为第k年年 初拥有的完好设备数，且
s1 125
0 s k 125 k 2,3,4,5
第三步，确定决策变量。决策变量xk为第k阶段安排 在高负荷下工作的设备数，且
0 xk sk
K=5时
f 5 ( s 5 ) max (4 x 5 6 s 5 )
0 x 5 s5
因f5是线性单调增函数，故得最优解x5*=s5，相 应的有f5(s5)=10s5
K=4时
f 4 ( s 4 ) max [4 x 4 6 s 4 f 5 ( s5 )] max (4 x 4 6 s4 10s 5 )
f k ( sk ) opt vk ( sk , xk ( sk )) f k 1 ( sk 1 ) xk Dk ( sk ) f n1 ( sn1 ) 0
其中“opt”是最优化的意思，视具体的问题可能是 求“max”，也可能是求“min”。 动态规划最优化原理：“作为整个过程的最优策略 具有这样的性质：即无论过去的状态和决策如何， 对前面的决策所形成的状态而言，余下的诸决策必 须构成最优策略。” 动态规划最优化原理：“作为整个过程的最优策 略具有这样的性质：即无论过去的状态和决策如何， 对前面的决策所形成的状态而言，余下的诸决策必须 构成最优策略。” 三、动态规划的解题步骤 1．划分阶段； 2．确定状态变量及其取值范围； 3．确定决策变量及其取值范围；
第二章 动态规划的应用
§1 资源分配问题
资源分配问题，是指将供应量有限的一种或若干种资源 （如原材料、资金、机器设备、劳力、食品等），恰 当地分配给若干个使用者，而使目标函数最优。 设有某种原料，总量为M，拟用来进行n种生产活 动。若分配数量为Xi的原料用于第i种生产活动，其 收益为gi（xi），问应如何分配，才能使n种生产活 动的总收益最大？
11+0 11+4 11+0
x1 阶 段 s1
P1(x1)+f2(5-x1)
0
1
2
3
4
5f1(Βιβλιοθήκη 1)x1 *50+11 3+16 7+14 9+10 12+5 13+0
21
0，2
§2 机器负荷分配问题

例1：某港口有某种装卸设备125台，据估 计，这种设备5年后将被其他新设备所代替， 此设备如在高负荷下工作，年损坏率为1/2， 年利润为10万元；如在低负荷下工作，年 损坏率为1/5，年利润为6万元。问应如何安 排这些装卸设备的生产负荷，才能使5年内 获得最大的利润？
K=1时
2 f 1 ( s1 ) max [4 x1 6 s1 f 2 ( s 2 )] max (4 x1 6 s1 20 s 2 ) 0 x1 s1 0 x1 s1 5 2 4 3 558 106 max 4 x1 6 s1 20 ( s1 x1 ) max ( s1 x1 ) 0 x1 s1 5 5 10 50 0 x1 s1 25
则第k阶段安排在低负荷下工作的设备数为：
sk xk
第四步，状态转移方程。由于在两种负荷下工作的设 备损坏率分别为1/2和1/5，则第k+1年年初拥有的 完好设备数为：
s k 1
1 1 4 3 (1 ) x k (1 )( s k x k ) s k xk 2 5 5 10
K=3时
f 3 ( s 3 ) max [4 x 3 6 s 3 f 4 ( s 4 )] max (4 x 3 6 s 3 15s 4 )
0 x 3 s 3 0 x 3 s 3
4 3 1 max 4 x 3 6 s 3 15( s 3 x 3 ) max (18s 3 x 3 ) 0 x 3 s3 5 10 2 0 x 3 s3
第三部分 动态规划
第一章 动态规划的基本方法 §1 动态规划的研究对象 特征：包含有随时同变化的因素和变量， 整个过程可以分为若干个相互联系的阶段， 而且每个阶段都要做出决策。