第四章 最优控制模型（管理、决策方面应用，因此可说管理决策模型）§1 最优控制的问题提法： §1.1 最优控制问题举例 §1.2 最优控制数学模型一、例，详见最优控制课听课笔记第一节； 二、问题的数学描述――最优控制模型.寻找U )t (*u ∈（开，闭）[]f f 0t ,t ,t 可以固定或自由，使得： [][])t ( u J min )t (*u J Uu∈= (){()()0t ),t ( x g 0 t ),t ( x g ,R )t (x )t (x M x )t (x x )t ( x t ),t ( u ),t (x f dt (t) x d :t .s f f 2f f1f f f f 00≤=∈=∈==其中： n R )t (x ∈ ，且1C )t (x ∈ （一个连续可微）， R U )t (u m ≤∈，[] t ,u (t), x f：向量值函数，且)( f ⋅ 对t ),t ( u ),t ( x 连续，对t ),t ( x 连续可微. []()()()[]。
都可微 t (t), x 对 t (t), u (t), x L ,t ),t ( x,dt t ),t ( u ),t ( x L t ),t ( x )t ( u J f f tt f f fϕ+ϕ=⎰最优控制问题的求解方法：1． 古典变分法：U 开集；2． 极大值原理：U 闭集；现代变分法，把古典变分法看作特例 3． 动态规划：便于数值计算，并有通用算法； 发展了变分法，结果要充分条件.§2 最优控制模型的动态规划解法 §2.1 动态规划方法概述§2.2 生产——库存——销售管理系统的解法§2.1 动态规划方法概述某一类管理问题的数学模型（状态方程）是一个差分方程：()⎩⎨⎧∈==+M )(k x x )0( x k ),k ( u ),k ( x f )1k ( x f 0 使 ()∑-==1N 0i i ),i ( u ),i ( x L J 达到最小. 此为一个N 阶决策问题：动态规划法是求这一决策问题的有效办法，具有明显优点：（ⅰ）将一个N 阶决策问题转化为多次一步决策问题，即数学上的嵌入原理——将求一条极值曲线问题，嵌入到求一族极值曲线的更广泛的类似问题中；（ⅱ）大大简化了计算量；（ⅲ）具有局部优，就是整体优的最优性原理：可广泛应用于运输系统、生产库存管理系统、生产计划制定及最优投资分配问题、最优价格制定问题.下面以最短路问题举例说明这种方法： 一、最短路问题（最小时间问题）1．问题：若有一辆汽车以S 城出发经过若干城市到达F 城，如图：3 ,2 ,1i ,Q ,P i i =，是一些可以通过的城镇.·P 1 6 ·P 2 1 ·P 3 4 4 1 2 4S · ·F 5 6 3 ·Q 1 7 · Q 2 2 ·Q 3图中两点间的数字：可以表示两城镇之间的距离（单位10公里），也可以表示行驶两城镇所用时间（应综合考虑：距离远近，路面好坏，是否拥挤等情况）.于是：汽车从S 到F 可经多种途径选择到达F . 问题是：从多种途径选择方案中，决定一种使S 到F 所走路线最短.或者若图中数字表示时间，则决定一种路径使从S 到F 所用时间最短.2．方法：Ⅰ决策树法（穷举法）：决策树法是最容易想到的一种方法，但运算量很大——即把所有可能选择的路途所用的时间都求出来，然后取最小值，即有最优策略（最优决策）.即： {}3 ,2 ,1i F Q SP min F *Q *SP i i i i == 因此有：1 P 3 4 F 15P 26 1 Q 3 3 F 14P 1 62 P34 F 164 Q 22 Q3 3 F 15S1 P 3 4 F 145 P 24 1 Q 3 3 F 13Q 1 7 2 P 3 4 F 18Q 22 Q3 3 F 17因此，最终得出：{}3 ,2 ,1i F Q SP min F P P SQ i i 321== 困难：这样共有8条线路可选择，每条线路要作3次运算.第1次：22211Q Q /P Q /P S →→→；第2次：3322Q /P Q /P →； 第3次：F Q P 33→或因此，共需24次运算：2438＝⨯次，若阶段更多，则计算量更大. 2．“走一步瞧一步”（瞎子爬山？）法：第一步：从S 到1P 或1Q ：显然 5SQ 4SP 11=<=，因此取决策1SP ；第二步：从1P 到2P 或2Q ：显然 2121Q P 6P P ==，因此取2121Q Q ,P P 均可，但从2P 到3P 或3Q 距离为1，而2Q 到32P P 距离为2，因此，第2步决策为2P ，因此取21P P ；第三步：2P 到3P 或2P 到3Q ，均有1Q P P P 3232==，但3Q 到F 的距离为3，因此第3步取路线32Q P .因此使用这种方法得到的决策为：143164F Q P SP 321=+++= 显然不是“最优决策”，同时还有：14F P P SQ 321=问题出现在“局部优不能代替整体优”的问题. 3．动态规划：即可把每一步决策都看成一个状态的转移，而每一种状态的转移又影响到下一阶段的状态，因此又是动态的，故称为动态规划法.将上述问题分为四个阶段的多阶决策问题，故可将问题分为四阶段问题来考虑：第一阶段问题：11Q /P S →； 第二阶段问题：2211Q /P Q /P →； 第三阶段问题：3322Q /P Q /P →； 第四阶段问题：F Q /P 33→ 解题方法从最后一个阶段开始：1° 分别计算33Q ,P 到F 的最小代价，此处花费代价为时间，记为J ，用[][]33Q J ,P J 分别表示3P 或3Q 到F 的代价，则显然有：[][]3Q *J 4P *J 33==2° 由后往前，考虑倒数第二阶段（即第三阶段），再把第三阶段和第四阶段联合作为一个子问题来考虑，若从2P 出发到F ，则有两种可能：[][]431Q *J 2J F Q P 541P *J 1J F P P 332332=+=+==+=+=∴ 线路F Q P 32最短，且[]4P *J 2=，故将线路F Q P 32记成P 2④Q 3.类似以2Q 出发到F ，则有两种可能：[][]532Q J 2J F Q Q 642P J 2J F P Q 332332=+=+==+=+=∴ 线路F Q Q 32最短，则[]5Q *J J 2==，故将线路F Q Q 32记成2Q ⑤3Q .3° 再由2、3、4这三个阶段构成的子问题：若从1P 出发到F 有两种可能：[][]1156Q *J 6J F Q P 61046P *J 6J F P P 221221=+=+==+=+=∴ 有线路F P P 21最短，且[]10P *J 1=，故将F P P 21记成：1P ⑩2P若从1Q 出发到F 有两种可能：[][]1257Q *J 7J F Q Q 844P *J 4J F P Q 221221=+=+==+=+=∴ 有线路F P Q 21最短，则[]8Q *J 1=，故将F P Q 21记成：1Q ⑧2P4° 把由1、2、3、4阶段作为子问题来考虑：从S 出发到F 有两种可能：[][]1385Q *J 5J F SQ 14104P *J 4J F SP 1111=+=+==+=+=且且故： F SQ 1最短，且[]13S *J = 5° 因此有最优策略：F SQ 1即： []13S *J F Q P SQ F SQ 3211==，除“二决一”比较之外，且运算只用了10次，而穷举法则算了24次，上次这种动态规划的办法：是将把一个四阶段决策问题化为四个互相嵌入子问题，逐一进行简化的计算方法，即数学上嵌入定理. 3．最优性原理“最优策略的一部分也是最优策略”例如：上例中知：F Q P SQ 321是最优决策，则F Q P Q 321也一定是从Q 1出发到F 的最优决策：证明［反证法］：设SQ 1P 2Q 3F 是最优决策，则Q 1P 2Q 3F 不是最优决策，则必存在另一个最优决策，不妨设为Q 1Q 2Q 3F 为最优决策.因而，SQ 1Q 2Q 3F 是整体最优决策，因而与SQ 1P 2.)1N (*u , ),1(*- 是N 阶决策问题的最优策略序列，那么：)1N (*u , ),1(*u - 也是一个最优策略序列，其初始状态为：())0(*u ),0(x f )1(x =证明：同最短路4． 多阶决策问题的一般想法：设某系统的状态方程为：()⎩⎨⎧==+0x )0(x )i (u ),i (x f )1i (x目标函数为：()∑-==1N 0i N i ),i (u ),i (x L J ，NJ表示控制N 步时的目标函数值.最优控制问题，即：求最优决策序列{}{})1N (u , ),0(*u )i (*u -= ，使N J 取最小(大)值.为简化假定为定常状态，即L 不明显还有时间变量i因而有：()⎩⎨⎧==+0x )0( x )i (u ),i (x f )1i ( x()∑-==1N 0i N )i (u ),i ( x L J对目标函数(3)逐次应用(1)式有：()()()()()()()()()()())1N (u ),2N (u ,u(1) ,)0(u ),0(x f f f L ,u(1) ,)0(u ),0(x f L )0(u ),0(x L ,)1N ( u ),1N ( x L )1(u ),1(x L )0(u ),0(x L J N --+++=--+++=因此，可以由上式看出：N J 只依赖于)1N (u , ),1(u ),0(x - 因而可写成：())1N (u , ),1(u ),0(x J J N N -=又若用某种方法求出了最优决策)1N (*u , ),0(*u - ，则N J 的最小值只依赖于初始值)0(x ，记为() )0( x *J N ，它可用下式来定义：()())1N (u , ),1(u ),0( x J min)0(x *J N )1N (u ,),1(u ),0(u N -=-初始值是可变化的，因此：() )0( x *J N 表示初始状态为)0(x 时，控制N 步的目标函数最小值.5．动态规划的基本方程：动态规划的基本方程，给出N 阶决策问题的目标函数最优值与它的子问题)1N (阶决策问题-目标函数最优值之间的递推关系式，它是用动态规划解一切多阶决策问题的基础.设)0(*u 已求出，则求序列{})1N (*u , ),2(*u ),1(*u - 的问题，构成一个以() )0(u ),0( x f )1( x =为初始条件的1N -阶决策问题，若记这一子问题的目标函数最小值为：() )1(x *J 1N -；又若记() )0( x *J N 为N 阶决策问题最小值，则我们可以导出() )0( x *J N 与() )1(x *J 1N -之间的关系：()()() (k)u (k), x L ) )1(u ),0(x ( L min u(k) x(k),L min )0(x *J 1-N 1k 1)-u(N -u(0)1-N 0k )1N (u ,),1(u ),0(u N ⎭⎬⎫⎩⎨⎧+=⎭⎬⎫⎩⎨⎧=∑∑==- 由于则第一项：()())0(u ),0(x L min )0(u ),0(x L min)0(u )1N (u , ),0(u =-第二项： ()⎭⎬⎫⎩⎨⎧∑-=-1N 1k )1N (u , u(1) ),0(u )k ( u ),k ( x L min 并不明显依赖)0(u ，()())2N (u ),2N (x f )1N (x )0(u ),0(x f )1(x --=-=但由状态方程：可知：实际上第二项仍依赖于)1N (u , ),1(u ),0(u - ，因此，第二项可写成：()()(){})1( x J min (k)u (k), x L min min (k)u (k),x L min *1N )0(u 1-N 1k )1N (u ,),1(u )0(u 1-N 0k )1N (u ,),0(u ---=-=⎭⎬⎫⎩⎨⎧=⎭⎬⎫⎩⎨⎧∑∑此给出了())1(x J *1N -与())0(x J*N 之间的递推关系.它是动态规划的基本方程.类似有动态规划更一般的基本方程：(**) 因此依据基本递推方程的递推关系：可以把一个多阶决策问题化为若干个子问题，而在决策的每一个阶段中只须对一个变量进行最优化决策即可.例如：()(){})1N (u ),1N (x L min )1N (x J )1N (u *1--=-- 是对一个单变量)1N (u -的优化问题，当())1N (x J *1-求出后，由基本递推方程(**)式可得：()()(){})1N (x J )2N (u ),2N (x L min )2N (xJ *1)2N (u *2-+--=--这又是对)2N (u -的最优化决策问题，因而把原来N 阶决策问题化成一系列对单变量的最优化决策问题，从而使问题简化.§2.2 生产库存——库存管理决策问题的解设某工厂生产某种产品，四个季度定货量为：生产费用与产品平方成正比，即比例系数为0.005，)( u 005.0)x (C 2元= 库存费每件每季为：1.0元. 第i 季度库存量为：)i (x 件； 第i 季度生产量为：)i (u 件； 第i 季度销售量为：定货量=)i (s 因此有：下季度库存是 ：)i (S )i (u )i (x )1i (x －本季销售量本季生产量本季度库存量是+=+且要求年初、年终都没有存货即销售已空.x （0）＝x （5）＝0最优管理问题：求每季度的最优生产量)4(u ),3(u ),2(u ),1(u ，使之能正好完成订货计划且使生产费与库存费总和最小.即：求 {})i (*u 使[][][]∑=+=≤41i 240)i (x )i (u005.0)i (u J )i (*u J （1）⎪⎩⎪⎨⎧===+=+ (4) 0x(5)(3) 0x(0)(2) ,4 1,2,3is(i)-u(i)x(i)1)x(i t .s解：使用动态规划的办法：1． 先由最后一个季度考虑起：)4(x )4(u 005.0J 21+=由（2） 0 x(5))4)4(s )4(u )4(x )14(x =-+=+及（得 ２００u(4)－(4)－1x(4)0+=得 )4(x 1200)4(*u -=代入（1）[]())4(x 005.0)4(x 117200)4(x )4(x 1200005.0)4(x J 22*4+-=+-= 2． 再考虑3－4两个季度，由基本递推方程知：()()[]{}(){}{})4(x 005.0)4(x 117200)3(x )3(u005.0min )4(x J )3(x )3(u 005.0min )4(x J )3(u ),3(x L min )3(x J 22)3(u *12)3(u *1)3(u *2+-++=++=+=其中 500)3(u )3(x )3(s )3(u )3(x )4(x -+=-+= 代入上式 即有：()()(){}22)3(u *2500)3(u )3(x 005.0500)3(u )3(x 117200)3(x )3(u 005.0min )3(x J -++-+-++=而)3(u 应使上式取最小值，因此有： {}0)3(u /=∂∙∂即：{}0)3(x 01.016)3(u 02.0)3(u =+-=∂∙∂即有： )3(x 5.0800)3(*u -= 为使0)3(*u ≥，必须有1600)3(x ≤，把)3(*u 代入())3(x J *2()()())3(x 0025.0)3(x 77550500)3(*u )3(x 005.0500)3(*u )3(x 117200)3(x )3(*u 005.0)3(x J 22*2+-=-++-+-++=3．再考虑2-3-4，由递推基本方程知：()()(){}{})3(x 0025.0)3(x 77550)2(x )2(u005.0min )3(x J )2(u ),2(x L min )2(x J 22)2(u *2)2(u *3+-++=+=其中 700)2(u )2(x )3(x -+= 代入上式 ())2(x J *3()()(){}22)2(u *3700)2(u )2(x 0025.0700)2(u )2(x 77550)2(x )2(u 005.0min )2(x J --+---++= 令 ()0)2(u /)2(x J *3=∂∂ 得(){}()0700)2(x 005.07)2(u 015.0)2(u )2(u )2(x J *3=-+-=∂∙∂=∂∂得 )2(x 31700)2(*u -= 再代 ())2(x J *3 得 ())2(x 3005.0)2(x 6000,10)2(x J 2*3+-= 4．再考虑1－2―3―4季度，由递推基本方程知：()()(){}⎭⎬⎫⎩⎨⎧+-++=+=)2(x 3005.0)2(x 6000,10)1(x )1(u 005.0min )2(x J )1(u ),1(x L min )1(x J 22)1(u *3)1(u *4 又由于 600)1(u 600)1(u 0)1(s )1(u )1(x )2(x -=-+=-+=并代入上式 ())1(x J *4得：()()()⎭⎬⎫⎩⎨⎧-+--++=22*4600)1(u 3005.0600)1(u 6000,10)1(x )1(u 005.0min )1(x J 令 ()0)1(u )1(x J *4=∂∂ 得()0600)1(u 301.06)1(u 01.0=-+- 得 600)1(*u =得 ()800,11)1(x J *4=（即四个季度总和的生产费用库存费） 于是：由)1(x ),1(*u 代入 )1(s )1(u )1(x )2(x -+=可得 )2(x ，由)2(x 可得 )2(x 31700)2(*u -= 于是由600)1(*u0)1(x == 及方程 )i (s )i (u )i (x )1i (x -+=+ 及 )4(x 1200)4(*u )3(x 5.0800)3(*u )2(x 31700)2(*u -=-=-=可得900)4(*u ,800)3(*u ,700)2(*u ,600)1(*u 0)5(x ,300)4(x ,0)3(x ,0)2(x ,0)1(x =========即有以上最优决策序列：{})i (*u 若不按以上最优决策，按每季销售量生产1200)4(s )4(u 500)3(s )3(u 700)2(s )2(u ,100)1(s )1(u ========则显然总有存为总量0，但总费用： ()∑=+=4124700,12)i (x )i (u005.0J 要多用900元.。
