动态规划一·动态规划法的发展及其研究内容动态规划是运筹学的一个分支，是求解决策过程最优化的数学方法。
20世纪50年代初美国数学家R.E.BELLMAN等人在研究多阶段决策过程的优化问题时，提出了著名的最优化原理，把多阶段问题转化为一系列的单阶段问题，逐个求解创立了解决这类过程优化问题的新方法——动态规划。
1957年出版的他的名著《Dynamic Proggramming》，这是该领域的第一本著作。
动态规划问世以来，在经济管理·生产调度·工程技术和最优控制等方面得到了广泛的应用。
例如最短路线·库存管理·资源分配·设备更新·组合·排序·装载等问题，采用动态规划法求解比用其他方法更为简便。
二·动态规划法基本概念一个多阶段决策过程最优化问题的动态规划模型通常包括以下几个要素：1．阶段阶段（stage）是对整个过程的自然划分。
通常根据时间顺序或是空间特征来划分阶段，对于与时间，空间无关的“静态”优化问题，可以根据其自然特征，人为的赋予“时段”概念，将静态问题动态化，以便按阶段的顺序解优化问题。
阶段变量一般用k=1.2….n.表示。
1.状态状态(state)是我们所研究的问题（也叫系统）在过个阶段的初始状态或客观条件。
它应能描述过程的特征并且具有无后效性，即当某阶段的状态给定时，这个阶段以后的过程的演变与该阶段以前各阶段的状态无关。
通常还要求状态是可以直接或者是间接可以观测的。
描述状态的变量称为状态变量（State Virable）用s 表示，状态变量的取值集合称为状态集合，用S表示。
变量允许取值的范围称为允许状态集合(set of admissble states).用x(k)表示第k阶段的状态变量，它可以是一个数或者是一个向量。
用X(k)表示第k阶段的允许状态集合。
n 个阶段的决策过程有n+1个状态变量，x(n+1)是x(n)的演变的结果。
根据演变过程的具体情况，状态变量可以是离散的或是连续的。
为了计算方便有时将连续变量离散化，为了分析的方便有时又将离散的变量视为连续的。
2．决策当一个阶段的状态确定后，可以做出各种选择从而演变到下一阶段的某个状态，这种选择手段称为决策（decision），在最优控制问题中也称为控制（control）描述决策的变量称为决策变量（decision virable）。
变量允许取值的范围称为允许决策集合（set of admissbledecisions）。
用表示第k阶段处于阶段x(k)的决策变量，它是x(k)的函数，用表示x(k)的允许决策集合决策变量简称决策。
4.策略决策组成的系列称为策略（policy）。
由初始状态x1开始的全过程的策略记作..由第k阶段的状态x(k)开始到终止状态的后部子过程的策略,;k=2,…,n-1.可供选择的策略有一定的范围，称为允许策略集合（set of admissble polices）,用, 等表示。
5.状态转移方程在确定性过程中，一旦某阶段的状态和决策为已知，下阶段的状态偏完全可以确定。
用状态转移方程（state transfer equations）表示这种演变规律，写作：6.阶段指标函数对于k阶段的状态x(k)，当执行了决策时，除带来系统状态的转移之外，还产生第k阶段的局部利益，它是总效益的一部分，称为阶段指标函数（stageeffective fuction），记作.7.过程指标函数用来衡量策略或者是子策略执行效果的数量指标称为过程指标函数（process effective fuction），它定义在所有k后部子过程上，常用用表示，即k=1,2,…,n.当k=1时，就是全过程指标函数。
如果状态x(k)和子策略给定，那么也就被确定了，所以是x(k)和的函数，记为：常见的过程指标函数是连和形式或连积形式：8.最优指标函数过程指标函数的最优值称为最优指标函数(optimum effective fuction），记为f(x(k).它表示，采取了最优子策略之后，后部子过程所获得的总效益，表示为：式中opt是optimization的缩写，意为最优化，可以根据具体问题去max或min三·动态规划法的最优性原理和基本函数方程在动态规划中起核心作用的是最优性原理：“作为整个过程的最优策略具有这样的性质，无论过去的状态和决策如何，相对于前面决策所形成的状态而言，余下的决策系列必须构成最优子策略。
”动态规划解法的关键在于给出一种递推关系，一般把这种关系称为基本函数方程，注意到无后效性，最优指标函数为当k=n时，由于x(n+1)是整个决策过程的终止状态，以后不再做出决策，因此，这样就得到了可以用来递推的基本函数方程：f(x(n+1))=0.类似的，可以得到乘法形式的基本函数方程：f(x(n+1))=1.四·建立动态规划模型的基本步骤1.阶段；2.状态变量及可能状态集合；3.决策变量及允许决策集合；4.状态转移方程；5.阶段指数函数；6.基本函数方程；建立动态规划模型基本上是上面6个步骤，按上述顺序逐步确定1~6的内容。
五·动态规划法的递推方向及求解形式1.递推解法基本方程：f(x(n+1))=0状态转移方程为计算步骤是，利用终端条件从k=n开始由后向前递推基本方程，求得各阶段的最优决策和最优函数，最后算出f(x(1)时就得到了最优决策系列再按照状态转移方程从k=1开始确定，k=1,2,…,n}为最优轨迹线，为最优策略。
2.顺推解法使用顺推解法时，一些概念的含义须做相应调整。
状态变量x(k)表示第k阶段末系统的形态·状况，最优值函数f(x(k))表示从第一阶段到第k阶段总效益的最优值，状态转移方程为基本函数方程为f(x(0))=0或13.求解形式求解动态规划问题，一般有两种形式：解析形式和表格形式，解析形式是利用函数的解析表达式，在每个阶段用经典求极值的方法得到最优解。
表格形式是指各阶段的计算过程均在表格中进行，这种形式便于分析和比较，操作过程直观且简练，适用于没有解析表达式的离散型问题。
4.动态规划的适用条件适用动态规划的问题通常应满足如下3点：○1最优化原理(最优子结构性质)。
如果问题的最优解所包含的子问题的解也是最优的，就称该问题具有最优子结构性质，即满足最优化原理。
由于对于有些问题的某些递归式来讲并不一定能保证最优化原则，因此在求解问题时有必要对它进行验证。
若不能保持最优原则，则不可以应用动态规划法求解。
在得到最优解的递归式之后，需要执行回溯以构造最优解。
○2无后效性。
应用动态规划法的一个重要条件就是将各阶段按照一定的次序排好，阶段i的状态只能由阶段i+1的状态来确定，与其他状态没有关系，尤其是于未发生的状态没有关系。
换言之，每个状态都是“过去历史的一个完整总结”。
这就是无后效性。
○3子问题的重叠性。
子问题的重叠性是指在利用递归算法自顶向下对问题进行求解时，每次产生的问题并不总是新问题，有些子问题可能会被重复计算多次。
动态规划法正是利用子问题的这种重叠性质，对每一个问题只计算一次，然后将其计算结果保持起来，当再次需要计算已经计算过的子问题时，只要简单的查看一下以往的计算结果，从而获得较高的解题效率。
子问题的的重叠性并不是动态规划适用的必要条件，但是如果该性质无法满足，动态规划算法同其他算法相比就无优势可言了。
5.解决问题的步骤利用动态规划法求解问题的算法通常包含如下几个步骤。
○1分析。
对原始的问题进行分析，找到问题的最优解的结构特征。
○2分解。
将所给问题按时间或空间特征分解成相互关联的阶段，并确定出计算局部最优解的递推关系，这是利用动态规划法解决问题的关键和难点所在。
需要注意的是，分解后的各个阶段一定是有序的或者是可以排序的，即无后向性。
否则问题就无法用动态规划求解。
阶段之间相互联系方式是通过状态和状态转移体现的。
每个阶段通常包含若干个状态，可以描述问题发展到这个阶段时所处在的一种客观情况。
每个阶段的状态都由以前阶段的状态以某种方式“变化”来的，这样的“变化”称为状态转移。
状态转移是导出状态的途径，也是联系各阶段的方式。
○3解决。
对于每个阶段通过自底向上的方法求得局部最优解。
由于这一步骤通常是通过递推实现的，因此，需要递推终止条件或边界条件。
○4合并。
将各个阶段求出的解合并为原问题的解，即构造一个最优解。
动态规划的主要难点在于理论的设计，特别是递推关系的建立，一旦设计完成，实现部分就会非常简单。
整个求解过程就可以使用一个最优决策表的二维数组来描述，其中行表示决策的阶段，列表示问题状态，表格需要填写的数据一般对应此问题的在某阶段某个状态下的最优值，如最短路径，最长公共子序列，最大价值等。
填表的过程就是根据递推关系从1行1列开始，以行或者列优先的顺序，依次填写表格。
最后根据整个表格的数据通过简单的取舍或者运算求得问题的最优解。
总之，动态规划算法的关键在于解决冗余，是一个以空间换时间的技术，所以它的空间复杂度要大于其他的算法。
六·动态规划问题在问题中的具体实现例如：动态规划规划在生产存储中的运用生产存储问题是生产活动中经常遇到的问题。
大批量生产可以降低成本，但当产量大于销量时就会造成产品积压而增加库存费用；单纯按市场要求安排生产也会因为开工不足或加班加点造成生产成本增加。
因此合理利用存贮资源调节产量，满足要求是十分有意义的。
生产与存贮问题是一个生产部门如何在已知生产成本，存贮费用和各阶段市场要求的条件下，决定各个生产阶段的产量，使得计划期内的费用之和最小。
现设有一个生产部门，生产计划周期为n个阶段，已知最初库存量为x1，阶段需求量为dk，单位产品的消耗费用是lk，单位产品的阶段库存费用为hk，仓库容量为mk，阶段生产能力为bk，生产固定成本为问如何安排现阶段的产量，使计划期内的费用综合为最小？该问题本身就是一个多阶段决策问题，设状态变量为xk 为k阶段初的库存量，由于计划期初的库存量x1已知，计划期末的库存量通常也是给定的，为简单起见，假定x（n+1）=0，于是状态变量xk的约束条件是：决策变量uk选为阶段k的产量，它满足的约束条件是：状态转移方程为，它满足无后效性的要求。
阶段效用由两阶段组成，一部分为生产费用，另一部分为存贮费用，即：动态规划基本方程为：七．设计题目：某机床厂根据合同，在一至四月份为客户生产某种机床。
工厂每月的生产能力为10台，机床可以库存，存储费用为每台每月0.2万元，每月需要的数量及每台机床的生产成本如下表。
试确定每月的生产量，要求既能满足每月的需求，又能使生产成本和存储费用之和达到最小。
表需求量及生产成本1.构造动态规划模型○1阶段变量k把每个月作为一个阶段，k=1,2,3,4○2状态变量选择每个阶段的库存量为状态变量，可满足无后效性，由已知条件可知：x1=x5=0，单位为台○3决策变量设每个阶段的生产量为决策变量，由已知条件得0≤≤10台，○4状态转移方程状态转移方程为：=+-（是第k阶段的市场需求量）○5阶段指标第k阶段的指标费用：（,）=0.2+y(i)（>0）i=1,2,3,4.或（,）=0.2+0 （=0）其中y1=7，y2=7.2，y3=8，y4=7.6，单位为万元2.建立基本方程设最优值函数是从第k阶段的状态出发到过程终结的最小费用，按动态规划方法的逆序解基本方程又：[(,)+] （k=4,3,2,1）F5(x5)=03.逆序逆推计算○1k=4时按照问题的各种约束条件，确定状态变量x4的取值范围。
