(lecture_05)动态规划(2)

动态规划入门1(2008-09-20 21:40:51)第一节动态规划基本概念一，动态规划三要素：阶段，状态，决策。

他们的概念到处都是，我就不多说了，我只说说我对他们的理解：如果把动态规划的求解过程看成一个工厂的生产线，阶段就是生产某个商品的不同的环节，状态就是工件当前的形态，决策就是对工件的操作。

显然不同阶段是对产品的一个前面各个状态的小结，有一个个的小结构成了最终的整个生产线。

每个状态间又有关联（下一个状态是由上一个状态做了某个决策后产生的）。

下面举个例子：要生产一批雪糕，在这个过程中要分好多环节：购买牛奶，对牛奶提纯处理，放入工厂加工，加工后的商品要包装，包装后就去销售……，这样没个环节就可以看做是一个阶段；产品在不同的时候有不同的状态，刚开始时只是白白的牛奶，进入生产后做成了各种造型，从冷冻库拿出来后就变成雪糕（由液态变成固态=_=||）。

每个形态就是一个状态，那从液态变成固态经过了冰冻这一操作，这个操作就是一个决策。

一个状态经过一个决策变成了另外一个状态，这个过程就是状态转移，用来描述状态转移的方程就是状态转移方程。

经过这个例子相信大家对动态规划有所了解了吧。

下面在说说我对动态规划的另外一个理解：用图论知识理解动态规划：把动态规划中的状态抽象成一个点，在有直接关联的状态间连一条有向边，状态转移的代价就是边上的权。

这样就形成了一个有向无环图AOE网（为什么无环呢？往下看）。

对这个图进行拓扑排序，删除一个边后同时出现入度为0的状态在同一阶段。

这样对图求最优路径就是动态规划问题的求解。

二，动态规划的适用范围动态规划用于解决多阶段决策最优化问题，但是不是所有的最优化问题都可以用动态规划解答呢？一般在题目中出现求最优解的问题就要考虑动态规划了，但是否可以用还要满足两个条件：最优子结构（最优化原理）无后效性最优化原理在下面的最短路径问题中有详细的解答；什么是无后效性呢？就是说在状态i求解时用到状态j而状态j就解有用到状态k…..状态N。

动态规划的基本原理和基本应用动态规划（Dynamic Programming）是一种通过将一个问题分解为较小的子问题并存储子问题的解来解决复杂问题的方法。

动态规划的基本原理是通过记忆化或自底向上的迭代方式来求解问题，以减少不必要的重复计算。

它在计算机科学和数学中具有广泛的应用，尤其是在优化、组合数学和操作研究等领域。

1.确定最优子结构：将原问题分解为较小的子问题，并且子问题的最优解能够推导出原问题的最优解。

2.定义状态：确定存储子问题解的状态变量和状态方程。

3.确定边界条件：确定初始子问题的解，也称为边界状态。

4.递推计算：利用状态方程将子问题的解计算出来，并存储在状态变量中。

5.求解最优解：通过遍历状态变量找到最优解。

1.背包问题：背包问题是动态规划的经典应用之一、它有多种变体，其中最基本的是0/1背包问题，即在限定容量的背包中选择物品，使得所选物品的总价值最大。

可以使用动态规划的思想来解决背包问题，确定状态为背包容量和可选物品，递推计算每个状态下的最优解。

2. 最长递增子序列：最长递增子序列（Longest Increasing Subsequence）是一种常见的子序列问题。

给定一个序列，找到其中最长的递增子序列。

可以使用动态规划来解决这个问题，状态可以定义为以第i个元素为结尾的最长递增子序列的长度，并递推计算每个状态的解。

3.矩阵链乘法：矩阵链乘法是一种优化矩阵连乘计算的方法。

给定一系列矩阵，求解它们相乘的最小计算次数。

可以使用动态规划解决矩阵链乘法问题，状态可以定义为矩阵链的起始和结束位置，递推计算每个状态下最小计算次数。

4.最短路径问题：最短路径问题是在有向图或无向图中找到两个节点之间最短路径的问题。

可以使用动态规划解决最短路径问题，状态可以定义为起始节点到一些节点的最短距离，递推计算每个状态的最优解。

动态规划的基本概念与方法动态规划（Dynamic Programming，简称DP）是解决一类最优化问题的一种方法，也是算法设计中的重要思想。

动态规划常用于具有重叠子问题和最优子结构性质的问题。

它将问题分解为子问题，并通过求解子问题的最优解来得到原问题的最优解。

动态规划的基本概念是“最优子结构”。

也就是说，一个问题的最优解可以由其子问题的最优解推导出来。

通过分解问题为若干个子问题，可以形成一个递归的求解过程。

为了避免重复计算，动态规划使用一个表格来保存已经计算过的子问题的解，以便后续直接利用。

这个表格也被称为“记忆化表”或“DP表”。

动态规划的基本方法是“状态转移”。

状态转移指的是，通过已求解的子问题的解推导出更大规模子问题的解。

常用的状态转移方程可以通过问题的递推关系定义。

通过定义好状态转移方程，可以通过迭代的方式一步步求解问题的最优解。

在动态规划中，通常需要三个步骤来解决问题。

第一步，定义子问题。

将原问题划分为若干个子问题。

这些子问题通常与原问题具有相同的结构，只是规模更小。

例如，对于计算斐波那契数列的问题，可以定义子问题为计算第n个斐波那契数。

第二步，确定状态。

状态是求解问题所需要的所有变量的集合。

子问题的解需要用到的变量就是状态。

也就是说，状态是问题（解决方案）所需要的信息。

第三步，确定状态转移方程。

状态转移方程通过已求解的子问题的解推导出更大规模子问题的解。

通常情况下，状态转移方程可以通过问题的递推关系确定。

在实际应用中，动态规划常用于求解最优化问题。

最优化问题可以归纳为两类：一类是最大化问题，另一类是最小化问题。

例如，最长递增子序列问题是一个典型的最大化问题，而背包问题是一个典型的最小化问题。

动态规划的优势在于可以解决许多复杂问题，并且具有可行的计算复杂度。

但是，动态规划也有一些限制。

首先，动态规划要求问题具有重叠子问题和最优子结构性质，不是所有问题都能够满足这两个条件。

其次，动态规划需要存储计算过的子问题的解，对于一些问题来说，存储空间可能会非常大。

第6章动态规划最优化原理1951年美国数学家R.Bellman等人，根据一类多阶段问题的特点，把多阶段决策问题变换为一系列互相联系的单阶段问题，然后逐个加以解决。

一些静态模型，只要人为地引进“时间”因素，分成时段，就可以转化成多阶段的动态模型，用动态规划方法去处理。

与此同时，他提出了解决这类问题的“最优化原理”（Principle of optimality）：上述程序实现方法同样适合于背包问题，最优库存问题等，只是针对具体情况，最优决策表的表示和生成会有所不同。

“一个过程的最优决策具有这样的性质：即无论其初始状态和初始决策如何，其今后诸策略对以第一个决策所形成的状态作为初始状态的过程而言，必须构成最优策略”。

简言之，一个最优策略的子策略，对于它的初态和终态而言也必是最优的。

这个“最优化原理”如果用数学化一点的语言来描述的话，就是：假设为了解决某一优化问题，需要依次作出n个决策D1，D2，…，Dn，如若这个决策序列是最优的，对于任何一个整数k，1 < k < n，不论前面k个决策是怎样的，以后的最优决策只取决于由前面决策所确定的当前状态，即以后的决策Dk+1，Dk+2，…，Dn也是最优的。

最优化原理是动态规划的基础。

任何一个问题，如果失去了这个最优化原理的支持，就不可能用动态规划方法计算。

能采用动态规划求解的问题都需要满足一定的条件：（1）问题中的状态必须满足最优化原理；（2）问题中的状态必须满足无后效性。

所谓的无后效性是指：“下一时刻的状态只与当前状态有关，而和当前状态之前的状态无关，当前的状态是对以往决策的总结”。

问题求解模式动态规划所处理的问题是一个多阶段决策问题，一般由初始状态开始，通过对中间阶段决策的选择，达到结束状态。

这些决策形成了一个决策序列，同时确定了完成整个过程的一条活动路线（通常是求最优的活动路线）。

如图所示。

动态规划的设计都有着一定的模式，一般要经历以下几个步骤：初始状态→│决策1│→│决策2│→…→│决策ｎ│→结束状态（1）划分阶段：按照问题的时间或空间特征，把问题分为若干个阶段。

动态规划求解方法动态规划(Dynamic Programming)是一种常见的求解优化问题的方法，它通过将问题分解成更小的子问题，并保存子问题的解来降低时间复杂度。

动态规划通常使用一个表格来记录子问题的解，然后根据递推关系计算出更大问题的解。

动态规划的求解方法一般包含以下几个步骤：1.定义问题：首先，需要明确要解决的问题是什么。

动态规划通常适用于求解具有最优子结构性质的问题，即原问题的最优解可以通过一系列子问题的最优解得到。

2.确定状态：接下来，需要确定动态规划的状态。

状态是问题中会变化的量，它包含了问题的关键信息。

在动态规划中，状态可以是一个或多个变量。

3.建立转移方程：然后，需要建立问题的转移方程。

转移方程描述了问题状态之间的关系，用来计算子问题的最优解。

转移方程可以通过观察问题的特点或者使用递推关系得到。

4.确定初始条件：接下来，需要确定边界条件或初始条件。

边界条件是问题中的一些特殊情况，它们通常是一些最小子问题的解。

初始条件是指将边界条件中的解赋值给表格中对应的位置。

5.使用递推关系计算：最后，使用递推关系将表格中的其他位置的解计算出来。

通常，可以使用自底向上的方法，从表格的第一个位置开始计算，依次填充整个表格。

动态规划的优点在于它可以将一个复杂的问题分解成多个子问题，然后通过记录子问题的解来减少重复计算。

这样，可以大大提高求解问题的效率。

动态规划通常适用于求解满足最优化原理和无后效性条件的问题。

最优化原理是指问题的最优解具有递归的结构，即解可以通过子问题的最优解得到。

无后效性条件是指问题的当前状态决定了未来的决策，与过去的决策无关。

动态规划在算法设计和实现中有很多经典的应用，例如最长公共子序列问题、0/1背包问题、最短路径问题等。

下面简要介绍其中的两个经典应用。

1.最长公共子序列问题：给定两个字符串s1和s2，求它们的最长公共子序列。

最长公共子序列是指在两个字符串中以相同的顺序出现的最长的子序列。