- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最优性原理与离散系统的动态规划法(2/3)
动态规划的核心是贝尔曼最优性原理。
➢ 这个原理归结为一个基本的递推公式,求解多阶段决策 问题时,要从末端开始,逆向递推,直至始端。
➢ 动态规划的离散基本形式受到问题的维数的限制,应用 有一定的局限性。
➢ 但是,它用于解决线性离散系统的二次型性能指标的最 优控制问题特别有效。
实际上,最后一段没有选择的余地。 ✓ 因此,由图7-10可求得
J[x1(3)]=4, J[x2(3)]=3
多阶段决策问题(4/12)
为便于今后求解过程的应 用,可将从x1(3)站和x2(3)站 到终点的最短时间J[x1(3)] 和J[x2(3)]的数值标记于代 表该站的小圆圈内,如图711所示。
类似于前面过程,其他各站到终 点的最短时间和相应的行车路 线如图图7-11所示.
多阶段决策问题(2/12)
由S站出发至终点F站可有多种不同 的行车路线,沿各种行车路线所耗费 的时间不同。 ➢ 为使总的行车时间最短,司机在 路程的前3段要作出3次决策。 ➢ 也就是说,一开始司机要在经过x1(1)站还是x2(1)站两种情 况中作出决策。 ✓ 到x1(1)站或x2(1)后,又面临下一站是经过x1(2)站还是 x2(2)站的第2次决策。 ➢ 同样,在后续的每个阶段都要作出类似的概述 7.2 变分法 7.3 变分法在最优控制中的应用 7.4 极大值原理 7.5 线性二次型最优控制 7.6 动态规划与离散系统最优控制 7.7 Matlab问题 本章小结
目录(1/1)
动态规划与离散系统最优控制(1/3)
7.6 动态规划与离散系统最优控制
多阶段决策问题(1/12)
1. 多阶段决策问题
在讨论动态规划法之前,先考察一个简单的最短时间行车问 题,简称行车问题。
例 如图7-10所示,某交通工具从S站出发,终点为F站,全程可
分为4段。
➢ 中间可以经过的各站及 它们之间的行车时间均 已标记在图上。
➢ 试求最短行车时间的行 车路线。
图7-10 某行车路线图
前面讨论了连续系统最优控制问题的基于经典变分法和庞特 里亚金的极大值原理的两种求解方法。
➢ 所谓连续系统,即系统方程是用线性或非线性微分方程 描述的动态系统。
➢ 该类系统的控制问题是与传统的控制系统和控制元件的 模拟式实现相适应的,如模拟式电子运算放大器件、模 拟式自动化运算仪表、模拟式液压放大元件等。
➢ 其他站的情况依此类推。
多阶段决策问题(5/12)
图7-11 最优行车路线图
多阶段决策问题(6/12)
由此向后倒推,继续考察倒数第 2 段 , 计 算 x1(2) 站 和 x2(2) 站 到 终 点F的最短时间,并分别记为 J[x1(2)]和J[x2(2)]。 ➢ 由图7-10可知,从x1(2)站到达终点F的路线中下一站只能 是x1(3)站和x2(3)站中之一。 ➢ 由于从x1(3)站和x2(3)站分别前往终点的最短时间已经计 算出,因此,从x1(2)站和x2(2)到终点的最短时间分别为 J[x1(2)]=min{1+J[x1(3)],1+J[x2(3)]}=4 J[x2(2)]=min{2+J[x1(3)],2+J[x2(3)]}=5 其相应的最短时间行车路线为{x1(2),x2(3),F}和{x2(2),x2(3), F}。
➢ 随着计算机技术的发展及计算机控制技术的日益深入, 离散系统的最优控制问题也必然成为最优控制中需深入 探讨的控制问题,而且成为现代控制技术更为关注的问 题。
动态规划与离散系统最优控制(2/3)
离散系统的控制问题为人们所重视的原因有二。 1) 有些连续系统的控制问题在应用计算机控制技术、数字 控制技术时,通过采样后成为离散化系统, ➢ 如许多现代工业控制领域的实际计算机控制问题。 2) 有些实际控制问题本身即为离散系统, ✓ 如某些经济计划系统、人口系统的时间坐标只能以 小时、天或月等标记; ✓ 再如机床加工中心的时间坐标是以一个事件(如零 件加工活动)的发生或结束为标志的。
多阶段决策问题(3/12)
在该行车问题中,阶段数n=4,需作n1=3次决策。
➢ 由于每次决策只有两种可能的 选择,3次选择共有2n-1=23=8种 不同的行车路线。
➢ 因此,计算8种不同的行车路线所耗费的总行车时间,取最 小者即可求出最短时间行车路线。
➢ 若行车问题需作决策的阶段数n较大,每次决策中可供选 择的方案较多时,用上述穷举法来解决最短行车时间问 题计算量非常大。
基于对多阶段决策过程的研究,贝尔曼在20世纪50年代首先 提出了求解离散多阶段决策优化问题的动态规划法。 ➢ 如今,这种决策优化方法在许多领域得到应用和发展,如 在生产计划、资源配置、信息处理、模式识别等方面都 有成功的应用。 ➢ 下面要介绍的是,贝尔曼本人将动态规划优化方法成功 地应用于动态系统的最优控制问题,即构成最优控制的 两种主要求解方法之一的最优控制动态规划法。
➢ 一般说来,用穷举法计算时间与作决策的阶段数n和每次 决策中可供选择的方案数成指数关系,即通常所称的指 数爆炸、维数灾难。
通过分析发现,另一种求最短时间行 车路线方法的是: ➢ 从最后一段开始,先分别算出 x1(3)站和x2(3)站到终点F的最短 时 间 , 并 分 别 记 为 J[x1(3)] 和 J[x2(3)]。
➢ 至于连续系统的最优控制问题的动态规划法,不仅是一 种可供选择的有充分性的最优控制求解法,它还揭示了 动态规划与变分法、极大值原理之间的关系,具有重要 的理论价值。
最优性原理与离散系统的动态规划法(3/3)
下面分别介绍 ➢ 多阶段决策问题 ➢ 最优性原理一般问题的问题描述 ➢ 离散系统的动态规划法
动态规划与离散系统最优控制(3/3)
本节将介绍解决离散系统最优控制的强有力工具 — 贝尔曼动态规划,以及线性离散系统的二次型最优控制问题。 ➢ 内容为 ✓ 最优性原理与离散系统的动态规划法 ✓ 线性离散系统的二次型最优控制
最优性原理与离散系统的动态规划法(1/3)
7.6.1 最优性原理与离散系统的动态规划法
