最优控制课程课件II-5.HJB方程

2023-10-28contents •引言•基于HJB方程的稳定流形方法•两轮自平衡车模型建立与描述•基于稳定流形方法的两轮自平衡车最优控制•结论与展望目录01引言1研究背景与意义23两轮自平衡车作为一种具有代表性的移动机器人，其运动控制问题一直是研究的热点和难点。

在复杂环境和未知路面上，两轮自平衡车需要实现快速、稳定、准确的运动控制，以提高其适应能力和鲁棒性。

基于HJB方程的稳定流形方法是一种有效的最优控制方法，能够为两轮自平衡车的运动控制提供新的解决方案。

03基于HJB方程的稳定流形方法作为一种先进的控制方法，还未见在两轮自平衡车的运动控制中应用的报道。

研究现状与问题01目前，针对两轮自平衡车的运动控制研究主要集中在传统的控制方法上，如PID控制、模糊控制等。

02然而，这些方法在面对复杂环境和未知路面时，难以实现快速、稳定、准确的运动控制，且鲁棒性较差。

研究内容与方法研究内容本研究旨在将基于HJB方程的稳定流形方法应用于两轮自平衡车的最优控制中，以提高其运动性能和适应能力。

研究方法首先，建立两轮自平衡车的动力学模型；其次，根据HJB方程和稳定流形方法，设计最优控制策略；最后，通过实验验证所设计控制策略的有效性和鲁棒性。

02基于HJB方程的稳定流形方法HJB方程简介HJB方程是动态规划理论中的核心方程，用于描述一个系统的最优控制问题。

HJB方程是一种偏微分方程，描述了最优控制策略的时间不一致性。

HJB方程在控制领域中广泛应用于解决最优控制问题。

010203稳定流形方法是基于动态系统稳定性的一种方法。

在动态系统中，稳定流形是吸引子的稳定状态，系统状态变量在稳定流形上变化缓慢。

稳定流形方法通过找到吸引子的稳定状态，为动态系统提供了一种有效的分析方法。

稳定流形方法的基本原理基于HJB方程的稳定流形方法的具体实现基于HJB方程的稳定流形方法是将HJB方程与稳定流形方法相结合，用于解决最优控制问题。

首先，需要建立系统的HJB方程；其次，通过稳定流形方法对HJB方程进行分析，找到最优控制策略。

HJB方程1. 简介HJB（Hamilton-Jacobi-Bellman）方程是一种偏微分方程，描述了最优控制问题中的动态规划原理。

它由William Rowan Hamilton、Carl Gustav Jacob Jacobi和Richard E. Bellman等人独立提出，被广泛应用于经济学、数学、物理学等领域。

HJB方程在最优控制理论中起着重要的作用。

它用于求解动态系统中的最优策略，帮助决策者在给定约束条件下实现最大化效益。

HJB方程是一个非线性偏微分方程，其解表示最优策略和相应的效用函数。

2. 基本形式HJB方程的基本形式可以表示为：ρ+minu∈U {f(x,u)+∇V(x)⋅F(x,u)+12Tr(G(x,u)∇2V(x)G T(x,u))}=0其中， - ρ表示时间变量 - x表示状态变量 - u表示控制变量 - f是一个标量函数，表示控制和状态之间的耦合关系 - V是值函数（value function），表示系统的效用函数 - F是一个矢量函数，表示状态变量和控制变量的关系 - G是一个矩阵函数，表示系统中的噪声项HJB方程可以看作是一个动态规划问题的最优性条件。

它通过最小化控制变量u来确定系统的最优策略，并求解值函数V(x)。

3. 求解方法由于HJB方程是一个非线性偏微分方程，其求解并不容易。

通常采用以下两种方法进行求解：3.1 动态规划法动态规划法是HJB方程求解的经典方法之一。

该方法将问题分解为一系列子问题，并通过递归地求解这些子问题来获得最优策略和值函数。

具体步骤如下： 1. 将状态空间离散化，得到有限个状态点。

2. 从终止时间开始，逆向递推计算值函数V(x)。

3. 对每个状态点x i，枚举所有可能的控制变量u j，计算f(x i,u j)+∇V(x i)⋅F(x i,u j)+12Tr(G(x i,u j)∇2V(x i)G T(x i,u j))。

4. 选择使上述表达式最小的控制变量u j，更新值函数V(x i)和最优策略。

hjb 方程HJB方程是Hamilton-Jacobi-Bellman方程的简称，是一种非线性偏微分方程。

它在控制理论、金融工程、机器人控制等领域中有着广泛的应用，被认为是最重要的控制理论工具之一。

本文将从HJB方程的定义、特点、求解方法以及应用等方面进行详细介绍。

一、HJB方程的定义HJB方程最初由Hamilton和Jacobi于19世纪提出，后来由Bellman在20世纪50年代提出了更为广泛的形式。

它是一个偏微分方程，描述了一个动态系统中最优控制策略的演化过程。

具体地说，它给出了在某个时刻t下，某个状态x下采取何种控制u才能使长期收益最大化。

HJB方程通常写成如下形式：$${\frac{\partial V(x,t)}{\partial t}}+ \inf_{u\in U}\{L(x,u)+{\frac{\partial V(x,t)}{\partial x}}f(x,u)\}=0$$其中V(x,t)表示在时刻t下状态为x时所能获得的最大收益，U表示所有可能的控制集合，L(x,u)表示在状态x下采取控制u所能获得的即时收益，f(x,u)表示状态x和控制u的演化规律。

二、HJB方程的特点1. 非线性：HJB方程中涉及到了状态和控制的乘积，因此是一个非线性方程。

2. 偏微分方程：HJB方程是一个偏微分方程，需要用到微积分和偏导数等概念。

3. 优化问题：HJB方程描述的是最优控制策略的求解过程，因此可以看作是一个优化问题。

三、HJB方程的求解方法HJB方程的求解方法主要有两种：动态规划法和最小二乘法。

1. 动态规划法动态规划法是一种递归算法，它从最后一个时刻开始向前逐步推导出每个时刻下的最优控制策略。

具体地说，它将整个时间区间分成若干个离散时间点，并在每个时间点上计算出当前状态下采取不同控制所能获得的收益，并选择其中收益最大的控制作为当前时刻下的最优控制。

然后再利用这些最优控制信息来递归计算前面时刻下的最优控制策略，直到推导出整个时间区间内所有时刻下的最优控制策略。

hjb方程对于一个最优控制问题，HJB方程是连续时间最优控制的充分必要条件。

Hamilton-Jacobi-Bellman方程如何理解HJB方程−∂ V ∂ t ( x ( t ) , t ) = min ⁡ u ( t ) ∈ U { g ( x( t ) , u ( t ) , t ) + ∂ V ∂ x ( x ( t ) , t ) ⋅ f ( x ( t ) , u ( t ) , t ) } -\frac{ \partial V }{ \partialt }(x(t),t)=\mathop{\min}_{u(t)\inU}\left\{g(x(t),u(t),t)+\frac{ \partial V }{ \partialx }(x(t),t)\cdot f(x(t),u(t),t) \right\} −∂t∂V(x(t),t)=minu(t)∈U {g(x(t),u(t),t)+∂x∂V(x(t),t)⋅f(x(t),u(t),t)}其中 V V V是值函数， g g g是过程成本， f f f是状态方程公式的理解首先要理解值函数代表什么。

值函数是性能指标（定义在下文）的最优值。

一般性能指标都是由两部分组成，一部分是积分，一部分就是一个和终点有关的值。

比如从A开车去B，那么积分的部分可以是油钱，这取决于你的控制方式和在这段时间的行驶距离。

第二部分就是停止时离终点的距离。

这里的油钱也被称为过程成本。

控制（油门，刹车）用状态方程表示，给定当前位置和控制，就能知道下一时刻的位置在哪里。

这个式子有个隐含条件就是已知全程所用的时间。

那么就是说在给定时间内，每一秒，都对应了应该用什么控制去走多少米。

公式左边对应的是最优值随时间的变动，加负号是因为时间不能返流，满足因果关系。

现在看公式右边，第一项是当前所需要的油钱，第二项的偏导数说的是位置变动会引起最优值变动多少，那么具体移动多少移动到哪里是由状态方程决定的，那么第二项的意思就显而易见了，在当前位置，通过控制，实现移动后，能让最优值改变多少。

第一章绪论1.1 引言近50年来，科学技术的迅速发展，对许多被控对象如宇宙飞船、导弹、卫星和现代工业设备与生产过程的性能提出了更高的要求，在许多情况下要求系统的某种性能指标为最优。

这就要求人们对控制问题都必须从最优控制的角度进行研究分析和设计。

最优控制理论是现代控制理论的重要组成部分。

其形成与发展奠定了整个现代控制理论的基础。

早在20世纪50年代初九开始了对最短时间控制问题的研究。

随后，由于空间技术的发展，越来越多的学者和工程技术人员投身于这一领域的研究和开发，逐步形成了较为完整的最优控制理论体系。

最优化问题就是根据各种不同的研究对象以及人们预期要达到的目标，寻找一个最优控制规律，或设计出一个最优控制方案或最优控制系统。

最优控制理论研究的主要问题是：根据已建立的被控对象的时域数学模型或频域数学模型，选择一个容许的控制律，使得被控对象按预定要求运行，并使给定的某性能指标达到最优值。

从数学的观点来看，最优控制理论研究的问题是求解一类带有约束条件的泛函取值问题，属于变分学的理论范畴。

然而，经典变分学理论只能解决容许控制属于开机的一类，为适应工程实践的需要，20世纪50年代中期出现了现代变分理论。

在现代变分理论中最常用的两种分法是动态规划和极小值原理。

动态规划时美国学者R.E贝尔曼于1953-1957年为了解决多级决策问题的算法而逐步创立的。

最小值原理时前苏联科学院院士π.C.庞特里亚金与1956年-1958年间逐步创立的。

近年来，由于数字计算机的飞速发展和完善，逐步形成了最优控制理论中的数值计算法，参数优化方法。

当性能指标比较复杂或者不能用变量或函数表示时，可以采用直接搜索法，经过若干次迭代，都所到最优点。

常用的方法有邻近极值法、梯度法、共轭梯度法及单纯形法等。

同时由于可以把计算机作为控制系统的一个组成部分，以实现在线控制，从而使最优控制理论的工程实现成为现实。

因此，最优控制理论提出的求解方法，既是一种数学方法，又是一种计算机算法。

第一章 绪论§1。

1最优控制问题静态最优化问题：输入—输出—代数方程 动态最优化问题：输入—输出-微分方程 确定性最优控制：系统参数确定,无随机输入 随机性最优控制：系统参数确定，有随机输入⎩⎨⎧=+=)()()()()(t Cx t Y t Bu t Ax t x⎩⎨⎧+=++=)()()()()()()(t v t Cx t Y t w t Bu t Ax t x例:飞船的月球软着陆问题推力 dtdmkf -= 运动方程 mg dt dmk mg f dtx d m --=-=22 )()(][00f t t t m t m dt dtdmJ f-=-=⎰ 初始条件 ⎩⎨⎧======0)(,)(,00f f t x x t t ht x x t t约束条件为 0≤≤-dtdmα求min J§1.2最优控制的数学模型一 控制系统的数学模型(集中参数系统）直接法建立：动力学、运动学的基本定律,即解析法.间接法建立：通过“辩识"的途径确定系统的结构与参数.)),(),(()(t t u t x f t x= 其中 T n t x t x t x t x )](,)(),([)(21 =，T r t u t u t u t u )](,)(),([)(21 =,],,[21n f f f f = )(t x 为n 维状态向量，)(t u 为r 维控制向量,f 为n 维函数向量。

二 目标集通过)(t u 使)(t x 由)(0t x 到)(f t x ，其中)(0t x 为初始状态，并且通常为已知；)(f t x 为终端状态，即控制所要求达到的目标。

一般来说对终端状态的要求可用如下的约束条件表示：0)),((,0)),((21≤=f f f f t t x g t t x g 。

三 容许控制i u 具有不同的物理属性，一般有r 1,2i u i ,,=≤α，即在控制域U 内。