最优控制理论课程总结
姓名：
肖凯文班级：
自动化1002班学号：
0909100902 任课老师：
彭辉摘要：
最优控制理论是现代控制理论的核心，控制理论的发展来源于控制对象的要求。尽50年来，科学技术的迅速发展，对许多被控对象，如宇宙飞船、导弹、卫星、和现代工业设备的生产过程等的性能提出了更高的要求，在许多情况下要求系统的某种性能指标为最优。这就要求人们对控制问题都必须从最优控制的角度去进行研究分析和设计。最优控制理论研究的主要问题是：根据已建立的被控对象的时域数学模型或频域数学模型，选择一个容许的控制律，使得被控对象按预定要求运行，并使某一性能指标达到最优值[1]。关键字：最优控制理论，现代控制理论，时域数学模型，频域数学模型，控制率Abstract：
The Optimal Control Theory is the core of the Modern Control Theory，the development of control theory comes from the requires of the controlled objects、During the50 years， the rapid development of the scientific technology puts more stricter requires forward to mang
controlled objects，such as the spacecraft，the guide missile，the satellite，the productive process of modern industrial facilities，and so on，and requests some performance indexes that will be best in mang cases、To the control problem，it requests people to
research ,analyse，and devise from the point of view of the Optimal Control Theory、 There are mang major problems of the Optimal Control Theory studying,such as the building the time domain’s model or the frenquency domain’s model according to the controlled
objects,controlling a control law with admitting, making the controlled objects to work according to the scheduled requires, and making the performance index to reseach to a best optimal value、 Keywords: The Optimal Control Theroy， The Modern Control Theroy，The Time Domaint’s Model，The Frequency domain’s Model，The Control Law
一、引言最优控制理论的形成和发展和整个现代自动控制理论的形成和发展分不开的。在20世纪50年代初期，就有人开始发表从工程观点研究最短时间控制问题的文章，尽管其最优性的证明多半借助于几何图形，仅带有启发性质，但毕竟为发展现代控制理论提供了第一批实际模型。由于最优控制问题引人注目的严格表述形式，特别是空间技术的迫切需求，从而吸引了大批科
学家的密切注意。经典变分理论只能解决一类简单的最优控制问题，因为它只对无约束或开集性约束是有效的。而实际上碰到的更多的是容许控制属于闭集的一类最优控制问题，这就要求人们去探索、求解最优控制问题的新途径。在种种新方法中，有俩种方法最富成效：一种是苏联学者庞特里亚金（Л、С、
Понтрягин）的“极大值原理”；另一类是美国学者贝尔曼（R、E、Bellman）的“动态规划”[2]。受力学中哈密顿（Hamilton）原理的启发，庞特里亚金等人把“极大值原理”作为一种推测首先推测出来，随后不久又提供了一种严格的证明，并于1958年在爱丁堡召开的国际数学会议上首先宣读。“动态规划”是贝尔曼在1953-1957年逐步创立的，他依旧最优性原理发展了变分学中的哈密顿—雅可比理论，构成了“动态规划”。它是一种适用于计算机计算，处理问题范围更广的方法。在现代控制理论的形成和发展中，极大值原理、动态规划和卡尔曼（R、E、Kalman）的最优估计理论都起过重要的推动作用[3]。现代控制理论的形成和发展和数字计算机的飞速发展和广约应用密不可分。由于计算机的“在线”参与控制，这样，既不要求把控制器归结为简单的校正网络，也不一定要求有封闭形式的解析解，因此，使得最优控制的工程实现了可能。反过来又提出了许多新的理论问题，导致最优控制的直接和间接计算方法的大批研究成果的出现，进一步推动了控制理论的发展。
二、最优控制的含义最优控制，就是将通常的最优控制问题抽象成一个数学问题，并且用数学语言严格的表示出来，最优控制可分为静态最有和动态最有两类。静态最优是指在稳定情况下实现最优，它反映系统达到稳态后的静态关系。系统中的各变量不随时间变化，而只表示对象在稳定情况下各参数之间的关系，其特性用代数方程来描述。大多数的生产过程受控对象可以用静态最优控制来处理，并且具有足够的精度。静态最有一般可用一个目标函数J=f（x）和若干个等式约束条件或不等式约束条件来描述。要求在满足约束条件下，使目标函数J为最大或最小[4]。动态最优是指系统从一个工况变化到另一个工况的变化过程中，应满足最有要求。在动态系统中，所有的参数都是时间的函数，其特性可用微分方程或差分方程来描述。动态最优控制要求寻找出控制作用的一个或一组数值，是特性指标在满足约束条件下为最优值。这样，目标函数不再是一般函数，而是函数的函数。因此，在数学上这是属于泛函数求极值的问题。受控系统的模型受控系统的数学模型即系统的微分方程，它反映了动态系统在运动过程中所应遵循的物理或化学规律。在集中参数情况下，动态系统的运动规律可以用一组一阶常微分方程即状态方程来描述，即（2-1）式（2-1）中：x（t）表示n维状态变量；u（t）表示为r 维控制向量；f（）是x（t）、u（t）和t的n维函数向量；t是实数变量，可以概括一切具有集中参数的受控数学模型。
三、边界条件与目标集动态系统的运动过程是系统从状态空间的一个状态到另一个状态的转移，其运动轨迹在状态空间中形成曲线x（t）。为了确定要求的曲线x（t），需要确定曲线的两点边界值。因此，要求确定初始状态和中端状态，这是求解状态方程式必需的边界条件。最优控制问题中，初始时刻和初始状态x （）通常已知的，但是中端时刻和终端状态x（）可以固定，也可以自由。一般的说，对终端的要求可以用如下的终端等式或不等式约束条件来表示，即（3-1）（3-2）它们概括了对终端的一般要求。实际上，终端约束规定了状态空间的一个时变或非时变的集合，此满足终端约束的状态集合称为目标集M，并可表示为：M={：∈，，} （3-3）为简单起见，有时终端约束式（3-3）称为目标集[5]。
四、容许控制控制向量u（t）的各个分向量往往是具有不同物理属性的控制量。在实际控制问题中，大多数控制量受客观条件限制只能取值于一定范围。这种限制范围，通常可用约束条件0≤u（t）≤ （4-1）或，i=1，2，… ，r （4-2）来表示。式（4-2）表示一个控制空间中包括原点在内的超方体，式（4-1）和（4-2）式都规定了空间中的一个闭集[6]。由控制约束条件所规定的点集为控制域，并记为。凡在闭区间[,]上有定义，且在控制域内取值的每一控制函数u（t）均称为容许控制，并记为u （t）∈。通常假定容许控制u（t）∈是一种有界连续函数或分段连续函数[7]。
五、性能指标从给定初始状态x（）到目标集M的转移可通过不同的控制规律u(t)来实现，为了在各种可行的控制规律中找出一种效果最好的控制，这就需要首先建立一种评价控制效果好坏或控制品质优劣的性能指标函数。性能指标的内容和函数，取决于最优控制问题所完成的任务。不同的最优控制问题，就有不同的性能指标，即使是同一问题其性能指标也可能不同。尽管不能为各式各样的最优控制问题规定了一个性能指标的统一格式，但是通常情况下，对连续系统时间函数性能指标已可以归纳为以下三种类型。1）综合型和波尔扎（Bola）型性能指标设综合性或波尔扎型性能指标为（5-1）式中：L为标量函数，它是向量x(t)和u(t)的函数，称为动态性能指标；为标量函数，与终端时间及终端状态有关，称为终端性能指标；J为标量，对每个控制函数都有一个对应值；u()表示控制函数整体，而u(t)表示t时刻的控制向量[8]。式（5-1）类型的性能指标成为综合型和波尔扎问题，它可以用来描述具有终端约束下的最小积分控制，或在积分约束下的终端最小时间控制。2）积分型或拉格朗日（lagrange）型性能指标若不计终端性能指标，则式（5-1）称为（5-2）这时的性能指标称为积分型或拉格朗日问题，它更强调系统的过程要求。在自动控制中，要求调解过程的某种积分评价为最小（或最大）就属于这一类问题[9]。3）终端型或麦耶尔（Mager）型性能指标（5-3）这时的性能指标称为终端或麦耶尔问题。这要求找出使终端的某一函数为最小（或最大）值的u（t），终端处某些变量的
最终值不是预先规定的。综上所述，性能指标与系统所收的控制作用和系统的状态有关，但是它不仅取决于某个固定时刻的控制变量和状态变量，而且与状态转移过程中的控制向量u（t）和状态曲线x（t）有关，因此性能指标是一个泛函[10]。六、最优控制的求解方法最优控制研究的主要问题是根据建立的被控对象的数学模型，选择一个容许的控制规律，使得被控对象按预定要求运行，并使给定的某一性能指标达到极小值或极大值。静态最优问题的目标函数是一个多元普通函数，求解静态最优控制问题常用的方法有经典微分法、线性规划、分割法（优选法）和插值法等。动态最优问题的目标函数是一个泛函，求解最优控制问题常用的方法有经典变分法、极大（极小）值原理、动态规划和线性二次型最优控制法等。对于动态系统，当控制无约束时，采用经典微分法或经典变分法；当控制有约束时，采用极大值原理或动态规划；如果系统是线性的，性能指标是性能指标是二次型形式的，则可采用线性二次型最优控制问题求解。
1、变分法变分法是求解泛函极值的一种经典方法，可以确定容许控制为开集的最优控制函数，也是研究最优控制问题的一种重要工具。掌握变分法的基本原理，还有助于理解以最小值原理和动态规划等最优控制理论的思想和内容。
但是，变分法作为一种古典的求解最优控制的方法，只有当控制向量u（t）不受任何约束，其容许控制集合充满整个m维控制空间，用古典变分法来处理等式约束条件下的最优控制问题才
是行之有效的。在许多实际控制问题中，控制函数的取值常常受到封闭性的边界限制，如方向舵只能在两个极限值范围内转动，电动机的力矩只能在正负的最大值范围内产生等。因此，古典变分法对于解决许多重要的实际最优控制问题，是无能为力的。
2、最小值原理最小值原理是由庞德亚金提出来的，它对于解决受约束的最优控制问题是很有效的。当u（t）不受约束时，可以用变分法成功地解决最优控制的求解问题。实际上，u（t）一般都是有约束的。当要求u（t）在一个m维的密闭集中取值时，变分法就不再适用了。这如同要求闭区间上连续可微函数的极值一样，令其倒数为零，求解时可能无解，但这不是真正意义上的无解，而是解可能出现在边界上。例如，y=kx在闭区间上存在最大值与最小值，但令0==ky，得不到有关最值的任何信息，问题是最值出现在边界上。与此类似，用变分法求解带有约束的最优控制，有时也是行不通的，因为最优控制往往要求在闭集的边界上取值。
极小值原理的突出优点是可用于控制变量受限制的情况，能给出问题中最优控制所必须满足的条件。虽然最小值原理为解决带有闭集约束的最优控制问题提供了有效的方法，但遗憾的是它只是一个必要条件。
3、动态规划动态规划又称为多级决策理论，是贝尔曼提出的一种非线性规划方法。动态规划的核心是贝尔曼的最优性原
理，它将一个多级决策问题化为一系列单极决策问题，从最后一级状态开始到初始状态为止，逆向递推求解最优决策。
动态规划法原理简明，适用于计算机求解，在许多理论问题的研究中，都应用到动态规划的思路。
动态规划是求解最优化问题的重要方法，在应用动态规划时，有一个前提条件是系统的状态变量必须满足“无后效性”。所谓无后效性的概念是：在任一时刻kt，系统状态为x（kt），以后的状态仅决定于x（kt）以及x（kt）到达终点时刻1t的状态x（1t）的控制策略，而与以前的状态和以前的控制策略无关。因此，在应用动态规划方法时，要注意状态变量的选取，使之满足“无后效性”的条件。例如，讨论物体在空间运动时，不仅选用物体的空间位置座位状态变量，而且要将速度变量也包括在状态变量之内，以便满足“无后效性”的条件。动态规划法的局限性还表现在所谓的“维数灾难”问题：当状态变量的维数增加，要求计算机内存成指数倍增长，计算工作量也大大增加。此外，求解连续决策过程采用的动态规划法得到的哈密顿-雅克比方程是偏微分方程，求解x（kt）也是相当困难的。动态规划虽然提供的是充分条件，但是，由于连续型系统的哈密顿-雅克比方程难于求解而不能满足实际需要。
4、三种方法之间的相互关系动态规划法、极小值原理和变分法，都是求解最优控制问题的重要方法。由动态规划的哈密顿-
雅克比方程，可以推得变分法中的欧拉方程和横截条件：也可以推得极小值原理的必要条件。
变分法对解决开集约束的最优控制问题分有效，但对于处理闭集性约束就无能为力了。变分法与极小值原理都可以解微分方程所描述的变分问题作为目标，结果得出了一组常微分方程所表示的必要条件。这三种方法要求的条件不同，其中属动态规划要求最高。在所要求的条件都满足的情况下，使用这三种方法所得结论相同。
随着社会科技的不断进步,最优控制理的应用领域分广泛，如时间最短、能耗最小、线性二次型指标最优、跟踪问题、调节问题和伺服机构问题等。但它在理论上还有不完善的地方，其中两个重要的问题就是优化算法中的鲁棒性问题和最优化算法的简化和实用性问题。大体上说，在最优化理论研究和应用方面应加强的课题主要有：（1）适合于解决工程上普遍问题的稳定性最优化方法的研究；（2）智能最优化方法、最优模糊控制器设计的研究；（3）简单实用的优化集成芯片及最优化控制器的开发和推广利用；（4）复杂系统、模糊动态模型的辩识与优化方法的研究；（5）最优化算法的改进。相信随着对这些问题的研究和探索的不断深入，最优控制技术将越来越成熟和实用，它也将给人们带来不可限量的影响。
应当指出，在求解动态最优问题中，若将时域[,]分成许多有效域段，在每一分段内，将变量近似看做常量，那么动态最优化
问题可近似按分段静态最优化问题处理，这就是离散事件最优化问题。显然，分段越多，近似的精确程度越多。所以，静态最优和动态最优问题不是截然分立，毫无联系的。最有问题也可以分为确定性和随机性两大类。在确定性问题中，没有随机变量，系统的参数都是确定的。七、目前最优控制理论的应用目前研究最优控制理论最活跃的领域有神经网络优化、遗传算法、鲁棒控制、预测控制、混沌优化控制以及稳态递阶控制等等[10]。
1、神经网络优化理论上神经网络是基于以梯度法为基础的一种全局网络，由于受到算法的限制，不能保证收敛结果全局最优。根据神经网络理论，网络总是朝着能量函数递减的方向运动，并最后到达系统的平衡点，也就是说:Hopfield能量函数的极小点就是系统稳定的平衡点，这样就只要得到系统的平衡点即得到能量函数的极小点。因此把神经网络动力系统的稳定吸引子设定为适当的能量函数的极小点，优化算法从初始状态就随着系统运动到终端状态。即得到了极小点。如果把全局优化理论运用到控制系统中，则控制系统的目标函数最终到达的正是所希望的最小点。
2、遗传算法与最优控制相结合的遗传算法已1用到丁许多领域，解决了如组合优化、优化调度、运输问题、电机优化设计等实际问题。曹洁为了求解Riccati方程，在遗传算法基础上运用最优控制理论，优化选择两个权矩阵Q阵和R阵，使线性二次型最优调节器问题(LQR)以及线性二次型高斯问题((LQG)得到优化设
计。曾进将改进的遗传算法引入受时间约束最优控制问题的求解，利用改进的遗传算法性能和收敛性，使受时间约束最优控制问题的求解获得满意的结果。
3、鲁棒控制鲁棒控制与最优控制结合解决许多如线性二次型控制、电机调速、跟踪控制、采样控制、离散系统的镇定、扰动抑制等等实际问题。王勋先提出了一种新的鲁棒最优控制器，该控制器使用Hm鲁棒控制理论设计抗扰调节器和二次型最优控制理论设计跟随调节器。应用于感应电机调速系统得到很好的效果。胡立生针对非线性不确定系统的采样控制，结合最优控制理论，研究了具有输出约束的一类非线性系统的鲁棒采样最优控制问题，结果表示为一些矩阵不等式。
4、预测控制最优控制理论在预测控制的应用主要是滚动优化算法，这种算法主要特点是把系统离散形式的有限优化目标实现滚动推进，使得在控制的全过程中实现了动态优化，而在控制的每一步实现静态参数优化。目前基于神经网络的多层智能预测控制模式得到了许多专家的研究和应用。邹健提出一种以小脑模型网络为多步预测模型的非线性预测控制算法，同时将遗传算法引入到滚动优化中来提高优化过程的收敛速度和求解精度。
5、混沌优化控制混沌运动是指在确定性非线性系统中不需附加任何随机因素亦可出现类似随机的行为。其基本的特征是运动轨道的不稳定性，表现为对初值的敏感依赖性或对小扰动的极端敏感性。混沌运动在一定的范围内按其自身的规律不重复地遍历
所有状态，这种遍历胜可被用来进行优化搜索且能避免陷入局部极小。因此，混沌优化技术已成为一种新兴的搜索优化技术。
6、稳态递阶控制递阶控制是一种计算机在线稳态优化的控制结构。其指导思想是将一大系统分解为若干个互相关联的一子系统。即把大系统的最优控制问题分解为各子系统的问题。在各个子系统之上设置一协调器，判断所得的子系统求解子问题结果是否适合整个大系统的最优控制，若否，则指示各子系统修改子问题并重新计算。通过协调器的相互迭代求解即可得到最优解。在实践的应用中，稳态控制的开环解并不是工业过程中最优状况。又提出一种新的方法:从实际过程提取关联变量的稳态信息，并反馈到上一级协调器用来修正基于模型求出的最优解，使之接近真实最优解。八、结束语现代控制工程与现代控制理论吸收了现代技术进步和现代数学发展的一切成果，同时最优控制也有了很大发展，如分布参数的最优控制、随即最优控制、自适应最优控制、大系统的最优控制和微分对策等，其中有大量的工程和理论问题尚待解决。可以毫不夸张的说，最优控制仍是一个分活跃的研究领域。
随着工业自动化的不断进步，最优控制在理论和实践两方面都得到了充分的发展。在理论方面，日前需要研究解决的两个卞要问题就是优化算法中的鲁棒性问题和最优化算法的简化与实用性问题。关于最优化算法的改进将是今后研究的卞要方向之一。在应用方面，最优控制己经在很多领域发挥了重要的作用，在随
机最优控制、分散最优控制、时间最短、能耗最小、线性一次型指标最优、跟踪问题、调节问题、伺服机构问题等中起到关键的作用。参考文献:[1]李国勇、最优控制理论与应用[M]、北京：国防工业出版社，xx、[2]胡寿松，王执铨，胡维礼、最优控制理论与应用[M]、北京：科学出本社，xx、[3]钱伟懿，徐恭贤，宫召华、最优控制理论及其应用[M]、大连：大连理工大学出版社，xx、[4]王朝珠，秦化淑、最优控制论[M]、北京：科学出版社，2003、[5]顾立钧、最优控制系统[M]、北京：水利电力出版社，19
93、[6]邓子辰、最优控制理论的发展及现状[J],大自然探索，1994，13（48），32-34[7] T、H、Tsang,A second-order gradient method for determining optimal trajectories of nonlinear discrete-time systems[J]、Int、J、Control3(1)，(1996)85-
95、[8]
A、E、Bryson,Y-
C、Ho、Applied Optimal Control, Blaisdell, Waltham, MA,19
69、[9]M、W、Helmy,F、Khalf and T、
A、Darwish、Well design using a computer model、SPE Drilling & Completion,19
98、
[10]H、O、Fattorini、Infinite Dimensional Optimization and Control Theory、 Cambridge, U、K;Cambridge University Press,19
99、11