使用神经网络对随机线性二次型奇异系统的最优控制

Optimal control for stochastic linear quadratic singular system using neural networks

N. Kumaresan *, P. Balasubramaniam Journal of Process Control 19 (2009) ：Page482–488

使用神经网络对随机线性二次型奇异系统的最优控制 N.库玛瑞森博士，P.巴拉苏布拉马尼亚姆 过程控制杂志19期(2009年)：引用482—488页 2

摘 要 在本文中,最优控制随机线性奇异系统与二次型已经在神经网络领域获得使用。其目的是提供最优控制和努力通过比较矩阵Riccati微分方程(MRDE)的解减少微积分获得了从众所周知的传统Runge-Kutta(RK)方法和传统神经网络方法。为了获得最优控制,MRDE的解可以通过前向神经网络(FFNN)计算得到。更接近神经网络方法得到的精确解来解决这一问题性能更好。该方法的优点是,一旦网络运行起来,它可以瞬时计算出评估方案在任意点和任意少量的时间和记忆的支出，其计算时间的方法比传统RK方法更快、耗时更短。下面一个数值算例给出了该方法。

关键词：矩阵微分方程；神经网络；最优控制；龙格库塔法；随机奇异线性系

统 3

1 简介 众多学者一直在研究随机线性二次型调节器(LQR)问题[文献2、6、8、15、34]。陈等人[文献12]的研究表明对于随机LQR问题是如果Riccati方程有解，那么可以得到最优反馈控制。关于LQR方面的问题，相关的研究Riccati方程，这是很自然的。然而，对于Riccati方程解的存在性和唯一性，一般来说，由于存在复杂的非线性项，这似乎成为一个很困难的问题。朱和李[文献36]采用迭代方法求解随机LQR问题中Riccati方程的随机性。常规Riccati方程有几种数值方法解，这些可能发生非线性过程基本误差积累。为了使误差最小，最近传统的Riccati方程分析了利用神经网络方法[文献3-5]。本文阐述了扩展的神经网络方法求解随机Riccati方程。 神经网络或简单的神经网络都是计算机系统，它可以通过训练学习两个或多个变量的某种复杂关系或数据集。具有类似于他们的生物学配对物的结构，经过神经网络处理信息和并行分布式简单处理节点连接的计算模型的组成形式[文献33]。神经网络技术已被成功地应用于许多领域，如函数逼近、信号处理和自适应或非线性系统的学习控制。利用神经网络，各式各样的对非线性系统离线学习控制算法已经开发出来[文献21，25]。为求解代数Riccati方程，各种数值算法[文献11]也已经随之开发出来。近年来，神经网络问题已经引起了越来越多的重视，许多研究人员进行了数值代数Riccati方程等方面的研究，见[文献16，17，32]。 奇异系统包含一个混合代数和微分方程组。从这个意义上说，代数方程组代表代数方程限定解的微分部分。这些系统也被称为退化、描述或半状态和广义状态空间系统。奇异系统的复杂本质导致在分析及数值处理这样的系统会遇到许多困难，尤其是在需要对它们的控制时。该系统自然演变成一个线性系统模型或者在许多领域应用的线性系统模型，如：电网、飞机动力学、中立型时滞系统、化学、热扩散过程、大型系统、机器人学、生物等。见[文献9，10，23]。 许多实际过程可以被建成为描述系统模型，如约束控制问题模型，电路模型，某些人口增长模型和奇异扰动模型。由于这样的事实，在过去的几年中，描述系统的稳定性问题以及控制问题已被广泛地研究，即描述系统能够比状态空间系统更好的描述某个物理系统。与状态空间系统相比，描述系统结构更复杂更完善。此外，由于描述系统通常有三种模式，即有限的动态模式、脉冲模式和非动态模式[文献13]，研究描述系统的动态性能比对状态空间系统研究困难，而后者两个不出现在状态空间系统。 由于标准二次型性能线性系统的最优控制理论发展迅速，其结果在许多实际设计问题中是最完整、最接近使用。该理论的二次成本控制问题被视为一个更有趣的问题，最小成本最优反馈控制一直是用于求解Riccati方程。Da Prato 和 4

Ichikawa[文献14]表明Riccati方程解的总是具有最优反馈控制、总成本最低的特征。MRDE解决的中心问题是最优控制理论。经常需要分析和综合求解这类方程，如线性二次型最优控制系统、控制系统鲁棒H2和H1控制[文献35]的性能标准、随机过滤和控制系统模型的降阶、微分对策等。其中在数学和工程学领域，一个最深入研究的非线性矩阵方程是Riccati方程。对于该方程，它存在一种或另一种形式，在最优控制问题，多变量、大规模系统，散射理论，估计检测、运输和辐射传输[文献19]中扮演一个重要的角色。该方程的解也很难从两个角度获得。一个是非线性的，另一个是用矩阵的形式表示。求解MRDE边界条件的最普通的方法是得到MRDE并将它转变成一个等价的线性微分哈密顿系统[文献20]。利用这个方法，得到与MRDE解的状态转换矩阵相关的哈密顿系统[文献31]。另一类方法是基于MRDE转变成一个线性矩阵微分方程，然后分析或计算求解MRDE[文献24，29，30]。然而，该方法[文献28]仅适用于当MRDE的某些系数是非奇异的情况下。在[文献20]，在制导导弹系统中提出了求解MRDE线性二次控制问题的

解析方法。MRDE中K(t)的解是通过)()()(tftptK,这里的f(t)和p(t)都是一阶普通线性微分方程的确定解。然而，给定技术操作仅限于单输入。 虽然并行算法的求解速度比序列算法更快，但是与RK方法相比，MRDE在神经网络解决方案中还没有提出新的报告。为了得到最优解，本文通过基于神经计算的途径求解MRDE。而求解的办法就是在整个有限域找到一致准确性和熟练的神经网络，从而提供一个简洁的解析解表达式。并给出一个实例与RK方法相比，说明该方法快速、计算准确等优势和特点。 本文组织如下：第二章，给出了问题的声明；第三章，提出了MRDE求解方案；第四章，讨论了数值算例；最后的结论部分论证了该方法的有效性。

2 问题的提出 考虑到线性动态奇异系统,可以表达成如下形式: ],0[,0)0(),()()]()([)(fttxtdWtDudttButAxtFdx (1)

某些情况下矩阵F可能是奇异的，nRtx)(是一个广义状态空间向量，nRtu)(

是控制变量并且在欧氏空间有一定的值，W(t)是一个布朗运动nnRA，mnRB和 mnRD

是已知的与x(t)和u(t)相关的系数矩阵，分别给出了0x初始

状态向量和nm。

为了使这两种状态和反馈控制系统的控制信号达到最小，通常是让这个二次 5

型性能指标最小化： dttRututQxtxtxFtxEJTTtfTfTf)]()()()([21)()(

2

1

0

式中上标T指移位算子,nnRS和nnRQ是)(tx的正定对称（或半正定）加权矩阵，R是u(t)的一个正定对称加权矩阵。假设对于某些S有0AsF。这种假设可保证任何输入u(t)会产生唯一的一个状态轨迹x(t)。 如果所有状态变量是可测量的，那么可以得到一个线性状态反馈控制律[文献1，36]

)())(()(11tBDtKDRtuTT 可以给出此系统描述Eq.(1)，此处 )()()(1tFxtKt (2)

nnRtK)(

是一个对称矩阵并且是MRDE的解。与MRDE相关的随机线性奇异系

统(1)是：

0)())(()()()()(1FtKBDtKDRBtKFQFtKFAtKFFtKFTTTTTT

(3)

它有终止条件 SFFtKTCTf)()(

和 0))((DtKDRT。

3 MRDE的引入 众所周知,最小化 J 相当于减少哈密顿量方程： )]()[()]()()[()(21)()(21)),(),(),(),((2121tDuttButAxttRuutQxtxttttutxHTTTT 在这里)()()(2tDutKt，通过最优轨迹。 利用随机最优性条件和随机极值原理[文献7]，我们所得到的哈密顿量方程 6

0)),(),(),(),(()(21ttttutxtu

H

这意味着 )())(()(0)()())((111tBDtKDRtutBtuDtKDRTTTT (4)

和

)()()]()([)()()()()]()([)()()(12111tdWtDudttButAxtFdxtdxFtHtdWdttAtQxtdFtdFtxHTTTT









(5)

由(4)，我们得到： )()()]())(()([)(11tdWtDudttBDtKDRBtAxtFdxTT (6)

由(2)，我们得到： )()()()()(1tFdxtKtFxtKtd

并且我们有： )()()()()(1tFdxtKFtFxtKFtdFTTT (7)

通过Eqs.(5)和(6)代入(7)，我们得到：

0)(])())(()()()()([1dMdttxFtKBDtKDRBtKFQFtKAAtKFFtKFTTTTTT

(8)

这里)()()(2tdWttDudM，并且M是可积鞅。 由于Eq.(8)适用于所有非零x(t)和M = 0，那么约定左乘 x(t)必须是零。因此,我们得到以下随机线性奇异系统(MRDE) (1)

0)())(()()()()(1FtKBDtKDRBtKFQFtKAAtKFFtKFTTTTTT

该方程已经在第二节求解K(t)得到最优解。在上述的方程式中运用适当的矩阵，将它们变成了一个奇异系统或者微分代数系统的一个指标。该系统运用一次代数微分方程可以变形为一个系统的非线性微分方程。所以，求解MRDE相当于求解系统的非线性微分方程。