Optimal control for stochastic linear quadratic singular system
using neural networks
N. Kumaresan *, P. Balasubramaniam
Journal of Process Control 19 (2009) ：Page482–488
使用神经网络对随机线性二次型奇异系统的最优控制N.库玛瑞森博士，P.巴拉苏布拉马尼亚姆过程控制杂志19期(2009年)：引用482—488页
摘要
在本文中,最优控制随机线性奇异系统与二次型已经在神经网络领域获得使用。其目的是提供最优控制和努力通过比较矩阵Riccati微分方程(MRDE)的解减少微积分获得了从众所周知的传统Runge-Kutta(RK)方法和传统神经网络
方法。为了获得最优控制,MRDE的解可以通过前向神经网络(FFNN)计算得到。更接近神经网络方法得到的精确解来解决这一问题性能更好。该方法的优点是,一旦网络运行起来,它可以瞬时计算出评估方案在任意点和任意少量的时间和记忆的支出，其计算时间的方法比传统RK方法更快、耗时更短。下面一个数值算例给出了该方法。
关键词：矩阵微分方程；神经网络；最优控制；龙格库塔法；随机奇异线性系统
1 简介
众多学者一直在研究随机线性二次型调节器(LQR)问题[文献2、6、8、15、34]。陈等人[文献12]的研究表明对于随机LQR问题是如果Riccati方程有解，那么可以得到最优反馈控制。关于LQR方面的问题，相关的研究Riccati方程，这是很自然的。然而，对于Riccati方程解的存在性和唯一性，一般来说，由于存在复杂的非线性项，这似乎成为一个很困难的问题。朱和李[文献36]采用迭代方法求解随机LQR问题中Riccati方程的随机性。常规Riccati方程有几种数值方法解，这些可能发生非线性过程基本误差积累。为了使误差最小，最近传统的Riccati方程分析了利用神经网络方法[文献3-5]。本文阐述了扩展的神经网络方法求解随机Riccati方程。
神经网络或简单的神经网络都是计算机系统，它可以通过训练学习两个或多个变量的某种复杂关系或数据集。具有类似于他们的生物学配对物的结构，经过神经网络处理信息和并行分布式简单处理节点连接的计算模型的组成形式[文献33]。神经网络技术已被成功地应用于许多领域，如函数逼近、信号处理和自适应或非线性系统的学习控制。利用神经网络，各式各样的对非线性系统离线学习控制算法已经开发出来[文献21，25]。为求解代数Riccati方程，各种数值算法[文献11]也已经随之开发出来。近年来，神经网络问题已经引起了越来越多的重视，许多研究人员进行了数值代数Riccati方程等方面的研究，见[文献16，17，32]。
奇异系统包含一个混合代数和微分方程组。从这个意义上说，代数方程组代表代数方程限定解的微分部分。这些系统也被称为退化、描述或半状态和广义状态空间系统。奇异系统的复杂本质导致在分析及数值处理这样的系统会遇到许多困难，尤其是在需要对它们的控制时。该系统自然演变成一个线性系统模型或者在许多领域应用的线性系统模型，如：电网、飞机动力学、中立型时滞系统、化学、热扩散过程、大型系统、机器人学、生物等。见[文献9，10，23]。
许多实际过程可以被建成为描述系统模型，如约束控制问题模型，电路模型，某些人口增长模型和奇异扰动模型。由于这样的事实，在过去的几年中，描述系统的稳定性问题以及控制问题已被广泛地研究，即描述系统能够比状态空间系统更好的描述某个物理系统。与状态空间系统相比，描述系统结构更复杂更完善。此外，由于描述系统通常有三种模式，即有限的动态模式、脉冲模式和非动态模式[文献13]，研究描述系统的动态性能比对状态空间系统研究困难，而后者两个不出现在状态空间系统。
由于标准二次型性能线性系统的最优控制理论发展迅速，其结果在许多实际设计问题中是最完整、最接近使用。该理论的二次成本控制问题被视为一个更有趣的问题，最小成本最优反馈控制一直是用于求解Riccati方程。Da Prato 和
Ichikawa [文献14]表明Riccati 方程解的总是具有最优反馈控制、总成本最低的特征。MRDE 解决的中心问题是最优控制理论。经常需要分析和综合求解这类方程，如线性二次型最优控制系统、控制系统鲁棒H2和H1控制[文献35]的性能标准、随机过滤和控制系统模型的降阶、微分对策等。其中在数学和工程学领域，一个最深入研究的非线性矩阵方程是Riccati 方程。对于该方程，它存在一种或另一种形式，在最优控制问题，多变量、大规模系统，散射理论，估计检测、运输和辐射传输[文献19]中扮演一个重要的角色。该方程的解也很难从两个角度获得。一个是非线性的，另一个是用矩阵的形式表示。求解MRDE 边界条件的最普通的方法是得到MRDE 并将它转变成一个等价的线性微分哈密顿系统[文献20]。利用这个方法，得到与MRDE 解的状态转换矩阵相关的哈密顿系统[文献31]。另一类方法是基于MRDE 转变成一个线性矩阵微分方程，然后分析或计算求解MRDE[文献24，29，30]。然而，该方法[文献28]仅适用于当MRDE 的某些系数是非奇异的情况下。在[文献20]，在制导导弹系统中提出了求解MRDE 线性二次控制问题的解析方法。MRDE 中K(t)的解是通过)
()
()(t f t p t K =,这里的f(t)和p(t)都是一阶普通
线性微分方程的确定解。然而，给定技术操作仅限于单输入。
虽然并行算法的求解速度比序列算法更快，但是与RK 方法相比，MRDE 在神经网络解决方案中还没有提出新的报告。为了得到最优解，本文通过基于神经计算的途径求解MRDE 。而求解的办法就是在整个有限域找到一致准确性和熟练的神经网络，从而提供一个简洁的解析解表达式。并给出一个实例与RK 方法相比，说明该方法快速、计算准确等优势和特点。
本文组织如下：第二章，给出了问题的声明；第三章，提出了MRDE 求解方案；第四章，讨论了数值算例；最后的结论部分论证了该方法的有效性。
2 问题的提出
考虑到线性动态奇异系统,可以表达成如下形式:
],0[,0)0(),()()]()([)(f t t x t dW t Du dt t Bu t Ax t Fdx ∈=++= (1)
某些情况下矩阵F 可能是奇异的，n R t x ∈)(是一个广义状态空间向量，n
R t u ∈)(是控制变量并且在欧氏空间有一定的值，W(t)是一个布朗运动n
n R
A ?∈，
m n R B ?∈和 m n R D ?∈是已知的与x(t)和u(t)相关的系数矩阵，分别给出了0x 初始
状态向量和n m ≤。
为了使这两种状态和反馈控制系统的控制信号达到最小，通常是让这个二次
型性能指标最小化：
?
?????++=?dt t Ru t u t Qx t x t x F t x E J T T t f T
f T f
)]()()()([21)()(210
式中上标T 指移位算子,n
n R
S ?∈和n
n R
Q ?∈是)(t x 的正定对称（或半正定）加权
矩阵，R 是u(t)的一个正定对称加权矩阵。假设对于某些S 有0≠-A sF 。这种假设可保证任何输入u(t)会产生唯一的一个状态轨迹x(t)。
如果所有状态变量是可测量的，那么可以得到一个线性状态反馈控制律[文献1，36]
)())(()(11t B D t K D R t u T T λ-+-=
可以给出此系统描述Eq.(1)，此处
)()()(1t Fx t K t =λ (2)
n n R t K ?∈)(是一个对称矩阵并且是MRDE 的解。与MRDE 相关的随机线性奇异系统(1)是：
)())(()()()()(1
=+-+++-F t K B D t K D R B t K F Q F t K F A t K F F t K F T
T
T
T T T (3)
它有终止条件
SF F t K TC T f =)()(
和
0))((>+D t K D R T 。
3 MRDE 的引入
众所周知,最小化 J 相当于减少哈密顿量方程：
)]()[()]()()[()(21)()(21)
),(),(),(),((2121t Du t t Bu t Ax t t Ru u t Qx t x t t t t u t x H T
T T T λλλλ++++= 在这里)()()(2t Du t K t =λ，通过最优轨迹。
利用随机最优性条件和随机极值原理[文献7]，我们所得到的哈密顿量方程
0)),(),(),(),(()
(21=??t t t t u t x t u H
λλ 这意味着
)
())(()(0)()())((11
1t B D t K D R t u t B t u D t K D R T
T
T T λλ-+-=?=++ (4)
和
)()()]()([)()()
()()]()([)()()
(12111t dW t Du dt t Bu t Ax t Fdx t dx F t H
t dW dt t A t Qx t d F t d F t x H
T T T T ++=?=??+--=?=??λλλλλ (5)
由(4)，我们得到：
)()()]())(()([)(11t dW t Du dt t B D t K D R B t Ax t Fdx T T ++-=-λ (6)
由(2)，我们得到：
)()()()()(1t Fdx t K t Fx t K t d +=λ
并且我们有：
)()()()()(1t Fdx t K F t Fx t K F t d F T T T +=λ (7)
通过Eqs.(5)和(6)代入(7)，我们得到：
)(])())(()()()()([1
=++-+++-dM dt t x F t K B D t K D R B t K F Q
F t K A A t K F F t K F T
T
T
T T T (8)
这里)()()(2t dW t t Du dM λ-=，并且M 是可积鞅。
由于Eq.(8)适用于所有非零x(t)和M = 0，那么约定左乘 x(t)必须是零。因此,我们得到以下随机线性奇异系统(MRDE) (1)
)())(()()()()(1
=+-+++-F t K B D t K D R B t K F Q F t K A A t K F F t K F T
T
T
T T T
该方程已经在第二节求解K(t)得到最优解。在上述的方程式中运用适当的矩阵，将它们变成了一个奇异系统或者微分代数系统的一个指标。该系统运用一次代数微分方程可以变形为一个系统的非线性微分方程。所以，求解MRDE 相当于求解系统的非线性微分方程。
4 MRDE 的求解
考虑系统的微分方程(3)
).,...,2,1,(,))(()),(()(n j i A t k t k t k ij f ij ij ij ij ==Φ=?
(9)
4.1 Runge –Kutta 法求解
在连续时间动力学中，常微分方程的数值解是最重要的技术。由于大多数的微分方程是无法分析求解的，数值积分就是获得信息的唯一途径。下面提出了几种方法，用于准确求解各种类型的微分方程。他们是Runge-Kutta 法，亚当斯前击法和向后微分公式法。上述所有方法都能使微分系统离散化产生差分方程。
选择Runge-Kutta 法的优势如下：
1.它采用四阶方法思想，因此与低阶方法相比有更精确解，如：泰勒法,欧拉法。
2.它能够精确调整为每一个问题。
3.它采用控制理论思想，能有效控制步长的大小。
4.在该方法中，步长的大小变化比其他方法如BDF(向后微分公式法)更简单。
RK 算法已被认为是常微分方程中数值积分最好的工具(ODEs)。系统(9)包含带有n 2变量的一阶常微分方程组。特别是当n =2时，系统将包含四个等式。由于矩阵K(t)是对称的，并且该系统是奇异的，则k 12 = k 21且k 22是不受约束的(令k 22 = 0)。最后，系统将含有两个变量和两个方程。因此用RK 思想将系统表示成含有两个变量的一阶常微分方程组。
),
22(6
1
)()1(),
22(6
1
)()1(4321121243211111l l l l i k i k k k k k i k i k ++++=+++++=+
其中
)
2
,2()
2,2()
,(),(1
1211112211211111212111211211111l k k k h l l k k k h k k k h l k k h k ++Φ*=++Φ*=Φ*=Φ*=
)
,(),()2
,2()
2,2(3123111243123111142122111232
12211113l k k k h l l k k k h k l
k k k h l l k k k h k ++Φ*=++Φ*=++Φ*=++Φ*=
用同样的方式，原系统(9)可以用含有 n 2 的一阶常微分方程组求解。
4.2 神经网络求解
在本方法中，新型前馈神经网络用于将Eq.(9)的误差解转变为求神经网络(9)的解。误差解可表示为两个不同的术语如下(参见[22])：
),()()(ij j ij ij a ij W t tN A t k -= (10)
第一个术语满足了TCs 和包含不可调和参数。第二个术语采用一种前馈神经网络和同神经结构权重对应的参数W ij 。
考虑一个拥有n 个输入单位、n 个反曲双隐层单位和一个线性输出设备的多层感知器。对于一个给定的输入向量，网络输出为
∑==n
i i i ij z v N 1
)(σ (11)
其中
∑=+=n
i i j ij i u t w z 1
W ij 指从输入单元 j 到隐藏单元 i 的权重，i v 指从隐藏单元 i 到输出单元的权重，i u 指隐藏单元 i 的偏移，)(z σ是反曲的传递函数。
式(11)的可微性的阶数和激活函数)(*r 相同。由于我们选择的sigmoid 函数是无穷可微函数，就给定的输入，网络输出将是
∑∑=='=?????=??n i ij ij i j i
n i i
ij j ij w N v t z z N t N 11)(σ (12) 其中)(*'r 表示sigmoid 函数就其标量输入，Eqs.(11)和(12)分别构成网络的输出和梯度方程。
误差量可由下式最小化
2
1.))(())((a ij ij n
j i a ij r k k ?E Φ-=∑=?
(13)
神经网络进行训练，直到误差函数(13)变成零。一旦r E 趋于零，(10)的误差解就是神经网络方程(9)的解。
4.3 FFNN 结构
FFNN 结构由n 个输入单元、一个包含n 个反曲单元隐层和一个线性输出。每个神经元的输出是基于它的输入内积和适当的权值向量。图1出了神经网络结构用来计算N ij 。
权重和网络偏差初始值遵循Nguyenand Widrow 规则[文献26，27]。该规则的作用是通过设定初始网络权重的隐层，每一个隐藏的节点分配自己的区间，从而加快训练过程。在训练期间，网络训练的每个隐藏节点可以自由调整其区间的大小和它的位置。函数)(t k ij 在区域(0，1)内神经网络不是全开状态的，它只有一种长度，但有n 个隐藏的单元。因此，每一个隐藏的单位负责一个平均长度为n 1的区间。由于)(i j ij u t w +σ在1
0<+
ij j u w t -<
<1
长度为
)
(1
i j ij u t w -
因此
n
u w n u w i ij i ij =-=-1
1 然而，所选区间最好略有重叠，这样我们可以选取n w ij 7.0=，接着采集下一个i u ，那么区间就位于10< =-=i ij j u w ?t 介于0和1之间的均匀随机值 这种良好的初始化可以大大加快学习过程。 权重和偏差通过用Leven berg - Marquardt (LM)算法[文献18]的迭代更新，直到误差函数趋近于零。LM 算法是一种变化的牛顿法，其目的是尽量使其他非线性函数的平方和最小化。这非常适合于神经网络训练。 让我们首先考虑牛顿法的误差函数是平方和形式的情况，假设误差函数相对于参数向量ij k 已经最小化，那么牛顿法可以描述成 ), ()]([,)()(1 21ij r ij r ij ij i ij i ij k E k E k k k k ??=??-=-+ (14) 其中ij r k E 2 ?是一个海森矩阵，ij r k E ?是梯度，如果r E 假设为一个平方和函数,)()(12∑==N i ij i ij r k e k E 那么我们可以得到 ), ()()()(),()()(2 ij ij ij T ij r ij ij T ij r k S k J k J k E k e k J k E +=?=? 这里的ij Jk 是雅可比矩阵 ?????? ??? ? ? ???????????????????=n ij ij N ij ij N ij ij N n ij ij ij ij ij ij n ij ij ij ij ij ij ij k k e k k e k k e k k e k k e k k e k k e k k e k k e k J )()()()() ()()()()()()() ()()()() ()() ()(2 122 21 212111 和 ∑?=N i ij i ij i ij k e k e k S ).()()(2 运用高斯-牛顿法，又假定0)(≈ij k S ，那么等式组(14)可变形为 )].()()([ij ij T ij T ij k e k J k J k =? 则Levenberg –Marquardt 将高斯-牛顿法改进为 ).()(])()([)()(11ij ij T ij ij T i ij i ij k e k J I k J k J k k -++-=μ 无论是否增加ij r k E ，这里的参数μ都会和一些因子)(β相乘，当每一步减少 ij r k E ，μ被β分割，注意此处μ值很大，这个公式的值将会最速下降变小，该 方法称为高斯-牛顿法，LM 法是训练中等前馈神经网络最快的方法，神经网络算法可以在CPU 为1.7GHZ 的个人电脑上使用MATLAB 软件运行，它通过用神经计算的方法来近似求解线性随机奇异系统(1)的MRDE(3) 图.1 神经网络结构 5 神经网络算法 步骤1：馈入输入向量j t 。 步骤2：用Nguyen and Widrow 规则初始化随机权重矩阵ij w 和偏移量i u 。 步骤3：计算∑=+=n j i j ij i u t w z 1。 步骤4：将i z 的值传递给n 个奇异函数。 步骤5：从隐藏单元初始化权重向量i v 到输出单元。 步骤6：计算∑==n i i i ij z v N 1 )(σ。 步骤7：计算purelin 函数)(ij N 。 步骤8：计算误差函数r E 的值。 步骤9：如果r E 值为0，停止训练；否则用LM 算法更新权重矩阵。 步骤10：重复神经网络训练直到下面误差函数 ∑=Φ-=n j i a ij ij a ij r k k E 1 ,2.0)))(()(( 该神经网络训练流程图已经在图.2中给出。 6 数值实例 考虑最优控制问题： 最小化 ? ?? ???++=?f t T T f T f T dt t Ru t u t Qx t x t SFx F t x E J 0])()()()([21)()(21 它满足奇异线性系统 ： .)0(),()()()([)(0x x t dW t Du dt t Bu t Ax t Fdx =++= 这里： . 01,0001,1,10, 4021,0001,0001??? ? ??=???? ??==???? ??=??? ? ??--=???? ??=???? ??=D Q R B A F S 为了求解以上与MRDE 相关的线性奇异系统，数值实现应该满足条件2=f t ，采用适当的矩阵代替Eq. (3)。在11k 和12k 中将MRDE 化为系统的微分方程，在这个问题里，在系统的矩阵K(t)中22k 是随机值，不妨设022=k ，则该系统的非线性微分方程为 .0)2(,1)(1221, 1)2(,1)(1212112 1211121111 2121111=??? ? ??++-==++-=? ? k k k k k k k k k k 一个有5个隐藏单元的隐藏层和一个线性输出单位被使用的多层感知器，每个隐藏单位的曲形激活函数是t e t -+= 11 )(σ。误差函数是 2 112 1211122 112 1211111)(12211)(12??? ? ???????? ?????? ??++--+?????????? ??++--=? ? k k k k k k k k E r 在区间[0，2]内选取等距点作为输入向量。其学习速率是0.05。网络的权重和偏差遵循Nguyen 和Widrow 规则进行初始化，并利用Levenberg-Marquardt (LM)算法被反复更新。在100个周期之后网络的输出为： 对应误差函数的值为0.0003。 一个有10个隐藏单元的隐藏层和一个线性输出单位被使用的多层感知器。在100个周期之后网络的输出为： 对应误差函数的值为0.0000005。运用RK 方法和神经网络近似方法，MRDE 通过计算得到数值解并显示在表.1上。一个有10个隐藏单元的隐藏层和一个线性输出单位被使用的多层感知器，每个隐藏单位的曲形激活函数是t e t -+=11 )(σ。 6.1 神经网络解的曲线 神经网络和传统RK 方法求MRDE 的解和解之间的误差显示在图.3~图.6上。所求解的数值结果在表.1中列出。神经网络求解的计算时间是1.6秒。 而用RK 方法求解的计算时间是2.2秒。因此，神经网络解法比RK 方法更快速。 7 总结 随机线性奇异系统最优控制是通过神经网络的方法获得的。在这种方法中，很明显，所构造的误差函数 E在很短的时间内趋于0。因此，神经网络方法可以 r 作为一个比标准解法如RK方法明显快速的MRDE解法。我们已经给出一个数值算例说明推导结果。寻找最优控制的长微积分时间是为了避免使用神经最优控制器。最优解的有效近似可以使用CPU 为1.7GHZ的计算机上使用MATLAB软件实现。 致谢 作者非常感谢评审团对提高这篇论文所提出的宝贵意见。作者的工作得到了国务院科学与技术部政府的支持。印度-新德里-SERC 项目序号：SR / S4 / MS:485/07 日期：2008年4月21日。 参考文献 [1] M. Ait Ram, J.B. Moore, X.Y. Zhou, Indefinite stochastic linear quadratic control and generalized differential Riccati equation, SIAM J. Control Optim. 40 (2001) 1296–1311. [2] M. Athens, Special issues on linear quadratic Gaussian problem, IEEE Automat.Control AC-16 (1971) 527–869. [3] P. Balasubramaniam, J. Abdul Samath, N. Kumaresan, A. Vincent Antony Kumar, Solution of matrix Riccati differential equation for the linear quadratic singular system using neural networks, Appl. Math. Comput. 182 (2006) 1832–1839. [4] P. Balasubramaniam, J. Abdul Samath, N. Kumaresan, Optimal control for nonlinear singular systems with quadratic performance using neural networks, Appl. Math. Comput. 187 (2007) 1535–1543. [5] P. Balasubramaniam, J. Abdul Samath, N. Kumaresan, A. Vincent Antony Kumar, Neuro approach for solving matrix Riccati differential equation, Neural Parallel Sci. Comput. 15 (2007) 125–135. [6] A. Bensoussan, Lecture on stochastic control part I, in: Nonlinear and Stochastic Control, Lecture Notes in Math, vol. 972, Springer-Verlag, Berlin, 1983, pp. 1–39. [7] J.M. Bismut, An introductory approach to duality in optimal stochastic control, Syst. Control Lett. 39 (2000) 79–86. [8] F. Bucci, L. Pandolfi, The regulator problem with indefinite quadratic cost for boundary control systems: the finite horizon case, Syst. Control Lett. 39 (2000) 79–86. [9] S.L. Campbell, Singular Systems of Differential Equations, Pitman, Marshfield, MA, 1980. [10] S.L. Campbell, Singular Systems of Differential Equations II, Pitman, Marshfield, MA, 1982. [11] C.H. Choi, A survey of numerical methods for solving matrix Riccati differential equation, Proc. Southeastcon (1990) 696–700. [12] S.P. Chen, X.J. Li, X.Y. Zho, Stochastic linear quadratic regulators with indefinite control weight costs, SIAM J. Control Optim. 36 (5) (1998) 1685–1702. [13] L. Dai, Singular Control Systems, Lecture Notes in Control and Information Sciences, Springer, New York, 1989. [14] G. Da Prato, A. Ichikawa, Quadratic control for linear periodic systems, Appl. Math. Optim. 18 (1988) 39–66. [15] M.H.A. Davis, Linear Estimation and Stochastic Control, Chapman and Hall, London, 1997. [16] S.W. Ellacott, Aspects of the numerical analysis of neural networks, Acta Numer. 5 (1994) 145–202. [17] F.M. Ham, E.G. Collins, A neurocomputing approach for solving the algebraic matrix Riccati equation, Proc. IEEE Int. Conf. Neural Networks 1 (1996) 617–622. [18] M.T. Hagan, M. Menhaj, Training feedforward networks with the Marquardt algorithm, IEEE Trans. Neural Networks 5 (6) (1994) 989–993. [19] M. Jamshidi, An overview on the solutions of the algebraic matrix Riccati equation and related problems, Large Scale Syst. 1 (1980) 167–192. [20] L. Jodar, E. Navarro, Closed analytical solution of Riccati type matrix differential equations, Indian J. Pure Appl. Math. 23 (1992) 185–187. [21] A. Karakasoglu, S.L. Sudharsanan, M.K. Sundareshan, Identification and decentralized adaptive control using neural networks with application to robotic manipulators, IEEE Trans. Neural Networks 4 (1993) 919–930. [22] I.E. Lagaris, A. Likas, D.I. Fotiadis, Artificial neural networks for solving ordinary and partial differential equations, IEEE Trans. Neural Networks 9 (1998) 987–1000. [23] F.L. Lewis, A survey of linear singular systems, Circ. Syst. Sig. Proc. 5 (1) (1986) 3–36. [24] N. Lovren, M. Tomic, Analytic solution of the Riccati equation for the homing missile linear quadratic control problem, J. Guid. Control Dynam. 17 (1994) 619–621. [25] K.S. Narendra, K. Parathasarathy, Identification and control of dynamical systems using neural networks, IEEE Trans. Neural Networks 1 (1990) 4–27. [26] D. Nguyen, B. Widrow, Improving the learning speed of 2-layer neural networks by choosing initial values of the adaptive weights, Proc. Int. Joint Conf. Neural Networks III (1990) 21–26. [27] A.P. Paplinski, Lecture notes on feedforward multilayer neural networks (NNet(L.5)), 2004. [28] M. Razzaghi, A Schur method for the solution of the matrix Riccati equation, Int. J. Math. Math. Sci. 20 (1997) 335–338. [29] M. Razzaghi, Solution of the matrix Riccati equation in optimal control, Inform. Sci. 16 (1978) 61–73. [30] M. Razzaghi, A computational solution for a matrix Riccati differential equation, Numer. Math. 32 (1979) 271–279. [31] D.R. Vaughu, A negative exponential solution for the matrix Riccati equation, IEEE Trans Automat. Control 14 (1969) 72–75. [32] J. Wang, G. Wu, A multilayer recurrent neural network for solving continuous time algebraic Riccati equations, Neural Networks 11 (1998) 939–950. [33] P. De Wilde, Neural Network Models, second ed., Springer-Verlag, London, 1997. [34] W.M. Wonham, On a matrix Riccati equation of stochastic control, SIAM J. Control Optim. 6 (1968) 681–697. [35] K. Zhou, P. Khargonekar, An algebraic Riccati equation approach to H1 optimization, Syst. Control Lett. 11 (1998) 85–91. [36] J. Zhu, K. Li, An iterative method for solving stochastic Riccati differential equations for the stochastic LQR problem, Optim. Methods. Softw. 18 (2003) 721–732. 随机控制理论的一个主要组成部分是随机最优控制，这类随机控制问题的求解有赖于动态规划的概念和方法。 简介 随机控制理论 随机控制理论的目标是解决随机控制系统的分析和综合问题。维纳滤波理论和卡尔曼-布什滤波理论是随机控制理论的基础之一。 内容 控制理论中把随机过程理论与最优控制理论结合起来研究随机系统的分支。随机系统指含有内部随机参数、外部随机干扰和观测噪声等随机变量的系统。随机变量不能用已知的时间函数描述，而只能了解它的某些统计特性。自动控制系统分为确定性系统和不确定性系统两类，前者可以通过观测来确定系统的状态，后者则不能。随机系统是不确定性系统的一种，其不确定性是由随机性引起的。严格地说，任何实际的系统都含有随机因素，但在很多情况下可以忽略这些因素。当这些因素不能忽略时，按确定性控制理论设计的控制系统的行为就会偏离预定的设计要求，而产生随机偏差量。 涉及领域 飞机或导弹在飞行中遇到的阵风，在空间环境中卫星姿态和轨道测量系统中的测量噪声，各种电子装置中的噪声，生产过程中的种种随机波动等，都是随机干扰和随机变量的典型例子。随机控制系统的应用很广，涉及航天、航空、航海、军事上的火力控制系统，工业过程控制，经济模型的控制，乃至生物医学等。 研究课题 随机控制理论研究的课题包括随机系统的结构特性和运动特性(如动 态特性、能控性、能观测性、稳定性)的分析，随机系统状态的估计，以及随机控制系统的综合（即根据期望性能指标设计控制器）。随机系统中含有随机变量，所以在研究中需要使用随机过程的基本概念和概率统计方法。严格实现随机最优控制是很困难的。对于线性二次型高斯(LQG)随机过程控制问题,包括它的特例最小方差控制问题，可以应用分离原理把随机最优控制问题分解成状态估计问题和确定性最优控制问题，最终能得到全局最优的结果。但对于一般的随机控制问题应用分离原理只能得到次优的结果。随机状态模型 一、主动控制简介 概念：结构主动控制需要实时测量结构反应或环境干扰，采用现代控制理论的主动控制算法在精确的结构模型基础上运算和决策最优控制力，最后作动器在很大的外部能量输入下实现最优控制力。 特点：主动控制需要实时测量结构反应或环境干扰，是一种需要额外能量的控制技术，它与被动控制的根本区别是有无额外能量的消耗。 优缺点：主动控制具有提高建筑物的抵抗不确定性地面运动，减少输入的干扰力，以及在地震时候自动地调整结构动力特征等能力，特别是在处理结构的风振反应具有良好的控制效果，与被动控制相比，主动控制具有更好的控制效果。但是，主动控制实际应用价格昂贵，在实际应用过程中也会存与其它控制理论相同的问题，控制技术复杂、造价昂贵、维护要求高。 组成：传感器、控制器、作动器 工作方式：开环、闭环、开闭环。 二、简单回顾主动控制的应用与MATLAB应用 1.主动变刚度A VS控制装置 工作原理：首先将结构的反应反馈至控制器，控制器按照事先设定好的控制算法并结合结构的响应，判断装置的刚度状态，然后将控制信号发送至电液伺服阀以操纵其开关状态，实现不同的变刚度状态。 锁定状态（ON）：电液伺服阀阀门关闭，双出杆活塞与液压缸之间没有相对位移，斜撑的相对变形与结构层变形相同，此时结构附加一个刚度； 打开状态（OFF）：电液伺服阀阀门打开，双出杆活塞与液压缸之间有相对位移，液压缸的压力差使得液体发生流动，此过程中产生粘滞阻尼，此时结构附加一个阻尼。 示意图如下： 2. 主动变阻尼A VD控制装置 工作原理：变孔径阻尼器以传统的液压流体阻尼器为基础，利用控制阀的开孔率调整粘性油对活塞的运动阻力，并将这种阻力通过活塞传递给结构，从而实现为结构提供阻尼的目的。 关闭状态（ON）：开孔率一定，液体的流动速度受限，流动速度越小，产生的粘滞阻尼力越大，开孔率最小时，提供最大阻尼力，此时成为ON状态； 打开状态（OFF）：控制阀完全打开，由于液体的粘滞性可提供最小阻尼力。 示意图如下： 线性二次型最优控制 一、最优控制概述 最优控制，又称无穷维最优化或动态最优化，是现代控制理论的最基本，最核心的部分。它所研究的中心问题是：如何根据受控系统的动态特性，去选择控制规律，才能使得系统按照一定的技术要求进行运转，并使得描述系统性能或品质的某个“指标”在一定的意义下达到最优值。最优控制问题有四个关键点：受控对象为动态系统；初始与终端条件（时间和状态）；性能指标以及容许控制。 一个典型的最优控制问题描述如下：被控系统的状态方程和初始条件给定，同时给定目标函数。然后寻找一个可行的控制方法使系统从输出状态过渡到目标状态，并达到最优的性能指标。系统最优性能指标和品质在特定条件下的最优值是以泛函极值的形式来表示。因此求解最优控制问题归结为求具有约束条件的泛函极值问题，属于变分学范畴。变分法、最大值原理（最小值原理）和动态规划是最优控制理论的基本内容和常用方法。庞特里亚金极大值原理、贝尔曼动态规划以及卡尔曼线性二次型最优控制是在约束条件下获得最优解的三个强有力的工具，应用于大部分最优控制问题。尤其是线性二次型最优控制，因为其在数学上和工程上实现简单，故其有很大的工程实用价值。 二、线性二次型最优控制 2.1 线性二次型问题概述 线性二次型最优控制问题，也叫LQ 问题。它是指线性系统具有二次型性能指标的最优控制问题。线性二次型问题所得到的最优控制规律是状态变量的反馈形式，便于计算和工程实现。它能兼顾系统性能指标的多方面因素。例如快速性、能量消耗、终端准确性、灵敏度和稳定性等。线性二次型最优控制目标是使性能指标J 取得极小值, 其实质是用不大的控制来保持比较小的误差,从而达到所用能量和误差综合最优的目的。 2.2 线性二次型问题的提法 给定线性时变系统的状态方程和输出方程如下： ()()()()()()()() X t A t X t B t U t Y t C t X t ?=+? =? （2.1） 通信信道的随机线性控制 Sekhar Tatikonda 会员IEEE Anant Sahai, 会员IEEE Sanjoy Mitter 终身会员IEEE 摘要我们研究线性随机控制系统时，有一个通信信道连接传感器到控制器。问题由信道编码器和解码器以及控制器满足某些给定的控制目标的设计。特别是，我们检查的作用传播对经典的线性二次高斯问题。我们给的条件下，估计和控制之间的持有和确定性等价控制律优化经典的分离性能。然后我们提出了连续的率失真框架。我们目前所能达到的性能界限和显示控制和通信成本之间固有的权衡。特别是，我们证明了最优二次型成本分解为两个方面：一个完整的知识成本与顺序的率失真成本。 指数条款确定性等价控制，通信约束的网络控制，顺序，分离，率失真，线性随机系统。 一、引言 最近的技术进步已经引导网络控制系统的设计活动的增加。在本文中，我们研究一个随机控制问题，那里是一个通信信道连接传感器到控制器。这个问题出现时，控制器和设备，在地理位置上是分离的，有一个带限和可能是嘈杂的通信信道连接。此外，出现时，控制器和设备之间没有大的地理分离的通信约束，但有一个共享的通信介质，被用在在同一地区的其他用户，或作为更大的系统的一部分。虽然我们不明确地检查每一本文的网络问题，我们认为，通信约束的作用，一个基本的了解，将是一个更完整的网络控制理论的本质。 我们考虑的系统是由一个设备，一个编码器，信道，解码器，和一个控制器。设备和信道是直接给我们的。我们的任务是设计的编码器，解码器，控制器，以满足某些给定的控制目标。因为我们有一个分布式信息系统模式的选择，[ 26 ]，可以有显着的影响控制性能是可以实现的。我们讨论了在编码器的信息模式的选择上需要实现控制目标的通信要求的影响。尤其是，我们研究的对象，传播对经典的线性二次高斯（LQG）问题。为此我们提出的顺序的率失真（SRD）框架。我们得到的边界上所能达到的性能和显示控制和通信成本之间固有的权衡。特别是，我们将最优LQG成本分解为两个方面：一个完整的知识成本与顺序的率失真成本。 手稿收到2003年6月4日；2003年12月19日修订。由客座编辑P. antsaklis和J. Baillieul推荐。这项工作是由美国陆军研究办公室在穆里格兰特：传感器数据融合在大的daad19-00-1-0466阵列，并由国防部在穆里格兰特：协同控制subaward复杂自适应网络03-132。 S. Tatikonda，美国耶鲁大学，纽黑文，CT 06520 USA（电子邮件：ekhar.tatikonda@https://www.doczj.com/doc/b413001131.html,）。 A. Sahai ，加利福尼亚大学伯克利分校，CA 94720 USA。 S. Mitter，美国麻省理工大学，剑桥，MA 02139 USA。 数字对象标识符10.1109/tac.2004.834430。 有两个经典的概念，在本文中我们研究的分离。第一个概念是状态估计和控制之间的控制理论的分离。我们目前的条件下，确保确定性等价控制律的最优性。这些工作是建立在Bar-Shalom and Tse [3]的基础上。第二个是信源编码和信道编码之间的信息理论的分离。特别是，在长时间的延迟的限制下，它是已知的可以不失一般性的，设计的信源编码器和信道编码器分别[ 11 ]。这种分离是众所周知的应用广泛，[ 25 ]，但是，在一般情况下，失败的短期延迟和不稳定的过程。在大量的延迟限制下，[ 18 ]表明不稳定过程的估计可以适当修改分离定理，但这个信息理论的结果并不延伸到有限的延迟的情况下。由于延迟是一个重要的问题，在控制中的应用我们不能用信息理论的分离效果，去解决我们的问题。处理这种延迟的问题，我们提出了连续的率失真框架首先介绍[ 13 ]和进一步发展[ 19] ，[ 20 ]，和[ 23 ]。 线性二次型最优控制的MATLAB实现 一理论依据 应用经典控制理论设计控制系统，能够解决很多简单、确定系统的实际设计问题。但对于多输入多输出系统与阶次较高的系统，往往得不到满意的结果，这时就需要有在状态空间模型下建立的最优控制策略。 最优控制是现代控制理论的核心。最优控制理论的实现，离不开一系列的最优化方法，主要包括两个方面就是如何将最优化问题表示为数学模型，如何根据数学模型尽快求出其最优解。线性二次型最优控制设计是基于状态空间技术来设计一个优化的动态控制器，其目标函数是状态和控制输入的二次型函数。二次型问题就是在线性系统约束条件下选择控制输入使二次型目标函数达到最小。由于线性二次型最优控制问题的性能指标具有鲜明的物理意义，其最优解具有统一的解析表达式，且可导致一个简单的线性状态反馈控制律，易于构成闭环最优反馈控制，便于工程实现，因而在实际工程问题中得到了广泛的应用。 二MATLAB程序 >> clear >> syms x1 x2 x3; >> x=[x1;x2;x3]; >> A=[0 1 0;0 0 1;0 -2 -3]; >> B=[0;0;1]; >> R=1; >> Q=[1000 0 0;0 1 0;0 0 1]; >> N=0; >> [K,P,E]=lqr(A,B,Q,R) >> u=-inv(R)*B'*P*x K = 31.6228 19.0661 3.9377 P = 666.1690 219.3906 31.6228 219.3906 108.5284 19.0661 31.6228 19.0661 3.9377 u = -(5366634056803559*x2)/281474976710656 - (4433500461210591*x3)/1125899906842624 - 10*10^(1/2)*x1 三Simulink仿真图及其响应曲线 利用simulink仿真，画出系统反馈前后的仿真图、输出图像和性能指标图。分析分析反馈前后关系曲线。 图1 反馈前系统的仿真图 连续线性二次型最优控制的MATLAB 实现 1.绪 论 最优控制问题就是在一切可能的控制方案中寻找一个控制系统的最优控制方案或最优控制规律，使系统能最优地达到预期的目标。随着航海、航天、导航和控制技术不断深入研究，系统的最优化问题已成为一个重要的问题。 本文介绍了最优控制的基本原理，并给定了一个具体的连续线性二次型控制系统，利用MATLAB 软件对其最优控制矩阵进行了求解，通过仿真实验，设计得到最优控制效果比较好，达到了设计的目的。 2.最优控制理论介绍 2.1最优控制问题 设系统状态方程为： ]00)(,),(),()(x t x t t u t x f t x ==? （2—1） 式中，x(t)是n 维状态向量；u(t)是r 维控制向量；n 维向量函数[]t t u t x f ),(),(是x(t)、u(t)和t 的连续函数，且对x(t)与t 连续可微；u(t)在[]f t t ,0上分段连续。所谓最优控制问题，就是要寻求最优控制函数，使得系统状态x(t)从已知初态0 x 转移到要求的终态)(f t x ，在满足如下约束条件下： （1）控制与状态的不等式约束 []0),(),(≥t t u t x g （2—2） （2）终端状态的等式约束 []0),(=f f t t x M （2—3） 使性能指标 [][]?+Θ=f f t t t t t u t x F t t x J f 0 d ),(),(),( （2—4） 达到极值。式中[]t t u t x g ),(),(是m 维连续可微的向量函数，r m ≤；[]f f t t x M ),(是s 维连续可微的向量函数，n s ≤；[]f t t x f ),(Θ和[]t t u t x F ),(),(都是x(t)与t 的连续可 Optimal control for stochastic linear quadratic singular system using neural networks N. Kumaresan *, P. Balasubramaniam Journal of Process Control 19 (2009) ：Page482–488 使用神经网络对随机线性二次型奇异系统的最优控制N.库玛瑞森博士，P.巴拉苏布拉马尼亚姆过程控制杂志19期(2009年)：引用482—488页 摘要 在本文中,最优控制随机线性奇异系统与二次型已经在神经网络领域获得使用。其目的是提供最优控制和努力通过比较矩阵Riccati微分方程(MRDE)的解减少微积分获得了从众所周知的传统Runge-Kutta(RK)方法和传统神经网络 方法。为了获得最优控制,MRDE的解可以通过前向神经网络(FFNN)计算得到。更接近神经网络方法得到的精确解来解决这一问题性能更好。该方法的优点是,一旦网络运行起来,它可以瞬时计算出评估方案在任意点和任意少量的时间和记忆的支出，其计算时间的方法比传统RK方法更快、耗时更短。下面一个数值算例给出了该方法。 关键词：矩阵微分方程；神经网络；最优控制；龙格库塔法；随机奇异线性系统 1 简介 众多学者一直在研究随机线性二次型调节器(LQR)问题[文献2、6、8、15、34]。陈等人[文献12]的研究表明对于随机LQR问题是如果Riccati方程有解，那么可以得到最优反馈控制。关于LQR方面的问题，相关的研究Riccati方程，这是很自然的。然而，对于Riccati方程解的存在性和唯一性，一般来说，由于存在复杂的非线性项，这似乎成为一个很困难的问题。朱和李[文献36]采用迭代方法求解随机LQR问题中Riccati方程的随机性。常规Riccati方程有几种数值方法解，这些可能发生非线性过程基本误差积累。为了使误差最小，最近传统的Riccati方程分析了利用神经网络方法[文献3-5]。本文阐述了扩展的神经网络方法求解随机Riccati方程。 神经网络或简单的神经网络都是计算机系统，它可以通过训练学习两个或多个变量的某种复杂关系或数据集。具有类似于他们的生物学配对物的结构，经过神经网络处理信息和并行分布式简单处理节点连接的计算模型的组成形式[文献33]。神经网络技术已被成功地应用于许多领域，如函数逼近、信号处理和自适应或非线性系统的学习控制。利用神经网络，各式各样的对非线性系统离线学习控制算法已经开发出来[文献21，25]。为求解代数Riccati方程，各种数值算法[文献11]也已经随之开发出来。近年来，神经网络问题已经引起了越来越多的重视，许多研究人员进行了数值代数Riccati方程等方面的研究，见[文献16，17，32]。 奇异系统包含一个混合代数和微分方程组。从这个意义上说，代数方程组代表代数方程限定解的微分部分。这些系统也被称为退化、描述或半状态和广义状态空间系统。奇异系统的复杂本质导致在分析及数值处理这样的系统会遇到许多困难，尤其是在需要对它们的控制时。该系统自然演变成一个线性系统模型或者在许多领域应用的线性系统模型，如：电网、飞机动力学、中立型时滞系统、化学、热扩散过程、大型系统、机器人学、生物等。见[文献9，10，23]。 许多实际过程可以被建成为描述系统模型，如约束控制问题模型，电路模型，某些人口增长模型和奇异扰动模型。由于这样的事实，在过去的几年中，描述系统的稳定性问题以及控制问题已被广泛地研究，即描述系统能够比状态空间系统更好的描述某个物理系统。与状态空间系统相比，描述系统结构更复杂更完善。此外，由于描述系统通常有三种模式，即有限的动态模式、脉冲模式和非动态模式[文献13]，研究描述系统的动态性能比对状态空间系统研究困难，而后者两个不出现在状态空间系统。 由于标准二次型性能线性系统的最优控制理论发展迅速，其结果在许多实际设计问题中是最完整、最接近使用。该理论的二次成本控制问题被视为一个更有趣的问题，最小成本最优反馈控制一直是用于求解Riccati方程。Da Prato 和 Chapter7 线性二次型最优控制 稳定性是控制系统的一个重要指标，还要考虑诸如调节时间、超调、振荡等动态特性以及控制器所消耗的能量等因素。通过极点配置可使系统具有期望的稳定性和动态性能，然而并没有考虑控制的能量代价。用Lyapunov 稳定性理论解决“参数优化问题”，通过选取一个适当的参数，可以在保证系统稳定的前提下，使二次型性能指标最小化，从而使系统的过渡过程具有较好的性能，有必要将这种方法推广到控制器设计。 7.1 二次型最优控制 在控制系统中，为了达到同一个控制目的，可以有多种方案（如多输入系统的极点配置状态反馈控制器是不唯一的），具有最小能量的控制方式更具实际意义。对于 Bu Ax x += Cx y = （7-1） 系统性能和控制能量的要求可以由下列二次型性能指标来描述： ?∞ +=0d ][t Ru u Qx x J T T （7-2） Q 是对称正定（半正定）加权矩阵，R 是对称正定加权矩阵，他们反映了设 计者对状态x 和控制u 中各分量重要性的关注程度。第一项反映控制性能，这一项越小，状态衰减到0的速度越快，振荡越小，控制性能越好；第二项反映对控制能量的限制。通常状态x 衰减速度越快，控制能量越大，这是一个矛盾，最优控制的目的就是寻找Q 、R ，调和上述矛盾，问题归结为，对给定系统（7-1）和保证一定性能指标（7-2）的前提下，,设计一个控制器u ，使J 最小。 若系统的状态是可以直接测量的，且考虑的控制器是状态反馈控制器，则可以证明，使性能指标（7-2）最小化的最优控制器具有以下线性状态反馈形式： Kx u -= （7-3） 将控制器（7-3）代入系统方程（7-1）可得 x BK A x )(-= （7-4） 若系统是渐近稳定的，矩阵BK A -所有特征值均具有负实部，根据线性时不变系统的Lyapunov 稳定性定理，（7-4）一定存在一个正定对称矩阵P 的二次 南京师范大学 最优化与最优控制 题目：最优化与最优控制 学院：电气与自动化工程学院 专业：控制理论与控制工程 专业方向：基于ARM的太阳跟踪系统 班级：学号： 131802030 姓名：魏骁 指导教师：孙骥职称：教授 填写日期： 2014年6月21 日 一、前言 应用经典控制理论设计控制系统，能够解决很多简单、确定系统的实际设计问题。但是对于诸多新型而复杂的控制系统，例如多输入多输出系统与阶次较高的系统，往往得不到满意的结果。这时就需要有在状态空间模型下建立的最优控制策略。 最优控制是现代控制理论的核心。所谓最优控制，就是在一定条件下，在完成所要求的控制任务时，使系统的某种性能指标具有最优值。根据系统不同的用途，可提出各种不用的性能指标。最优控制的设计，就是选择最优控制，以使某一种性能指标为最小。 二、线性二次型最优控制概述 线性二次型最优控制设计是基于状态空间技术来设计一个优化的动态控制器。系统模型是用状态空间形式给出的线性系统，其目标函数是状态和控制输入的二次型函数。二次型问题就是在线性系统约束条件下选择控制输入使二次型目标函数达到最小。 线性二次型最优控制一般包括两个方面：线性二次型最优控制问题（LQ 问题），具有状态反馈的线性最优控制系统；线性二次型Gauss 最优控制问题，一般是针对具体系统噪声和量测噪声的系统，用卡尔曼滤波器观测系统状态。 三、最优控制理论 假设线性时不变系统的状态方程模型为 x ‘(t)=Ax(t)+Bu(t) y(t)=Cx(t)+Du(t) 引入一个最优控制的性能指标，即设计一个输入量u,使得 J= 为最小。其中Q 和R 分别为对状态变量和输入变量的加权矩阵; t f 为控制作用的终止时间。矩阵S 对控制系统的终值也给出某种约束，这样的控制问题称为线性二次型（Linear Quadratic ，简称LQ ）最优控制问题。 为了求解LQ 问题，我们取Hamilton 函数 其中一种较为简便的解法为： 令λ(t)=P(t)x(t) 而将对λ(t)的求解转化到对函数矩阵P(t)的求解，特别的，将λ(t)=P(t)x(t)代入上述式子中可得函数矩阵P(t)因满足的微分方程是 '(,(),(),())0.5(()()()()()())()(()()()());LQ ()(()()()()); 0(()()()()));()()()()(); T T T H t x t u t t x t Q t x t u t R t u t t A t x t B t u t H t Q t x t A t t H Q t x t A t t u x t A t x t B t u t λλδλλδλ δλδ=+++=-=-+=+=+并应用变分原理推导出问题解满足的必要条件： 线性二次型最优控制问题 线性二次型最优控制问题 线性二次型最优控制的MATLAB实现 摘要 线性二次型最优控制是一种普遍采用的最优控制系统设计方法。使用MATLAB 软件设计的GUI控制界面实现最优控制，有较好的人机交互界面，便于使用。线性二次型最优控制又叫做LQ最优控制或者称为无限长时间定常系统的状态调节控制器。本文分别从连续系统线性二次型最优控制的MATLAB实现，离散系统相形二次型最优控制的MATLAB实现，最优观测器的MATLAB实现，线性二次性Guass 最优控制的MATLAB实现四个研究方案。本论文就是从这四个方面分别以不同的性能指标设计不同的GUI界面以及不同的程序实现其功能并说明其各自的应用范围。 关键词：线性二次型，最优控制, GUI控制界面，最优观测器，Guass最优控制 The Linear Quadratic Optimal Control of MATLAB Abstract Linear quadratic optimal control is a widely used to optimal control system design method. Use of MATLAB software design GUI interface control to realize the optimal control, Have good man-machine interface, easy to use. The linear quadratic optimal control and called LQ optimal control or an infinite long time of the system state regulation and constant controller. This paper respectively from the continuous system linear quadratic optimal control MATLAB, Discrete system in quadratic optimal control MATLAB, The optimal observer MATLAB, sexual Guass linear quadratic optimal control MATLAB four research plan. This paper is from the four aspects of the performance index respectively in different design different GUI interface and Different programs that realize its function and their application scope. Keywords：Linear quadratic, The optimal control, GUI control interface, The best Guass observer, the optimal control随机控制理论
线性二次型最优控制
线性二次型最优控制应用举例与仿真
通信信道的随机线性控制
线性二次型最优控制的MATLAB实现
连续线性二次型最优控制的MATLAB实现
使用神经网络对随机线性二次型奇异系统的最优控制
线性二次型最优控制
线性二次型最优控制器的实现
线性二次型最优控制问题
2. 线性二次型最优控制问题
如果所研究系统为线性，所取性能指标为状态变量与控制变 量的二次型函数，称这种动态系统最优化问题为线性二次型最
概念
优控制问题.
问题的提法 设线性时变系统的状态方程为：
x ( t ) = A( t ) x ( t ) + B( t )u( t ) y( t ) = C ( t ) x ( t )
假设控制向量u(t)不受约束 ，用yr(t)表示期望输出，则误差向量为
e( t ) = yr ( t ) ? y( t )
求最优控制u*(t) ，使下列二次型性能指标极小。
1 T 1 tf e ( t f )Fe ( t f ) + ∫ [e T ( t )Q( t )e( t ) + u( t )T R( t )u( t )]dt 2 2 t0 F —半正定 q × q常数矩阵 , Q ( t ) —半正定 q × q时变矩阵 J ( u) =
R ( t ) —正定 p × p时变矩阵 t 0 及 t f 固定
NORTHWESTERN POLYTECHNICAL UNIVERSITY
NWPU
2. 线性二次型最优控制问题
各项指标物理意义
1 T 1 tf T J ( u) = e ( t f )Fe ( t f ) + ∫ [e ( t )Q( t )e( t ) + u( t )T R( t )u( t )]dt 2 2 t0
(1) 第一积分过程项 0.5∫t
tf
0
[e T ( t )Q ( t )e( t )]dt 是对动态跟踪误差加权平方和的积
分要求，是系统在运动过程中动态跟踪误差的总度量. t (2) 第二积分过程项 0.5∫t [u( t )T R( t )u( t )]dt 表示系统在控制过程中对系统加权
f 0
后的控制能量消耗的总度量. (3) 末值项 0.5eT (t f )Fe( t f ) 表示末态跟踪误差向量与希望的零向量之间的距 离加权平方和. 整个性能指标物理意义： 使系统在控制过程中的动态误差与能量消耗，以及控制结束时的系统 终端跟踪误差综合最优。
NWPU
NORTHWESTERN POLYTECHNICAL UNIVERSITY线性二次型最优控制的MATLAB实现概述
相关主题
文本预览