遗传算法和神经网络预测的再励学习

wij ，每层反馈与该层的连接权重矩阵为 feed _ wi ，阈值矩阵
为 biasi ，传递函数权重组合矩阵为 trans _ wi ，则 k 时刻的输
系统输出
图 1 改进的再励学习算法原理
用 x(t) 表示环境在时刻 t 的状态，a(t) 是学习机在 t 时刻
给出的动作， r(t) 是环境接受动作 a(t) 后给出的评价，由于
环境接受动作 a(t) 后的输出与前一时刻状态 x(t −1) 有关，而
且瞬时 r(t) 的大小并不能说明控制器对于一段时间内所有状
基础[4]理论可知，无论初始种群给出什么分布，选择、交叉、
变异算子不断重复进行，可以达到个体空间中任何个体，导
致在最优解附近会产生振荡，影响收敛速度。如果利用神经
网络对历史数据进行训练，从已有的数据中得到近似统计规
律，假设神经网络预测值逼近真实最优解 Y 的概率为 Pe ，则
经过选择、交叉、G 变异和预测得到最优解G Y 的概率为
∑t2 t1
e(t)
,
∑t2 t1
|
e(t)
|
和
1
/
∑
t2 t1
v(t
)
各
项
的趋近
于“0”的
值，输
出
则
为
待
学习网
络
的
权
值、阈值、传递函数，将此预测得到的网络的权值、阈值、
传递函数应用于实际系统进行测试以增大收敛于最优解的概
率，从而加快进化速度。估计器网络原理如图 3 所示，采用
前向单隐层结构，传递函数为 tan sig 函数，隐层和输出单元
超调量。因此，借鉴 PI 控制器的原理，将速度误差 e(k) 和
e(k −1) 作为待设计神经网络的输入，通过进化算法的在线测
试而搜索最佳的网络结构和参数。按照以上分析，网络结构
如图 4 所示，初始网络以 e(k) 和 e(k −1) 作为输入，从简单的
1-3-1 形式全连接网络开始进化。每层之间的连接权重矩阵为
P = P{Tc (Ts ( X )) = Y} + Pe > P{Tc (Ts ( X )) = Y}
(2)
利用神经网络估计器可以增大获得最优解的概率，即加
快了收敛的速度，而 Pe 则关系到收敛速度，精确的神经网络
预测器能够将待优化网络参数按照潜在的统计规律向最优解
快速推进。在遗传算法进化初期，由于训练数据的分布和数
态的响应优劣，因此遗传算法的适应度函数选取为一段时间
内环境接受动作后给出的评价之和
t2
∑ r(t)
，即适应度函
t =t1
数为
f
(x)
=
t2
∑
r(t)
(1)
t =t1
由于交叉变异操作具有随机性，因此从遗传算法的数学
基金项目：国家自然科学基金资助项目(60874047)；湖北省自然科学 基金资助项目(2007ABA281) 作者简介：张华军(1980－)，男，博士研究生，主研方向：智能优化 及进化硬件应用；赵 金，教授、博士生导师 收稿日期：2009-08-20 E-mail：zhanghj_hust@
(4)
由于以上 3 项指标之间数量级相差很大，直接将各项相
加会使小数量级指标淹没在大数量级指标之中，导致优秀基
因片断的损失，影响搜索速度和精度。因此必须对各项指标
进行归一化处理，使各项指标值分布在 [0, 1] 区间，本文采用
下式进行归一化处理：
fij'
=
fij
1 n
n
∑
i=1
fij
(5)
其中， fij 是第 i 个染色体的第 j 个指标值； n 为染色体个数。
Reinforcement Learning Based on Genetic Algorithms and Neural Network Prediction
ZHANG Hua-jun, ZHAO Jin
(Department of Control Science and Engineering, Huazhong University of Science and Technology, Wuhan 430074)
不同指标在系统中具有不同重要程度，在进行综合评估时各
项指标具有不同权重，则综合适应度函数计算公式如下：
3
f (x) = ∑ wi × fi (x)
(6)
i=1
Hale Waihona Puke 其中， w1 , w2 , w3 为各项指标权重系数，且 w1 + w2 + w3 = 1 。
2)选择方法设计。通过适应度函数设计分析，本文采用
与结构。
3 自学习算法应用
3.1 应用载体介绍
为了验证本文提出的改进型自学习算法的有效性，本文
对基于矢量控制的异步电机调速系统进行自学习以设计控制
器，控制器自主设计在电机调速系统中应用的原理如图 2 所
示。交流电机数学模型具有高阶非线性特点，为实现交流电 机的高性能控制，一般借助于交流电机矢量控制理论[5]将其
本文提出一种基于遗传算法和神经网络预测法相结合的 神经网络自学习方法。
2 改进的算法原理
无论是 Q 学习还是决策-评价学习都是直接控制方法，在 状态空间和决策空间较大的情形下，随机逼近的速度很慢， 为了加快学习速度，文献[1-3]分别利用遗传算法对再励学习 算法进行改进，提高了收敛速度，但依旧不能解决较大状态 和决策空间情形下决策问题，缺少全局性搜索。
【Abstract】This paper proposes a self-learning algorithms of neural networks based on Genetic Algorithms(GA) and neural network prediction. It uses GA to search the optimum resolution globally. The data generated during the evolutionary process is used to train the predictive networks. When the self-learning of networks converges on the adjacent domains of optimum resolution, it uses the prediction network to predict the map between network parameters and system response. The neural networks’ optimum resolution approximate property guides the GA to converge on the optimum resolution and solve the local oscillation problem of GA. Experimental result proves the fast convergence property of the proposed algorithm through design speed controller of asynchronous machine drive system 【Key words】reinforcement learning; Genetic Algorithms(GA); neural networks prediction; vector control
1 概述
自学习是指针对已有系统，通过对样本或数据的学习以 调节控制器参数或结构，达到适应环境变化的能力。自学习 控制不依赖数学模型，采用类似于人的“行动-评价-改进行 动方案-再行动”的多次反复来获得知识，较之传统控制方法 具有更高的智能和应用前景。然而，依靠“行动-评价-改进 行动方案-再行动”这种模式进行学习，存在搜索速度过慢的 问题，原因在于再励学习是从一个随机的初始状态向最佳状 态转移的过程中，缺少准确的全局性指导策略，决策网络自 身的学习及预测精度制约着动作网络的学习速度。
量制约了预测网络的预测准确度，预测网络并不能提高学习
速度；随着进化逐步收敛到最优解附近，进化过程中产生的
数据涵盖了状态和决策空间各种映射关系，大大提高了预测
网络的预测准确度。此时利用神经网络预测器逼近最优解的
能力引导遗传算法在局部向最优解快速逼近，可以解决遗传
算法局部振荡问题，使自学习算法快速获得最优控制器参数
(华中科技大学控制科学与工程系，武汉 430074)
摘 要：提出一种基于遗传算法和神经网络预测法相结合的再励学习方法，利用遗传算法对全局进行最优解搜索，将进化过程中产生的数 据用来训练神经网络预测器，当再励学习逼近最优解时，利用预测网络估计动作网络的参数、结构与系统响应之间的映射关系，用预测网 络逼近最优解的能力引导遗传算法在局部向最优解快速逼近，以解决遗传算法局部振荡问题，从而实现快速学习的能力。将其应用于矢量 控制交流电机的速度环控制器自学习中，仿真实验验证了该算法的有效性。 关键词：再励学习；遗传算法；神经网络预测；矢量控制
神经元数目与待优化网络的参数相同。
输入
输出
图 3 神经网络估计器结构
—19—
(3)学习网络初始结构设计
从适应度函数可以看到，本控制器的设计追求 3 个目标
的优化，通过进化算法搜索式(6)对应的神经网络参数和结
构，实现电机稳定运行。
通过分析适应度函数可以发现以上指标与 PID 控制器的
积分、比例环节、微分环节相似，控制着系统的稳态误差和
⎧ ⎪
f1
=
∑ |t2 t1
e(t)
|
⎪⎪ ⎨ ⎪
f2
=
1