第24卷第2期2009年2月
航空动力学报
Journal of Aerospace Power
Vol.24No.2
Feb.2009
文章编号:1000 8055(2009)02 0458 07
粒子群优化的粗糙集 神经网络在航空发动机
故障诊断中的应用
杨海龙,孙健国
(南京航空航天大学能源与动力学院南京210016)
摘 要:提出了一种基于粒子群优化算法的邻域粗糙集-神经网络的发动机智能故障诊断方法,首先利用基于邻域粗糙集模型的属性约简方法对样本数据进行属性约简,然后采用粒子群优化算法替代传统BP 算法来训练神经网络的权值和阈值,再用训练好的神经网络对航空发动机气路故障进行诊断.仿真结果表明:该方法降低了神经网络结构的复杂性,减少了网络训练时间,提高了诊断精度.关 键 词:粗糙集;粒子群优化算法;神经网络;航空发动机;故障诊断中图分类号:V233.7 文献标识码:A
收稿日期:2008 01 31;修订日期:2008 07 18基金项目:国家自然科学基金(50576033)
作者简介:杨海龙(1981-),男,陕西绥德人,硕士生,主要从事航空发动机故障诊断研究.
Application of PSO based rough set theory and neural
network to aeroengine fault diagnosis
YANG Hai long ,SU N Jian guo
(Co lleg e of Energy and Pow er Engineering ,
Nanjing University of Aeronautics and A stronautics,N anjing 210016,China)Abstract:A new m ethod based o n neig hbor ho od ro ug h set model and neural netw or ks (NN)integ rated w ith particle sw arm optim ization (PSO)algor ithm w as presented in this pa per for fault diag nosis of aeroeng ine.Fir stly,using the algo rithm of attribute reducing based on neig hborhoo d rough set mo del,w e deleted the unnecessary attributes from the decision table.Secondly,the PSO w as used to train the w eights and the thresholds o f N N instead of BP algo rithm.T herefore,The NN tr ained by PSO w as applied to aeroeng ine fault diagnosis.The simulation r esults indicate that the m ethod has shortened the training time and increased the diag no sis accuracy.
Key words:
ro ug h set;particle sw ar m o ptimization algo rithm;neural netwo rks;aeroeng ine;fault diagnosis
航空发动机是一个十分复杂的非线性研究对象,其故障诊断难度较大.随着计算机技术的发展,促进了人工智能技术在故障诊断中的应用[1],也使基于神经网络的故障诊断技术得以迅速发展.
神经网络技术由于其具有自学习、非线性模
式识别、联想能力,以及很强的泛函逼近能力,因
此在故障诊断中得到广泛应用[2].其中BP 算法是最普遍的神经网络训练算法.但是,实践证明,该算法有收敛速度慢,易陷入局部极小的问题[3]
.此外,神经网络对航空发动机故障进行定性诊断具有良好的效果,但是将其运用于定量故障诊断
第2期杨海龙等:粒子群优化的粗糙集 神经网络在航空发动机故障诊断中的应用就会出现需要输入量多和网络结构庞大的缺点[4].
本文将粒子群优化算法和邻域粗糙集 神经网络结合起来,应用于航空发动机气路故障诊断中.该方法利用邻域粗糙集模型对网络的输入维数进行了约简,减少了网络输入的维数,简化了网络结构,而用PSO 算法训练神经网络,可以避免用梯度下降法导致算法收敛速度慢和易陷入局部极小的问题,使网络的收敛速度更快,提高该网络的诊断精度.
1 基于邻域粗糙集模型的属性
约简算法
波兰学者Paw lak 等人提出的粗糙集(Rough set,简称RS)理论
[5]
是用来研究不完整数据、不
精确知识的表示、学习、归纳等问题的.该理论一个突出的优点是具有很强的定性分析能力,即不需要预先给定某些特征或属性的数量描述,如统计学中的概率分布、模糊集理论中的隶属度或隶属函数等,而是直接从给定问题的描述集合出发,
通过不可分辨关系和不可分辨类确定问题的近似域,找出问题中的内在规律.但经典粗糙集理论定义在等价关系基础上,只能处理名义型数据,对数值型数据必须通过离散化后才能处理.连续数据经过离散化处理后可能会丢失重要信息,并且不同的离散化方法会影响处理效果[6 7].所以,引入了邻域粗糙集模型[8]
来进行数值属性约简和分类器构造.该方法能直接处理数值型数据,与经典粗糙集方法相比,省去了对数据的离散化过程.1.1 邻域粗糙集的性质分析
对于x i U ,定义x i 的邻域为 B (x j )={x j x j U, B (x i ,x j ) },其中 是一个距离函数.对于 x 1,x 2,x 3 U , 满足如下
关系[8]
(x 1,x 2)!0, (x 1,x 2)=0,当且仅当x 1=x 2;
(x 1,x 2)= (x 2,x 1);
(x 1,x 3) (x 1,x 2)+ (x 2,x 3).对于N 个属性的样本集,距离常用P 范数表示为 P (x 1,x 2)=
?
N
i=1f (x 1,a i )-f (x 2,a i )
P
1/P
其中f (x 1,a i )为样本x 在属性a i 上的取值.
P (x 1,x 2)定义是对数值型属性集而言,但邻域模型很容易将距离计算扩展到含有符号和数
值型的数据上来.对于符号型属性a i ,可定义如下:
1)f (x 1,a i )-f (x 2,a i )=0,若x 1,x 2在a i 上取值相同;2)
f (x 1,a i )-f (x 2,a i )=1,若x 1,x 2在
a i 上取值不同.
从而邻域粗糙集下近似、上近似、边界分别为N -(X )={x i (x i ) X ,x i U}N -(X )={x i (x i )#X ? ,x i U}
BN B (X )=N -(X )-N -(X )
1.2 属性选择算法
定义1.给定邻域信息系统
定义2.给定邻域决策系统
1) a B , B-a (D)< B (D);2) B (D)= B (D).
定义3.给定邻域决策系统
sig (a,B,D)= B %a (D)- B (D)基于属性重要度指标,可以构造贪心式属性约简算法.该算法以空集为起点,每次计算全部剩余属性的重要度,从中选择属性重要度值最大的
属性加入约简集合中,直到所有剩余属性的重要度为0,即加入任何新的属性,系统的依赖性函数值不再发生变化[8].
输入:决策表
步骤1:初始化属性约简子集r ,令r = ;步骤2:对于任意a i A -R 计算sig (a i ,r ,D)= B %a (D)- B (D);步骤3:选择a k ,满足条件如下:sig (a k ,r ,D)=max i
(sig (a i ,r,B ));步骤4:如果sig (a k ,r,D)>0,则r =r %a k ,并跳至步骤2,继续执行程序;
否则,返回属性子集r ;步骤5:程序结束.
2 粒子群优化算法
粒子群优化算法(PSO)是一种进化计算技
459
航 空 动 力 学 报第24卷
术,是由Kenney与Eberhart于1995年提出[9],
源于对鸟群捕食行为的研究,是一种基于迭代的
优化工具.目前已广泛应用于函数优化、神经网络
训练、数据挖掘、模糊系统控制以及其他的应用
领域.
粒子群优化算法的基本思想是,每个优化问
题的潜在解都是搜索空间的粒子,所有的粒子都
有一个被优化的函数决定的适应值,每个粒子还
有一个速度向量决定他们飞翔的方向和距离,然
后粒子们就追随当前的最优粒子在解空间中搜
索.PSO初始化为一群随机粒子(随机解),然后
通过迭代找到最优解.在每一次迭代中,粒子通过
跟踪两个?极值(来更新自己.一个是粒子本身所
找到的最优解叫做个体极值P best,另一个是整个
种群目前找到的最优解,这个极值是全局极
值g best.
在找到这两个最优值时,每个粒子根据如下
公式来更新自己的速度和新的位置
v k+1=w v k+c1r1(g best k-x k)+
c2r2(g best k-x k)(1)
x k+1=x k+v k+1(2)
其中v k是粒子的速度向量;x k是当前粒子的
位置;P best,k表示粒子本身所找到的最优解的位
置;g best,k表示整个种群目前找到的最优解的位
置;w是加权系数,c1,c2表示群体认知系数,也
被称作学习因子.通常,c1=c2=2.r1,r2一般介
于(0,1)之间的随机数.
粒子通过不断学习更新,最终飞至解空间中
最优解所在的位置,搜索过程结束.最后输出的
g best就是全局最优解.在更新过程中,粒子每一维
的最大速率被限制为v max,粒子每一维的坐标也
被限制在允许范围之内.图1为该粒子群优化算
法流程图.
粒子群优化算法没有交叉与变异运算,所以
算法结构简单,运行速度快.但是,基本粒子群优
化算法在解空间内搜索时,有时会出现粒子在全
局最优解附近?振荡(的现象,为了避免这个问题,
可以作如下改进[10]:随着迭代进行,速度更新公
式中的加权因子w由最大加权因子w max线性减
小到最小加权因子w min.即
w=w max-iter)w max-w min
iter max
(3)
其中iter为当前迭代数,而iter max是总的迭代次数
.
图1 粒子群优化算法流程图
Fig.1 F lo w chart o f PSO
3 粒子群优化的BP网络
由于BP算法中用梯度下降法推导出的权值、阈值修正公式,这使得BP网络收敛速度慢、易陷入局部极小值.粒子群优化算法避免了梯度下降法中要求函数可微、对函数求导的过程;与遗传算法相比,PSO保留了基于种群的全局搜索策略,但是其采用的速度-位移模型操作简单,避免了复杂的遗传操作(选择、交叉、变异).它特有的记忆使其可以动态跟踪当前的搜索情况.因此本文就用粒子群优化算法替代传统BP算法的梯度下降法[11 12].
粒子的适应度函数可以由下式表示,其中: N为训练集的样本数;Y j,i为第i个样本的第j个网络输出节点的理想输出值;y j,i为第i个样本的
460
第2期杨海龙等:粒子群优化的粗糙集 神经网络在航空发动机故障诊断中的应用
第j个网络输出节点的实际输出值;c为网络输
出神经元的个数.
J=1
N ?N
i=1
?C
j=1
(Y j,i-y j,i)2(4)
实现该算法的步骤如下:
1)初始化BP网络结构,设定网络的输入层、隐含层、输出层的神经元的个数.
2)初始化粒子群及每个粒子的速度:
?粒子种群数N、速度向量的维数D,D=输入层至隐层的连接权值个数+隐层至输出层的连接权值个数+隐层的阈值个数+输出层的阈值个数.
+在初始化粒子群及每个粒子速度时,先初始化一个二维矩阵X,前面N列表示粒子位置的各维,后面D.
列表示粒子速度的各维,最后一列表示粒子的适应度.
3)计算每个粒子的适应度:
?先输入一个粒子,对每一个样本而言,都可以按BP网络的前向计算方法计算出一个网络的输出值,然后计算其误差;再按式(4)计算所有样本的均方差,即该粒子的适应度.
+返回到?步骤,继续输入其它粒子,直至计算出所有粒子的适应度:
4)比较适应度,确定每个粒子的个体极值点和全局最优极值点:
若Pr esent
若Present 其中Present为当前粒子的适应度,P best为粒子的个体极值,g best为全局最优值. 5)更新每个粒子的位置和速度: 根据式(1)和式(2)更新粒子的位置和速度,并且考虑更新后的位置和速度是否在限定的范围内. 考虑位置: x ij(t+1)>x max,则x ij(t+1)=x max; x ij(t+1) 考虑速度: 若v ij(t+1)>v max,v ij(t+1)=v max; 若v ij(t+1)<-v max,v ij(t+1)=-v max;否则v ij(t+1)为式(1)结果. 其中x max,x min,v max都是常数,可以自己设定. 6)比较次数是否达到最大迭代次数和预设的精度.若满足预设精度,算法收敛,最后一次迭代的全局最优 值g best中每一维的权值和阈值就是所求;否则返回步骤2),算法继续迭代. 4 故障诊断原理 4.1 发动机故障诊断原理 发动机气路故障诊断的目的就是要得到发动机部件特性的衰退和故障情况.对低压压气机、高压压气机、高压涡轮和低压涡轮这四大部件进行了性能监视.一般情况下,燃烧室的效率在使用中不易发生变化,因此为简化起见,不对其进行监视.将BP网络应用于航空发动机故障诊断的方法是对发动机的稳态测量参数进行定量分析,通过网络的映射能力可以将各个部件的故障程度诊断出来. 该系统的输入为发动机的测量参数.由于客观条件的限制,无法获得航空发动机的试车数据,所以本文以某型发动机部件级模型为研究对象,所有采集的数据均来自于该模型.为了模拟发动机部件出现故障和性能衰退,在模型的各部件相应性能参数上乘以一个故障系数(0.95~1.00),此时采集的数据为发动机出现故障时的测量数据.即使发动机部件级模型的8个性能参数依次发生程度不同的下降,来获得训练需要的学习样本.例如:风扇效率下降量 !fan分别为1%,2%, 5%,其它部件不出现性能下降时,发动机模型计算出的测量参数值为学习样本的输入量.同时样本的输出量!fan对应的元素分别为:0.99,0.98, 0.95,其他元素为1.00.依次类推,得到其他故障的训练样本. 4.2 诊断结果和分析 以巡航状态的数据作为训练样本,取H=11~ 12km,Ma=0.8~0.9,P L A=30~50共4536组数据.其中各部件的效率和流量依次从1.0下降至0.95.在进行邻域粗糙集处理之前,将条件属性中的可测量参数标准化到[01]区间,以减少因各属性量纲不一致或数值相差太大对结果的影响.样本中共有10个条件属性(S1~S10),D为决策属性.这10个条件属性为发动机的可测量参数,而且发动机各个部件的故障与其有紧密联系.各条件属性的含义如表1所示,表2为决策属性 461 航 空 动 力 学 报第24卷 含义. 利用邻域粗糙集模型对标准化后的训练样本进行属性约简.当邻域阈值取值较小,约简算法得到的属性特征较少,但是相应的分类精度也较低;当邻域阈值取值较大时,约简算法得到的属性特征较多,约简效果不明显.经过反复测试并比较约简结果,邻域阈值 选为0.15效果最好,即邻域的直径为0.3时无量纲最终得到约简后的属性为PN F,PN C,P22,T42,T46,p46共6个条件属性,即网络的6个输入.图2为训练样本未进行属性约简前的训练曲线,其中纵坐标为训练目标误差精度,横坐标为训练步数.图3为利用邻域粗糙集属性约简算法对训练样本进行处理后的训练曲线.表3为属性约简前后的故障诊断系统的诊断结果比较. 表1 条件属性含义 Table1 C ondition attribute 序 号条件属性内容 S1PN F:高压转子转速 S2PN C:低压转子转速 S3T22:风扇出口总温 S4p22:风扇出口总压 S5T3:压气机出口总温 S6p3:压气机出口总压 S7T42:高压涡轮出口总温 S8p42:高压涡轮出口总压 S9T46:低压涡轮出口总温 S10p46:低压涡轮出口总压 表2 决策属性含义 Table2 Decision attribute 序号决策属性内容 D1(0000)无故障 D2(1000)风扇故障 D3(0100)压气机故障 D4(0010)高压涡轮故障 D5(0001)低压涡轮故障 表3 故障诊断结果比较 Table3 Comparison of diagnosis results 属性集训练步数诊断准确度/%属性约简前S1~S1******* 属性约简后 S1,S2,S4, S7,S9,S10 49 100 图2 原始数据的网络训练曲线图 Fig.2 T r aining curv e by or iginal dat a 图3 约简属性后的网络训练曲线图 F ig.3 T r aining curve by r educed data 从表3及图2中可以看出,未进行粗糙集处理的样本需属性个数为10个,神经网络训练步数为921,实际所耗时间也很长;利用邻域粗糙集模型属性约简算法处理后的样本数据,属性个数减到6个,减少了发动机可测参数的采集量,降低了采集数据的难度,同时神经网络训练步数只有49,得到大幅度的减少,训练时间相应缩短了很多,而且该系统的诊断准确度仍为100%,说明诊断准确度没有受到属性约简的影响. 462 第2期杨海龙等:粒子群优化的粗糙集 神经网络在航空发动机故障诊断中的应用为了实现定量诊断发动机故障,本文将粒子群优化算法引入邻域粗糙集-神经网络.将风扇部件作为故障诊断对象,神经网络的输出量是反映发动机性能的参数,分别为:e fan ,e h cm ,共2个,其含义分别为风扇效率和风扇流量系数.邻域粗糙集-神经网络的拓扑结构为6 13 2,该网络的训练曲线如图4所示.定义粒子群规模为40,c 1=c 2=2,最大速度v max 为5,粒子位置的最大值为1,最小值为-1.w max =0.9,w min =0.3.最大迭代次数iter max =2000,预设误差为10 -8 .图5为 粒子群优化后的邻域粗糙集 神经网络网络的训练曲线.其中纵坐标为训练目标误差精度,横坐标为训练步数 . 图4 邻域粗糙集 神经网络训练曲线F ig.4 T raining cur ve of roug h set netwo rk 图5 粒子群优化后的邻域粗糙 神经网络训练曲线Fig.5 T raining curv e of the netw or k optimized by PSO 将图4与图5比较,粒子群优化后的邻域粗糙集-神经网络比邻域粗糙集-神经网络收敛误差小很多,前者训练步数为2000步时误差为10-5,而后者训练963步后误差就减小到了10 -8 ;粒子群优化后的邻域粗糙集-神经网络比 邻域粗糙集-神经网络的收敛速度快很多,所需 的训练步数少得多. 随机用训练样本以外的20个样本作为测试样本对两种算法的网络进行测试,两种算法的诊断误差如表4所示. 从表4的数据中可以看出,用邻域粗糙集 神经网络进行测试时,诊断平均误差为1.72%,而粒子群优化后的邻域粗糙集 神经网络的诊断平均误差为0.12%,前者的诊断误差比后者大很多.因此,基于粒子群优化的邻域粗糙集 神经网络的诊断精度高于邻域粗糙集 神经网络. 表4 两种算法的误差比较Table 4 Errors of two algorithms 算法名称e fa n 最大误差/%w a22最大误差/%平均误差/%邻域粗糙集 神经网络 1.85 2.24 1.72 粒子群优化后的邻域粗糙集 神经网络 0.150.270.12 5 结 论 本文首先将邻域粗糙集与神经网络结合起来,应用于航空发动机定性气路故障诊断中.并将该方法与常规BP 网络进行了比较.然后在邻域粗糙集 神经网络的基础上引入了粒子群优化算法,对航空发动机进行了定量故障诊断.该方法与邻域粗糙集 神经网络也进行了比较.通过实验结果,本文得出如下结论: 1)将邻域粗糙集与神经网络结合起来应用于定性故障诊断,对特征参数进行了属性约简,简化了训练样本和神经网络结构,在保障诊断准确度不变的前提下加快了神经网络的学习速度.2)将基于粒子群优化算法的邻域粗糙集 神经网络应用于航空发动机定量故障诊断中,取得 了良好的效果.该方法避免了BP 网络易陷入局部最优的缺点,能使网络更快地收敛于最优解,同时能明显提高故障诊断的精度. 参考文献: [1] Lu P J,Zhan g M C,H su T C,et al.An evaluation of engine faults diagnostics using artificial neu ral netw orks [J ].J ournal of En gineering for Gas T urbin es and Pow er,2001,123(2),340 360. 463 航 空 动 力 学 报第24卷 [2] S am path S,Gulati A,Singh R.Aritificial intelligen ce tech niqu es for gas turbine engine fault diagnos tics[R].38th AIAA/AS M E/SAE/AS EE Joint Propulsion Confer ence& E xhibit,2002,Indianapolis:AIAA,2002 4308. [3] Rumelhart D E,H inton G E William s R J.L earning rep resentations by back propagating errors[J].Nature,1986, 323:533 536. [4] 郝英,孙健国,白杰.航空燃气涡轮发动机气路故障诊断现 状与展望[J].航空动力学报,2003,18(6):753 760. H AO Yin g,SU N Jiangu o,BAI J ie.State of the art an d p rospect of air craft engine fault diagn osis using gas path parameters[J].Journal of Aerospace Pow er,2003,18(6): 753 760.(in Chinese) [5] Paw lak Z.Rou gh S et[J].International J ournal of Infor mation and Cam puter Sciences,1982,11:341 356. [6] 谢宏,程浩忠,牛东晓.基于信息熵的粗糙集连续属性离散 化算法[J].计算机学报,2005,28(9):1570 1574. XIE H ong,CH ENG H aozhong,NIU Dongxiao.Discretiza tion of continuou s attributes in rough set th eory based on in formation en tropy[J].Ch ines e J ou rnal of C om puters, 2005,28(9):1570 1574.(in C hines e) [7] 陈恬,孙健国.粗糙集与神经网络在航空发动机气路故障 诊断中的应用[J].航空动力学报,2006,21(1):207 212. CH EN T ian,SUN Jianguo.A eroen gine gas path fault di agnosis us ing rough sets an d neu ral netw orks[J].J ou rnal of Aerospace Pow er,2006,21(1):207 212.(in C hinese) [8] H U Qinghu a,YU Daren,XIE Zongxia.Neighboh ood clas s ifers[J].Expert S ystem w ith Applications,2008,34(2): 866 876. [9] Ken nedy J,Eberhart R C.Particle sw arm optimization [R].Proceedings of IEEE International Conference on N eural Netw orks,Perth,Australia,1995:1942 1948. [10] Kennedy J,Eberhart R C,Shi Y.Sw arm intelligence [M].San Francis o:M organ Kau fman Publis hers,2001. [11] 潘昊,侯清兰.基于粒子群优化算法的BP网络学习研究 [J].计算机工程与应用,2006,42(16):41 44. PAN H ao,H OU Qinlan.A BP neural n etw orks learnin g algorithm research b as ed on particle sw arm optimizer[J]. C om puter Engineerin g and Applications,2006,42(16):41 44.(in Chin es e) [12] 刘洪波,王秀坤,孟军.神经网络基于粒子群优化的学习算 法研究[J].小型微型计算机系统,2005,26(4):638 640. LIU H ongbo,WANG Xiukun,M E NG Jun.Neural net w ork train ing algorithm based on particle sw arm optim iza tion[J].Journal of Chin ese Com puter Sys tems,2005,26 (4):638 640.(in Chinese) 464 智能控制技术 课程论文 中文题目: 粒子群算法的研究现状及其应用姓名学号: 指导教师： 年级与专业： 所在学院： XXXX年XX月XX日 1 研究的背景 优化问题是一个古老的问题，可以将其定义为：在满足一定约束条件下，寻找一组参数值，使系统的某些性能指标达到最大值或最小值。在我们的日常生活中，我们常常需要解决优化问题，在一定的范围内使我们追求的目标得到最大化。为了解决我们遇到的最优化问题，科学家，们进行了不懈的努力，发展了诸如牛顿法、共轭梯度法等诸多优化算法，大大推动了优化问题的发展，但由于这些算法的低运行效率，使得在计算复杂度、收敛性等方面都无法满足实际的生产需要。 对此，受达尔文进化论的影响，一批新的智能优化算法相继被提出。粒子群算法（PSO ）就是其中的一项优化技术。1995 年Eberhart 博士和Kennedy 博士[1]-[3]通过研究鸟群捕食的行为后，提出了粒子群算法。设想有一群鸟在随机搜索食物，而在这个区域里只有一块食物，所有的鸟都不知道食物在哪里。那么找到食物最简单有效的办法就是鸟群协同搜寻，鸟群中的每只鸟负责离其最近的周围区域。 粒子群算法是一种基于群体的优化工具，尤其适用于复杂和非线性问题。系统初始化为一组随机解，通过迭代搜寻最优值，通过采用种群的方式组织搜索，同时搜索空间内的多个区域，所以特别适合大规模并行计算，具有较高的效率和简单、易操作的特性。 目前使用的粒子群算法的数学描述[3]为：设粒子的寻优空间是m 维的，粒子的数目为ps ，算法的最大寻优次数为Iter 。第i 个粒子的飞行速度为T i i1i2im v [v v ]= ,,,v ，位置为T i i1i2im x [x x x ]= ,,,，粒子的个体极值T i i1i2im Pbest [,]P = ,P ,P ，全局极值为 T i i1i2im Gbest [,]g = ,g ,g 。 粒子群算法的寻优过程主要由粒子的速度更新和位置更新两部分组成，其更新方式如下： i+11122v ()()i i i i i v c r Pbest x c r Gbest x =+?+?； i+1i+1i x x v =+， 式中：12c c ，为学习因子，一般取2；12r r ，是均与分布着[0,1]上的随机数。 1.Pso算法 function [xm,fv] = SAPSO( fitness,N,c1,c2,wmax,wmin,M ) % fitness 适应度函数 % N 种群个数 % c1 % c2 % wmax 最大权重 % wmin 最小权重 % M 迭代次数 cg=32;%传感器个数 format long; %-----------------------初始化种群个体 ------------------------------------- for i=1:N %粒子个数为n a1=-17.5:10:12.5; a11=a1*(i+5)/10; [a2,a3]=meshgrid(a1,a11); a4=reshape(a2,1,16); a5=reshape(a3,1,16); b1=-12.5:10:17.5; b11=b1*(i+5)/10; [b2,b3]=meshgrid(b1,b11); b4=reshape(b2,1,16); b5=reshape(b3,1,16); x11=[a4,b4;a5,b5]+20;%ó|ó?μè±èàyà?é￠y1ì?¨ x(:,:,i)=x11';%初始化传感器个数为20 v(:,:,i)=10*rand(cg,2); end %----------------------计算各个粒子适应度------------------------------for i=1:N; p(i)=fitness(x(:,:,i)); y(:,:,i)=x(:,:,i); end pg=x(:,:,N); %pg为全局最优 for i=1:(N-1) if fitness(x(:,:,i)) 技术创新 中文核心期刊《微计算机信息》（测控自动化）２００８年第２４卷第３－１期 ３６０元／年邮局订阅号：８２－９４６ 《现场总线技术应用２００例》 模式识别 １引言 防空作战中，目标识别特别是目标属性识别的重要性是不言而喻。在现代空战尤其是防空作战中，误伤己（友）方飞机的事情时有发生。可见，目标识别是现代防空作战中极关键的问题，由于防空作战中电子对抗越来越来激烈，战场环境日益复杂，给可靠的敌我识别带来了更大的挑战，因此，目标识别问题目前仍有不少的缺陷。可靠的识别是复杂而难度较大的任务，所涉及的信息和因素较多，处理过程实时性强，既与观测信息有关又与军事专家的经验有关，对于程序化的射击指挥控制，解决这一问题的途径是：进一步发展目标识别技术设备；在防空指控系统中嵌入合理有效的识别模型，以支持和增加目标综合识别的可靠性。 目前已有不少文献描述了利用神经网络对飞行目标进行敌我识别，但是由于现代防空作战环境异常复杂，空地对抗十分激烈，单靠一种两种要素来准确识别目标不能完全奏效。因此必须收集更多的战术情况信息，充分利用人或传感器得到的目标变量，通过测试目标特性、目标行为或多路传感器提供的目标运动信息等，才能较正确识别目标。随着识别目标特征属性的增加神经网络的训练时间和复杂度也成非线性增加，势必影响到现代防空作战实效性的要求。粗糙集理论提出属性约简的概念用以对数据属性进行约简，达到缩减网络训练时间和复杂度的目的，提高目标综合识别的效率。 ２基于粗糙集的神经网络知识 ２．１粗集属性约简 粗糙集（ＲｏｕｇｈＳｅｔｓ，ＲＳ）作为一种处理不精确、不确定与不完全数据的新的数学理论，最初是由波兰数学家Ｚ．Ｐａｗｌａｋ于１９８２年提出的。其主要思想是，在保持信息系统分类能力不变的前提下，通过属性约简，导出问题的决策或分类规则。其最大的优点在于不需要先验信息，特别适合于从庞杂的数据中挖掘有用信息。 知识表示系统Ｓ＝（Ｕ，Ａ，Ｖ，ｆ）可以表示为，Ｕ是论域，Ａ是属性集，是属性值的集合，是一个信息函数。由这样的“属性－值”就构成了一张二维表，称之为信息表，若，Ｃ和Ｄ分别称为条件属性和结果属性，这样就构成了一个特殊的信息表—决策表。决策表可以看作是定义的一族等价关系，即知识基。决策表中并非所有的条件属性都是必要的，有些是多余的，去除这些属性不会影响原有的表达效果。即： 和若，则称Ｓ可 以约简为Ｓ＇且不会失真。 定义１：令Ｒ为一族等价关系，，如果 （１） 称ｒ为Ｒ中可省略的，否则ｒ为Ｒ中不可省略的。对于任一，若均为Ｒ中不可省略的，则称Ｒ为独立的 （ｉｎｄｅｐｅｎｄｅｎｔ）。 定义２：若存在Ｑ＝Ｐ－ｒ，Ｑ是独立的，满足ｉｎｄ（Ｑ）＝ｉｎｄ（Ｐ），则称Ｑ为Ｐ的一个约简，用ｒｅｄ（Ｐ）表示。 定义３：一族等价关系Ｐ可能有多个约简，全部约简的交集定义为Ｐ的核，记作ｃｏｒｅ（Ｐ）。（２） 决策表的简化就是化简表中的条件属性，即去除冗余的条件属性，在删除这些属性后不会影响原有的表达效果。 决策表的化简步骤如下： （１）删除多余的条件属性，即消去表中的某一列；（２）削去重复的行； （３）削去每一个决策规则中的冗余属性。２．２基于ＲＳ的ＡＮＮ训练 人工神经网络（ＡＮＮ）是２０世纪８０年代中期兴起的一门非 基于粗糙集的神经网络的目标识别应用 ＴａｒｇｅｔＡｐｐｌｉｃａｔｉｏｎｂａｓｅｄｏｎＲｏｕｇｈＳｅｔｓＮｅｕｒａｌＮｅｔｗｏｒｋｓ （１．空军工程大学；２．９１７７４部队司令部）白冬婴 １ 马飞 １ 陈朝霞 ２ 张宏达 １ ＢＡＩＤＯＮＧＹＩＮＧＭＡＦＥＩＣＨＥＮＺＨＡＯＸＩＡＺＨＡＮＧＨＯＮＧＤＡ 摘要：在现代防空作战中，如何快速准确的对敌我（友）目标进行识别，至关重要。本文提出先利用粗糙集理论对目标特征属性进行优化筛检，再利用神经网络对目标进行分类识别，该方法不但提高了识别的准确率而且兼顾到识别的效率。试验结果表明，该方法符合现代防空作战中目标识别的要求，具有一定的实用价值。关键词：目标识别；神经网络；粗糙集；防空作战中图分类号：ＴＰ１８３文献标识码：Ａ Ａｂｓｔｒａｃｔ：Ｉｎｔｈｅｍｏｄｅｒｎａｎｔｉａｉｒｗａｒｆａｒｅ，ｈｏｗｔｏｉｄｅｎｔｉｆｉｃａｔｅｔｈｅｐａｉｒｏｆｅｎｅｍｉｅｓｏｒｓｅｌｖｅｓｔａｒｇｅｔｓｒａｐｉｄｌｙａｎｄａｃｃｕｒａｔｅｌｙｉｓｖｅｒｙｉｍｐｏｒ－ｔａｎｔ．Ｔｈｅｐａｐｅｒｐｒｏｐｏｓｅｄｔｈａｔｈｏｗｔｏｕｓｅｔｈｅｒｏｕｇｈｃｏｌｌｅｃｔｉｏｎｔｈｅｏｒｙｔｏｃａｒｒｙｏｎｔｈｅｏｐｔｉｍｉｚａｔｉｏｎｔｏｔｈｅｇｏａｌｃｈａｒａｃｔｅｒｉｓｔｉｃａｔｔｒｉｂｕｔｅｔｏｓｉｅｖｅｅｘａｍｉｎｅｓｆｉｒｓｔｌｙ，ａｎｄｔｈｅｎｃａｒｒｉｅｓｏｎｔｈｅｃｌａｓｓｉｆｉｅｄｒｅｃｏｇｎｉｔｉｏｎｔｏｔｈｅｇｏａｌｕｓｉｎｇｔｈｅｎｅｕｒａｌｎｅｔｗｏｒｋ，ｔｈｅｍｅｔｈｏｄｎｏｔｏｎｌｙｅｎ－ｈａｎｃｅｄｔｈｅｒｅｃｏｇｎｉｔｉｏｎｏｆｔｈｅａｃｃｕｒａｔｅｒａｔｅｍｏｒｅｏｖｅｒｇｉｖｅｓｄｕａｌａｔｔｅｎｔｉｏｎｔｏｔｈｅｒｅｃｏｇｎｉｔｉｏｎｅｆｆｉｃｉｅｎｃｙ．Ｔｈｅｆｉｎａｌｒｅｓｕｌｔｉｎｄｉｃａｔｅｄｔｈａｔ，ｔｈｉｓｍｅｔｈｏｄｃｏｎｆｏｒｍｓｔｏｔｈｅｒｅｑｕｅｓｔｏｆｔｈｅｍｏｄｅｒｎａｎｔｉａｉｒｗａｒｆａｒｅｔｈｅｔａｒｇｅｔｉｄｅｎｔｉｆｉｃａｔｉｏｎ，ａｎｄｈａｓｐｒａｃｔｉｃａｌｖａｌｕｅｔｏｓｏｍｅｅｘｔｅｎｔ．Ｋｅｙｗｏｒｄｓ：Ｔａｒｇｅｔｉｄｅｎｔｉｆｉｃａｔｉｏｎ，ＮｅｕｒａｌＮｅｔｗｏｒｋｓ，Ｒｏｕｇｈｓｅｔｓ，Ａｎｔｉａｉｒｗａｒｆａｒｅ 文章编号：１００８－０５７０（２００８）０３－１－０１９２－０２ 白冬婴：在读硕士 基金项目：陕西省自然科学研究计划项目—－高距离分辨雷达目标自动识别技术研究（２００４Ｆ３６）；空军工程大学导弹学院研究生学位论文创新基金（编号不公开） １９２－ － 4.1粒子群算法基本原理 粒子群优化算法[45]最原始的工作可以追溯到1987年Reynolds 对鸟群社会系统Boids （Reynolds 对其仿真鸟群系统的命名）的仿真研究 。通常，群体的行为可以由几条简单的规则进行建模，虽然每个个体具有简单的行为规则，但是却群体的行为却是非常的复杂，所以他们在鸟类仿真中，即Boids 系统中采取了下面的三条简单的规则： （1）飞离最近的个体(鸟)，避免与其发生碰撞冲突； （2）尽量使自己与周围的鸟保持速度一致； （3）尽量试图向自己认为的群体中心靠近。 虽然只有三条规则，但Boids 系统已经表现出非常逼真的群体聚集行为。但Reynolds 仅仅实现了该仿真，并无实用价值。 1995年Kennedy [46-48]和Eberhart 在Reynolds 等人的研究基础上创造性地提出了粒子群优化算法，应用于连续空间的优化计算中 。Kennedy 和Eberhart 在boids 中加入了一个特定点，定义为食物，每只鸟根据周围鸟的觅食行为来搜寻食物。Kennedy 和Eberhart 的初衷是希望模拟研究鸟群觅食行为，但试验结果却显示这个仿真模型蕴含着很强的优化能力，尤其是在多维空间中的寻优。最初仿真的时候，每只鸟在计算机屏幕上显示为一个点，而“点”在数学领域具有多种意义，于是作者用“粒子（particle ）”来称呼每个个体，这样就产生了基本的粒子群优化算法[49]。 假设在一个D 维搜索空间中，有m 个粒子组成一粒子群，其中第i 个粒子的空间位置为123(,,,...,)1,2,...,i i i i iD X x x x x i m ==，它是优化问题的一个潜在 粒子群算法在神经网络非线性函数 拟合中的应用 一、本文研究和解决的问题 在自动控制问题中，系统辨识的目的是为了建立被控对象的数学模型。多年来，控制领域对于复杂的非线性对象的辨识一直未能很好的解决，神经网络所具有的非线性特性和学习能力使其在系统辨识方面有很大的潜力。为解决具有复杂的非线性、不确定性和不确知对象的辨识问题开辟了一条有效的途径。基于神经网络的系统辨识是以神经网络作为被辨识对象的模型，利用其非线性特性，可建立非线性系统的静态或动态模型。理论上，多层前馈神经网络能够以任意精度逼近任意非线性映射。 但传统神经网络学习算法中存在的收敛速度慢、容易陷入局部最优等缺点，于是设计了基于标准粒子群算法的神经网络非线性函数拟合系统。 二、传统的BP神经网络 BP 神经网络即采用误差反向传播算法的网络，是一种至今仍然最为流行的前馈型神经网络模型。BP 神经网络有很强的非线性映射能力，它能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供给网络进行学习训练，它便能完成由n 维输入空间到m 维输出空间的非线性映射。BP 学习算法属于误差修正型学习，其关键在于根据误差修正输出层和隐含层的连接权值。其学习的基本实现方法是基于最小平方误差准则和梯度下降优化方法来确定权值调整法则。 BP网络建模特点： 非线性映照能力：神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。 并行分布处理方式：在神经网络中信息是分布储存和并行处理的，这使它具有很强的容错性和很快的处理速度。 自学习和自适应能力：神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一般情形的能力。神经网络的学习也可以在线进行。 数据融合的能力：神经网络可以同时处理定量信息和定性信息，因此它可以利用传统的工程技术（数值运算）和人工智能技术（符号处理）。 多变量系统：神经网络的输入和输出变量的数目是任意的，对单变量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统间的解耦问题。 □财会月刊· 全国优秀经济期刊□·26 ·2012．6下旬一、有关财务危机预测的研究方法 财务危机预测模型是由Beaver 最早提出来的，之后许多预测方法被用于公司财务危机预测研究。 20世纪60年代主要是Beaver 和Altman 分别采用单变量判别分析和多变量判别分析进行财务危机预警研究。 20世纪80年代，Ohlson 首先将Logistic 模型应用于财务预警领域，20世纪90年代神经网络又被引入财务危机预测。20世纪80年代，Frydman 等将决策树引入了财务预警研究中，决策树（DT ）在解决分类问题上具有简单和易于理解的优点。 决策树是一种对大量数据集进行分类的非常有效的方法，通过决策树的构造模型，从大量信息中挖掘有效的数据，提取有价值的分类规则，从而获得有用的知识，帮助决策者准确预测。它的基本算法是贪心算法，采用自顶向下的递归方式构造决策树。 根据决策树增长的方法不同，学者们提出了很多经典的决策树算法。1986年J ．R.Quinlan 提出了决策树ID3算法，有人在此基础上提出了一些改进的SLIQ 、SPRINT 、CHAID 等一些算法。 这些算法运用也被运用到财务预警方面。姚靠华、陈晓红（2007）运用这些算法对我国上市公司的财务预警问题进行了研究。 1982年Z.Pawlak 教授提出了粗糙集理论，运用粗糙集的方法可以对属性进行约简，把粗糙集的知识运用到决策树上，国内外学者提出了很多不同的建树方法并应用到很多领域。2001年赵卫东、李旗号运用粗糙集知识对决策树进行了优化，通过引入粗糙集理论中可分辨的概念给出一种方法，这种方法通过优化降低了树的高度。 2009年Iftikhar U.Sikder 和Toshinori Munakata 的基于粗糙集和决策树对低地震活动前兆因素的描述，他们运用粗糙集和决策树的方法，使用了信息增益和熵产生一系列规则，对地震进行预警。 运用决策树方法形成一系列规则，对训练数据集进行分类，然后根据形成的规则对训练数据集之外的数据进行分类，应用在财务领域，可以对财务进行预警。本文运用建造决策树的一种新方法，通过实证研究，对国内制造业上市公司进行财务预警分析。 二、基于变精度加权平均粗糙度的决策树生成算法 （一）对象聚类 系统聚类也称为层次聚类，是聚类分析中广泛应用的一种方法。聚类分析是建立在某种优化意义下，对样品或指标（变量）之间存在的相似性进行比较，将“相近似”的对象归并成类的一种方法。 本文使用SPSS16.0对138家制造业公司进行分类，聚类步骤如下： 1．数据标准化。系统聚类首先要对各个原始数据进行一些相互比较运算，而各个原始数据往往由于量纲不同而影响这种比较和运算。因此，需要对原始数据进行必要的变换处理，以消除量纲不同造成的影响。 数据处理主要是对各个数据进行标准化，数据的标准化是将数据按比例缩放，使之落入一个小的特定区间，方法如下： 对于一个正向指标X i ，假定当它取值大于或者等于α时为最佳，此时，把它所有取值等于或者大于α的值标准化后取值为1； 同理，假定当X i 的取值小于或者等于β时为最差，标准化后取值为0；取值为区间（β，α）的数据δ，标准化之后为：（δ-β）/（α-β）。 2．计算聚类统计量。根据变换以后的数据计算得到聚类统计量。它用来表明各样品或变量间的关系相似或者近似程度。 常用的统计量有距离和相似系数两大类。本文使用欧式距离计算聚类统计量。欧式距离计算方法如下： 假设每个样品有p 个指标，用y ij 表示第i 个样品的第j 个指标，d ij 表示第i 个样品与第j 个样品之间的距离，欧式距离可表示为： d ij =［（y ik -y jk ）2］1/2（1） 基于粗糙集—决策树的上市公司财务预警 刘澄（博士生导师） 胡巧红孙莹 （北京科技大学东凌经济管理学院北京100083） 【摘要】传统的财务预警研究往往把企业财务状况分成ST 和非ST 两类，过于笼统。为此本文首先运用聚类的方法把138家制造业上市公司分为财务状况健康、良好、一般、预警和危机5个层次，这使得对企业财务预警的研究更贴合实际，并且使实证研究结果更加准确。然后运用粗糙集中的变精度加权平均粗糙度来构造决策树的改进算法，对这些公司进行分类，进而提出公司财务状况预警的规则，这样生成的决策树财务预警规则防噪声能力更强，分类效果更好。 【关键词】决策树粗糙集财务预警 ∑ p k=1 基本粒子群算法的原理和matlab程序 作者——niewei120（nuaa） 一、粒子群算法的基本原理 粒子群优化算法源自对鸟群捕食行为的研究，最初由Kennedy和Eberhart提出，是一种通用的启发式搜索技术。一群鸟在区域中随机搜索食物，所有鸟知道自己当前位置离食物多远，那么搜索的最简单有效的策略就是搜寻目前离食物最近的鸟的周围区域。PSO 算法利用这种模型得到启示并应用于解决优化问题。PSO 算法中，每个优化问题的解都是粒子在搜索 空间中的位置，所有的粒子都有一个被优化的目标函数所决定的适应值，粒子还有一个速度值决定它们飞翔的方向和距离，然后粒子群就追随当前的最优粒子在解空间中搜索。 PSO 算法首先在给定的解空间中随机初始化粒子群，待优化问题的变量数决定了解空间的维数。每个粒子有了初始位置与初始速度。然后通过迭代寻优。在每一次迭代中，每个粒子通过跟踪两个“极值”来更新自己在解空间中的空间位置与飞翔速度。第一个极值就是单个粒子本身在迭代过程中找到的最优解粒子，这个粒子叫做个体极值。另一个极值是种群所有粒子在迭代过程中所找到的最优解粒子，这个粒子是全局极值。上述的方法叫全局粒子群算法。如果不用种群所有粒子而只用其中一部分作为该粒子的邻居粒子，那么在所有邻居粒子中的极值就是局部极值，该方法称为局部PSO 算法。 速度、位置的更新方程表示为： 每个粒子自身搜索到的历史最优值p i ，p i=(p i1,p i2,....,p iQ)，i=1,2,3,....,n。所有粒子搜索到的最优值p g，p g=(p g1,p g2,....,p gQ)，注意这里的p g只有一个。 是保持原来速度的系数，所以叫做惯性权重。 是粒子跟踪自己历史最优值的权重系数，它表示粒子自身的认识，所以叫“认知”。通常设置为2。 是粒子跟踪群体最优值的权重系数，它表示粒子对整个群体知识的认识，所以叫做“社会知识”，经常叫做“社会”。通常设置为2。 是[0,1]区间内均匀分布的随机数。 是对位置更新的时候，在速度前面加的一个系数，这个系数我们叫做约束因子。通常设 置为1 。 基于粒子群优化的ＢＰ神经网络 【摘要】人工神经网络的优化学习是其研究中的一个重要课题。将粒子群优化算法用于BP神经网络的学习，将粒子优化算法的全局搜索和BP神经网的局部搜索相结合，并设计一网络实例加以训练，达到了比较满意的效果。 【关键词】粒子群优化算法BP神经网络BP算法BP网络(Back Propagation Network)是用途最为广泛的一类神经网络，具有很强的信息处理能力。但是，由于BP算法的基本思想是最小二乘法，采用的是梯度搜索技术，难免存在收敛速度慢、局部极小等问题。粒子群优化算法(Particle Swarm Optimaziton，简称PSO )是由Kennedy J和Eberhart R C于1995年提出的一种优化算法，源于对鸟群和鱼群群体运动行为的研究。由于其容易理解，易于实现，不要求目标函数和约束条件是可微的，并能以较大概率求得全局最优解，目前已在许多优化问题中得到成功应用。由于它具有并行计算的特点，而且可以提高计算速度。因此，可以用粒子群优化算法来优化BP网络。 一、BP神经网络及其算法 BP网络是一种具有三层或三层以上的单向传播的多层前馈网络，其拓扑结构如图1。 图1 拓扑结构图 BP算法的执行步骤如下： (1)对各层权系数置一个较小Wij的非零随机数。(2)输入一个样本X=(X1，X2，…，x n)，以及对应期望输出) Y=(y1，y2，…，yn)。(3)计算各层的输出。 对于第k 层第i个神经元的输出有：Uki=∑WijXk-1i，Xki=f(Uki)(一般为sigmoid 函数，即f(x)=1/(1-epx(-x))。(4)求各层的学习误差dki。对于输出层，有，k=m，dmi=Xmi(1-Xmi)(Xmi-Ymi)。 对于其他各层，有dxi=Xki(1-Xki)∑Wijdk+1i。(5)修正权系数Wij。Wij (t+1)=Wij-η•dki•Xk-1j。(6)当求出各层权系数之后，可判别是否满足要求。如果满足要求，则算法结束；如果未满足要求，则返回(3)执行。 二、粒子群优化算法 一种对集合A的划分就对应着关于A中元素的一个知识 面对日益增长的数据库，人们将如何从这些浩瀚的数据中找出有用的知识？我们如何将所学到的知识去粗取精？什么是对事物的粗线条描述什么是细线条描述？ 粗糙集合论回答了上面的这些问题。要想了解粗糙集合论的思想，我们先要了解一下什么叫做知识？假设有8个积木构成了一个集合A，我们记： A={x1,x2,x3,x4,x5,x6,x7,x8}，每个积木块都有颜色属性，按照颜色的不同，我们能够把这堆积木分成 R1={红，黄，兰}三个大类，那么所有 红颜色的积木构成集合X1={x1,x2,x6}， 黄颜色的积木构成集合X2={x3,x4}， 兰颜色的积木构成集合X3={x5,x7,x8}。 按照颜色这个属性我们就把积木集合A进行了一个划分(所谓A的划分就是指对于A中的任意一个元素必然属于且仅属于一个分类），那么我们就说颜色属性就是一种知识。在这个例子中我们不难看到，一种对集合A的划分就对应着关于A中元素的一个知识，假如还有其他的属性，比如还有形状R2={三角,方块,圆形}，大小R3={大,中,小}，这样加上R1属性对A构成的划分分别为： A/R1={X1,X2,X3}={{x1,x2,x6},{x3,x4},{x5,x7,x8}}（颜色分类） A/R2={Y1,Y2,Y3}={{x1,x2},{x5,x8},{x3,x4,x6,x7}}（形状分类） A/R3={Z1,Z2,Z3}={{x1,x2,x5},{x6,x8},{x3,x4,x7}}（大小分类） 上面这些所有的分类合在一起就形成了一个基本的知识库。那么这个基本知识库能表示什么概念呢？除了红的{x1,x2,x6}、大的{x1,x2,x5}、三角形的{x1,x2}这样的概念以外还可以表达例如 大的且是三角形的{x1,x2,x5}∩{x1,x2}={x1,x2}， 大三角{x1,x2,x5}∩{x1,x2}={x1,x2}， 兰色的小的圆形({x5,x7,x8}∩{x3,x4,x7}∩ {x3,x4,x6,x7}={x7}， 兰色的或者中的积木{x5,x7,x8}∪ {x6,x8}={x5,x6,x7,x8}。 而类似这样的概念可以通过求交运算得到，比如X1与Y1的交就表示红色的三角形。所有的这些能够用交、并表示的概念以及加上上面的三个基本知识(A/R1,A/R2.A/R3)一 摘要 在智能领域，大部分问题都可以归结为优化问题。常用的经典优化算法都对问题有一定的约束条件，如要求优化函数可微等，仿生算法是一种模拟生物智能行为的优化算法，由于其几乎不存在对问题的约束，因此，粒子群优化算法在各种优化问题中得到广泛应用。 本文首先描述了基本粒子群优化算法及其改进算法的基本原理,对比分析粒子群优化算法与其他优化算法的优缺点，并对基本粒子群优化算法参数进行了简要分析。根据分析结果,研究了一种基于量子的粒子群优化算法。在标准测试函数的优化上粒子群优化算法与改进算法进行了比较,实验结果表明改进的算法在优化性能明显要优于其它算法。本文算法应用于支持向量机参数选择的优化问题上也获得了较好的性能。最后,对本文进行了简单的总结和展望。 关键词：粒子群优化算法最小二乘支持向量机参数优化适应度 目录 摘要...................................................................... I 目录....................................................................... II 1.概述. (1) 1.1引言 (1) 1.2研究背景 (1) 1.2.1人工生命计算 (1) 1.2.2 群集智能理论 (2) 1.3算法比较 (2) 1.3.1粒子群算法与遗传算法(GA)比较 (2) 1.3.2粒子群算法与蚁群算法(ACO)比较 (3) 1.4粒子群优化算法的研究现状 (4) 1.4.1理论研究现状 (4) 1.4.2应用研究现状 (5) 1.5粒子群优化算法的应用 (5) 1.5.1神经网络训练 (6) 1.5.2函数优化 (6) 1.5.3其他应用 (6) 1.5.4粒子群优化算法的工程应用概述 (6) 2.粒子群优化算法 (8) 2.1基本粒子群优化算法 (8) 2.1.1基本理论 (8) 2.1.2算法流程 (9) 2.2标准粒子群优化算法 (10) 2.2.1惯性权重 (10) 2.2.2压缩因子 (11) 2.3算法分析 (12) 2.3.1参数分析 (12) 2.3.2粒子群优化算法的特点 (14) 3.粒子群优化算法的改进 (15) 3.1粒子群优化算法存在的问题 (15) 3.2粒子群优化算法的改进分析 (15) 3.3基于量子粒子群优化(QPSO)算法 (17) 3.3.1 QPSO算法的优点 (17) 3.3.2 基于MATLAB的仿真 (18) 3.4 PSO仿真 (19) 3.4.1 标准测试函数 (19) 3.4.2 试验参数设置 (20) 3.5试验结果与分析 (21) 4.粒子群优化算法在支持向量机的参数优化中的应用 (22) 4.1支持向量机 (22) 4.2最小二乘支持向量机原理 (22) 主函数源程序（main.m） %------基本粒子群优化算法（Particle Swarm Optimization）-----------%------名称：基本粒子群优化算法（PSO） %------作用：求解优化问题 %------说明：全局性，并行性，高效的群体智能算法 %------初始格式化--------------------------------------------------clear all; clc; format long; %------给定初始化条件---------------------------------------------- c1=1.4962;%学习因子1 c2=1.4962;%学习因子2 w=0.7298;%惯性权重 MaxDT=1000;%最大迭代次数 D=10;%搜索空间维数（未知数个数） N=40;%初始化群体个体数目 eps=10^(-6);%设置精度(在已知最小值时候用) %------初始化种群的个体(可以在这里限定位置和速度的范围)------------for i=1:N for j=1:D x(i,j)=randn;%随机初始化位置 v(i,j)=randn;%随机初始化速度 end end %------先计算各个粒子的适应度，并初始化Pi和Pg----------------------for i=1:N p(i)=fitness(x(i,:),D); y(i,:)=x(i,:); end pg=x(1,:);%Pg为全局最优 for i=2:N if fitness(x(i,:),D) 基于粗糙集的神经网络在模式识别中的应 用 摘要：为解决神经网络在模式识别中存在的噪声问题，基于粗糙集的上、下近似和边界线集 理论提出了一种对噪声样本进行处理的方法。该方法主要包括对处于下近似集内的含噪声属 性值,将噪声消除后转换为理想状态下的属性值；对处于边界域内的含噪声属性值保持不变。 当属性值处于边界域内属性的个数与全部属性数的比值达到某个确定的值时，就认为该样本受到噪声干扰过大，对其拒绝识别。通过实验对比表明，该方法能有效地降低BP网络模式识 别的误识率。 关键词：粗糙集神经网络模式识别中图分类号：TP18 文献标识码：A Study on BP Network for Pattern Recognition Based on RS Theory Fan li meng (School of Information Engineering, Hebei University of Technology, Tianjin 300401, China ) Abstract: In order to solve the no ise problem of BP n etwork for pattern recog niti on ‘proposes a method to process the no isy samples based on the upper approximati ons, the lower approximati ons and the boun dary regi on theories of rough sets. The method elim in ates the no ise of attribute values and cha nges them into ideal values whe n they are in the lower approximati ons; and those attribute values with no ise will remai n un cha nged while they are in the boun dary regi on. The sample will be refused to recog nize if the perce nt of its attributes with their values in the boun dary regi on is over a certa in point. The results of experime nt show that the method can effectively reduce the false recog niti on rate of BP n etwork for pattern recog niti on. Keywords: rough sets,BP n etwork,patter n recog niti on 1刖言 神经网络在模式识别中的应用十分广泛，由于网络训练样本中存在大量的冗余信息，常导致神经网络结构复杂、训练速度较慢、识别率不高等问题。 粗糙集理论是一种处理含糊和不精确性问题的新型数学工具。自1982年波兰科学家 乙Pawlak提出该理论以来，发展十分迅速。粗糙集理论具有强大的定性分析能力，不需要预先给定某些特征或属性的数量描述，能有效地分析和处理不精确、不完整、不一致数据，可以发现数据间隐藏的关系， 提取有用的信息，简化信息处理。粗糙集的主要特点之一便是 在分类能力保持不变的前提下，通过对知识的约简，导出概念的分类规则。近年来粗糙集理 论在模式识别、机器学习、故障诊断、知识获取与发现、决策分析与支持等领域取得了较为 成功的应用。 本文根据粗糙集的优点，在神经网络中引入粗糙集方法可有效地改善神经网络对有噪声、有冗余或不确定值数据输入模式的处理能力。粗糙集对神经网络和识别技术具有明显的方法学意义，特别是在模糊或不精确知识的表达、机器学习、决策分析、知识发现、模式识别等领域。在神经网络训练前，引用粗糙集理论对神经网络的训练样本进行属性约简，提取训练样本的重要特征，使得训练样本的输入向量维数减少，进而简化神经网络的结构，提高网络训练速度和识别率。 ２００９年１月第１６卷第１期 控制工程 ＣｏｎｔｒｏｌＥｎｇｉｎｅｅｒｉｎｇｏｆＣｈｉｎａ． Ｊａｎ．２００９ Ｖ０１．１６，Ｎｏ．１ 文章编号：１６７１－７８４８（２００９）０ｌ－００４２－０４ 基于粗糙集优化神经网络结构的启发式算法 张鹏１”，崔文利２ （Ｉ．中国民航大学工程技术训练中心，天津３００３００；２．中国民航大学航空自动化学院，天津３００３００） 摘要：为了解决神经网络设计中确定网络结构尤其是隐层单元数的问题，提出了一种 基于粗糙集理论确定神经网络结构的启发式算法。通过粗糙集理论属性约简算法对训练样本 数据进行处理，根据处理结果确定网络的榆入、输出以及隐层单元数。在对Ａ３２０飞机自动驾 驶仪不能衔接的故障诊断实例中，所设计的网络在训练中能够快速收敛，相对于传统的试探 法能更快速准确地确定网络结构，从而提高飞机故障诊断效率，缩短维修时间，证明了该方法 的实际可行性。 关键词：粗糙集；ＢＰ神经网络：网络结构 中图分类号：ＴＰ２７文献标识码：Ａ ＡＨｅｕｒｉｓｔｉｃＡｌｇｏｒｉｔｈｍＢａｓｅｄｏｎＲｏｕｇｈＳｅｔｆｏｒＤｅｓｉｇｎｏｆＮｅｕｒａｌ ＮｅｔｗｏｒｋＳｔｒｕｃｔｕｒｅ ＺＨＡＮＧＰｅｎ９１．２．Ｃ们耽ｎ—ｌｉ２ （１．ＥｎｇｉｎｅｅｒｉｎｇａｎｄＴｅｃｈｎｉｃａｌＴｒａｉｎｉｎｇＣｅｎｔｅｒ，ＣｉｖｉｌＡｖｉａｔｉｏｎＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎａ，Ｔｉａｎｊｉｎ３００３００，Ｃｈｉｎａ； ２．ＡｅｒｏｎａｕｔｉｃＡｕｔｏｍａｔｉｏｎＣｏｌｌｅｇｅ，ＣｉｖｉｌＡｖｉａｔｉｏｎＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎａ，Ｔｉ肌ｊｉｎ３００３００．Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏｔｈｅｐｒｏｂｌｅｍｏｆｄｅｓｉｇｎｉｎｇｔｈｅｎｅｕｒａｌｎｅｔｗｏｒｋｓｔｒｕｃｔｕｒｅｅｓｐｅｃｉａｌｌｙｔｈｅｃｒｙｐｔｉｃｌａｙｅｒ，ａｈｅｕｒｉｓｔｉｃａｌｇｏｒｉｔｈｍｉｓｐｒｅｓｅｎｔｅｄｂａｓｅｄｏｎｔｈｅｒｏｕｇｈｓｅｔｔｈｅｏｒｙ．Ｔｈｅｉｎｐｕｔ，ｏｕｔｐｕｔａｎｄｔｈｅｃｒｙｐｔｉｃｃｅｌｌｎｕｍｂｅｒｏｆｔｈｅｎｅｔｗｏｒｋａｒｅｄｅｔｅｒｍｉｎｅｄｂｙｐｒｏｃｅｓｓｉｎｇｔｈｅｔｒａｉｎｉｎｇｓａｍｐｌｅｄａｔａｏｆｒｅｄｕｃｔｉｉｏｎ．ＡｎｅｘａｍｐｌｅｏｎｔｈｅｆａｕｌｔｄｉａｇｎｏｓｉｓｏｆＡ３２０ａｕｔｏｐｉｌｏｔｄｉｓｅｎｇａｇｅｍｅｎｔｉｓｐｒｏｖｉｄｅｄ．Ｔｈｅｎｅｔｗｏｒｋｓｔｒｕｃｔｕｒｅｄｅ－ｓｉｇｎｅｄａｃｃｏｒｄｉｎｇｔｏｔｈｅｐｒｅｓｅｎｔｅｄｍｅｔｈｏｄｃａｎｃｏｎｖｅｒｇｅｆａｓｔｅｒａｎｄｍｏｒｅａｃｃｕｒａｔｅｔｈａｎｔｈａｔｂｙｕｓｕａｌｔｅｎｔａｔｉｖｅｍｅｔｈｏｄ．Ｔｈｅｓｉｍｕｌａｔｉｏｎｒｅ?ｓｕｈｓｈｏｗｓｔｈｅｆｅａｓｉｂｉｌｉｔｙｏｆｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄ． Ｋｅｙｗｏｒｄｓ：ｒｏｕｌｇｈｓｅｔｓ；ＢＰｎｅｕｒａｌｎｅｔｗｏｒｋ；ｎｅｔｓｔｒｕｃｔｕｒｅ ｌ引言２粗糙集与神经网络理论基础 神经网络是一种比较成熟的人工智能方法，随着研究的不断深入，应用也越来越广泛。但是网络结构的设计尤其是隐层神经元数的确定是神经网络遇到的一个瓶颈问题，多少影响了它在实际中的应用。目前，采用各种方法优化神经网络结构的研究很多，力求提供一种确定网络结构的通用算法。本文受到神经网络的结构特点以及输入输出与隐层神经元之间关系的启发，提出了一种基于粗糙集理论确定神经网络结构的算法，通过粗糙集理论属性约简方法对训练样本数据进行处理，进而确定神经网络的结构。 神经网络在民航飞机故障诊断中的应用很多，主要是针对目前维修工作量大而维修效率低的矛盾，以提高效率，缩短维修时间。本文以Ａ３２０飞机自动驾驶仪不能衔接的故障为例对所提出算法进行验证说明。 粗糙集理论…最早由波兰学者Ｚ．Ｐａｗｌａｋ提出，它的一个重要特点是具有很强的定性分析能力。粗糙集理论的一个核心内容是属性约简，即在保持分类能力不变的条件下，删除其中不相关或不重要的知识。差别矩阵旧１算法是粗糙集理论目前最常用的属性约简办法。差别矩阵定义： 决策表Ｓ＝（Ｕ，Ｒ，Ｖ，力的差别矩阵是一个对称的（Ｕ×Ｕ）矩阵，矩阵的每一项ｃｉｉ表示为 『｛ｏ∈Ａ：ｎ（ｘｉ）＃ａ（ｘｉ）｝，Ｄ（ｘｉ）＃Ｄ（ｘｊ）…９【０，Ｄ（菇ｉ）＝Ｄ（石ｉ）一值不完全相同而且决策也不同时，该元素值为属性值不同的属性组合；当两条记录之间决策相同时，该元素值为０。 约简集￡为 Ｌ＝ｆ３ｃ。（２）ＢＰ网络是神经网络［２１最常用的网络模型，具 收稿日期：２００８Ｄ３—１ｌ；收修定稿日期：２００８－０４—１４ 基金项目：国家自然科学基金资助项目（６０４７２１２４） 作者简介：张鹏（１９６３．），男，北京人．副教授，研究生，主要从事航空机载设备故障诊断等方面的教学与科研工作。 万方数据 粒子群算法介绍 优化问题是工业设计中经常遇到的问题,许多问题最后都可以归结为优化问题. 为了解决各种各样的优化问题,人们提出了许多优化算法,比较著名的有爬山法、遗传算法等.优化问题有两个主要问题:一是要求寻找全局最小点,二是要求有较高的收敛速度. 爬山法精度较高,但是易于陷入局部极小. 遗传算法属于进化算法( Evolutionary Algorithms) 的一种,它通过模仿自然界的选择与遗传的机理来寻找最优解. 遗传算法有三个基本算子:选择、交叉和变异. 但是遗传算法的编程实现比较复杂,首先需要对问题进行编码,找到最优解之后还需要对问题进行解码,另外三个算子的实现也有许多参数,如交叉率和变异率,并且这些参数的选择严重 影响解的品质,而目前这些参数的选择大部分是依靠经验.1995 年Eberhart博士和kennedy博士提出了一种新的算法;粒子群优化(Particle Swarm Optimization -PSO) 算法. 这种算法以 其实现容易、精度高、收敛快等优点引起了学术界的重视,并且在解决实际问题中展示了其优越性。 粒子群优化(Particle Swarm Optimization - PSO) 算法是近年来发展起来的一种新的进化算法( Evolutionary Algorithm - EA) .PSO 算法属于进化算法的一种,和遗传算法相似,它也是从随机解出发,通过迭代寻找最优解,它也是通过适应度来评价解的品质. 但是它比遗传算法规则更为简单,它没有遗传算法的“交叉”(Crossover) 和“变异”(Mutation) 操作. 它通过追随 当前搜索到的最优值来寻找全局最优。 1. 引言 粒子群优化算法(PSO)是一种进化计算技术(evolutionary computation)，由Eberhart博士和kennedy博士提出。源于对鸟群捕食的行为研究。 PSO同遗传算法类似，是一种基于迭代的优化算法。系统初始化为一组随机解，通过迭代搜寻最优值。但是它没有遗传算法用的交叉(crossover)以及变异(mutation)，而是粒子在解空间追随最优的粒子进行搜索。同遗传算法比较，PSO的优势在于简单容易实现并且没有许多参数需要调整。目前已广泛应用于函数优化，神经网络训练，模糊系统控制以及其他遗传算法的应用领域 2. 背景: 人工生命 "人工生命"是来研究具有某些生命基本特征的人工系统。人工生命包括两方面的内容： 1. 研究如何利用计算技术研究生物现象 2. 研究如何利用生物技术研究计算问题 我们现在关注的是第二部分的内容. 现在已经有很多源于生物现象的计算技巧. 例如, 人工神经网络是简化的大脑模型. 遗传算法是模拟基因进化过程的. 现在我们讨论另一种生物系统- 社会系统. 更确切的是, 在由简单个体组成的群落与环境以及个体之间的互动行为. 也可称做"群智能"(swarm intelligence). 这些模拟系统利用局 部信息从而可能产生不可预测的群体行为 例如floys和boids, 他们都用来模拟鱼群和鸟群的运动规律, 主要用于计算机视觉和计算机辅助设计. 在计算智能(computational intelligence)领域有两种基于群智能的算法. 蚁群算法(ant colony optimization)和粒子群算法(particle swarm optimization). 前者是对蚂蚁群落食物采集过程的模拟. 已经成功运用在很多离散优化问题上. 粒子群优化算法(PSO) 也是起源对简单社会系统的模拟. 最初设想是模拟鸟群觅食的 过程. 但后来发现PSO是一种很好的优化工具.粒子群算法的研究现状及其应用
matlab粒子群优化算法进行传感器优化配置程序
粗糙集+神经网络
粒子群算法基本原理
粒子群算法在神经网络非线性函数拟合中的应用【精品文档】(完整版)
基于粗糙集—决策树的上市公司财务预警
(完整word版)基本粒子群算法的原理和matlab程序
基于粒子群优化的BP神经网络
粗糙集基本概念
粒子群优化算法及其应用研究【精品文档】(完整版)
基本粒子群算法的matlab源程序
基于粗糙集神经网络在模式识别中的应用
基于粗糙集优化神经网络结构的启发式算法
粒子群算法与遗传算法的比较
相关主题
文本预览