优先出版 计 算 机 应 用 研 究 第32卷
--------------------------------
基金项目：国家重点基础研究发展计划(“973”计划)课题(2012CB315901，2013CB329104)，国家自然科学基金课题(61372121)；国家高技术研究发展计划(“863”计划)课题(2013AA013505)
作者简介：孟飞(1989-)，男，河南永城人，硕士研究生，主要研究方向为宽带信息网络(mf472933350@https://www.doczj.com/doc/1b2557864.html,)；兰巨龙(1962-)，男，河北张北人，国家数字交换系统工程技术研究中心教授、博导，国家973计划项目首席科学家，下一代广播电视网专项总体组专家，主要研究方向为宽带信息网络、网络与信息安全；胡宇翔(1982-)，男，河南周口人，国家数字交换系统工程技术研究中心讲师，主要研究方向为新一代信息网络关键理论与技术．
基于改进的量子粒子群优化小波神经网络的网络流量预测
孟 飞，兰巨龙，胡宇翔
(国家数字交换系统工程技术研究中心，郑州 450002)
摘 要：为了改善小波神经网络（WNN ）进行流量预测的性能及避免量子粒子群算法（QPSO ）搜索后期的早熟收敛缺
陷，提出了一种改进的QPSO 。该算法定义粒子群聚拢度，改进收缩-扩张系数使其表示为聚拢度的函数并服从随机分布，以使粒子群具有动态自适应性，避免陷入局部最优，并通过搜索使用WNN 待优化参数编码位置向量的粒子群的全局最
优位置来实现目标参数的优化，使用本算法优化WNN 参数，建立了基于改进的QPSO 优化WNN 的网络流量预测模型。使用真实网络流量通过两组对比实验对其预测精度进行验证，证明了该方法的可用性。实验结果表明，该方法的预测精
度优于WNN 方法和QPSO-WNN 方法。
关键词：小波神经网络；量子粒子群优化；聚拢度；流量预测；收缩-扩张系数
中图分类号：TP393.0 文献标志码：A
Internet traffic forecasting based on wavelet neural network optimized by
improved quantum-behaved particle swarm optimization
MENG Fei, LAN Ju-long, HU Yu-xiang
(National Digital Switching System Engineering & Technological Research Center, Zhengzhou 450002, China)
Abstract: To improve the performance of Wavelet Neural Network (WNN) model in forecasting network traffic, as well as to
avoid the shortcomings of premature convergence of Quantum-behaved Particle Swarm Optimization (QPSO) algorithm, this
paper proposed a novel Improved Quantum-behaved Particle Swarm Optimization (IQPSO) method. This method defined
particle gathering degree and improved contraction-expansion coefficient, which is subject to stochastic distribution, to be
expressed as the function of particle gathering degree to make swarm have self-adaption, avoiding falling into local optimum.
And by searching for the global best particle, it optimized Wavelet Neural Network (WNN) parameters which are encoded in the
positions of particles. It trained the Wavelet Neural Network with IQPSO to implement the optimization of WNN parameters
and established the network traffic forecasting model based on the Wavelet Neural Network optimized by Improved
Quantum-behaved Particle Swarm Optimization (IQPSO-WNN). Forecasting results on real network traffic demonstrate that the
prediction accuracy of the proposed method is more accurate than that of traditional Wavelet Neural Network and Wavelet
Neural Network optimized by Quantum-behaved Particle Swarm Optimization (QPSO-WNN).
Key Words: wavelet neural network (WNN); quantum-behaved particle swarm optimization (QPSO); gathering degree; traffic
forecasting; contraction-expansion coefficient
0 引言 随着互联网规模的不断增大以及各种网络新应用、新服务的不断涌现，如何更好地对业务提供服务质量（Quality of Service ，QoS ）保障，是一个亟待解决的问题。通过流量预测提前预知网络状况，进而采取相应应对措施是网络QoS 保障的重要组成部分[1]。 网络流量具有异构性、突发性、自相似性[2]等复杂特性，为了更好地对其进行预测，研究人员作了大量研究，形成了很
多预测模型。现有的网络流量预测分为线性预测和非线性预测。
线性预测方法的自回归移动平均模型（Auto-regressive
Integrated Moving Average Model ，ARIMA)应用广泛[3-5]。但是
ARIMA 的理论前提是网络流量具有线性宽平稳过程特征，而网
络流量具有多尺度特征[6]，是一个复杂的非线性、非平稳过程[7]。
因此使用ARIMA 模型无法准确地描述出网络流量的全部特征。
小波神经网络（Wavelet Neural Network ，WNN ）是小波分析理
论与神经网络理论有机结合的产物，融合了小波分析的多尺度
分析能力和神经网络的非线性学习能力，对非平稳信号具有良
文章预览已结束
获取全文请访问
https://www.doczj.com/doc/1b2557864.html,/article/02-2015-05-054.html
粒子群优化算法综述 摘要：本文围绕粒子群优化算法的原理、特点、改进与应用等方面进行全面综述。侧重于粒子群的改进算法，简短介绍了粒子群算法在典型理论问题和实际工业对象中的应用，并给出了粒子群算三个重要的网址，最后对粒子群算做了进一步展望。 关键词；粒子群算法；应用；电子资源；综述 0.引言 粒子群优化算法]1[(Particle Swarm Optimization ，PSO)是由美国的Kenned 和Eberhar 于1995年提出的一种优化算法,该算法通过模拟鸟群觅食行为的规律和过程，建立了一种基于群智能方法的演化计算技术。由于此算法在多维空间函数寻优、动态目标寻优时有实现容易，鲁棒性好，收敛快等优点在科学和工程领域已取得很好的研究成果。 1. 基本粒子群算法]41[- 假设在一个D 维目标搜索空间中，有m 个粒子组成一个群落，其中地i 个粒子组成一个D 维向量，),,,(21iD i i i x x x x =，m i ,2,1=，即第i 个粒子在D 维目标搜索空间中的位置是i x 。换言之，每个粒子 的位置就是一个潜在的解。将i x 带入一个目标函数就可以计算出其适 应值，根据适应值得大小衡量i x 的优劣。第i 个粒子的飞翔速度也是一个D 维向量，记为),,,(21iD i i i v v v v =。记第i 个粒子迄今为止搜索到的最优位置为),,,(21iD i i i p p p p =，整个粒子群迄今为止搜索到的最优位置为),,,(21gD gi g g p p p p =。 粒子群优化算法一般采用下面的公式对粒子进行操作
)()(22111t id t gd t id t id t id t id x p r c x p r c v v -+-+=+ω (1) 11+++=t id t id t id v x x (2) 式中，m i ,,2,1 =；D d ,,2,1 =；ω是惯性权重， 1c 和2c 是非负常数， 称为学习因子， 1r 和2r 是介于]1,0[间的随机数；],[max max v v v id -∈，max v 是常数，由用户设定。 2. 粒子群算法的改进 与其它优化算法一样PSO 也存在早熟收敛问题。随着人们对算 法搜索速度和精度的不断追求，大量的学者对该算法进行了改进，大致可分为以下两类：一类是提高算法的收敛速度；一类是增加种群多样性以防止算法陷入局部最优。以下是对最新的这两类改进的总结。 2.1.1 改进收敛速度 量子粒子群优化算法]5[:在量子系统中，粒子能够以某一确定的 概率出现在可行解空间中的任意位置，因此，有更大的搜索范围，与传统PSO 法相比，更有可能避免粒子陷入局部最优。虽然量子有更大的搜索空间，但是在粒子进化过程中，缺乏很好的方向指导。针对这个缺陷，对进化过程中的粒子进行有效疫苗接种，使它们朝着更好的进化方向发展，从而提高量子粒子群的收敛速度和寻优能力。 文化粒子群算法]6[:自适应指导文化PSO 由种群空间和信念空间 两部分组成。前者是基于PSO 的进化，而后者是基于信念文化的进化。两个空间通过一组由接受函数和影响函数组成的通信协议联系在一起，接受函数用来收集群体空间中优秀个体的经验知识；影响函数利用解决问题的知识指导种群空间进化；更新函数用于更新信念空间；
粒子群算法在神经网络非线性函数 拟合中的应用 一、本文研究和解决的问题 在自动控制问题中，系统辨识的目的是为了建立被控对象的数学模型。多年来，控制领域对于复杂的非线性对象的辨识一直未能很好的解决，神经网络所具有的非线性特性和学习能力使其在系统辨识方面有很大的潜力。为解决具有复杂的非线性、不确定性和不确知对象的辨识问题开辟了一条有效的途径。基于神经网络的系统辨识是以神经网络作为被辨识对象的模型，利用其非线性特性，可建立非线性系统的静态或动态模型。理论上，多层前馈神经网络能够以任意精度逼近任意非线性映射。 但传统神经网络学习算法中存在的收敛速度慢、容易陷入局部最优等缺点，于是设计了基于标准粒子群算法的神经网络非线性函数拟合系统。 二、传统的BP神经网络 BP 神经网络即采用误差反向传播算法的网络，是一种至今仍然最为流行的前馈型神经网络模型。BP 神经网络有很强的非线性映射能力，它能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供给网络进行学习训练，它便能完成由n 维输入空间到m 维输出空间的非线性映射。BP 学习算法属于误差修正型学习，其关键在于根据误差修正输出层和隐含层的连接权值。其学习的基本实现方法是基于最小平方误差准则和梯度下降优化方法来确定权值调整法则。 BP网络建模特点： 非线性映照能力：神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。 并行分布处理方式：在神经网络中信息是分布储存和并行处理的，这使它具有很强的容错性和很快的处理速度。 自学习和自适应能力：神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一般情形的能力。神经网络的学习也可以在线进行。 数据融合的能力：神经网络可以同时处理定量信息和定性信息，因此它可以利用传统的工程技术（数值运算）和人工智能技术（符号处理）。 多变量系统：神经网络的输入和输出变量的数目是任意的，对单变量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统间的解耦问题。
摘要 在智能领域，大部分问题都可以归结为优化问题。常用的经典优化算法都对问题有一定的约束条件，如要求优化函数可微等，仿生算法是一种模拟生物智能行为的优化算法，由于其几乎不存在对问题的约束，因此，粒子群优化算法在各种优化问题中得到广泛应用。 本文首先描述了基本粒子群优化算法及其改进算法的基本原理,对比分析粒子群优化算法与其他优化算法的优缺点，并对基本粒子群优化算法参数进行了简要分析。根据分析结果,研究了一种基于量子的粒子群优化算法。在标准测试函数的优化上粒子群优化算法与改进算法进行了比较,实验结果表明改进的算法在优化性能明显要优于其它算法。本文算法应用于支持向量机参数选择的优化问题上也获得了较好的性能。最后,对本文进行了简单的总结和展望。 关键词：粒子群优化算法最小二乘支持向量机参数优化适应度
目录 摘要...................................................................... I 目录....................................................................... II 1.概述. (1) 1.1引言 (1) 1.2研究背景 (1) 1.2.1人工生命计算 (1) 1.2.2 群集智能理论 (2) 1.3算法比较 (2) 1.3.1粒子群算法与遗传算法(GA)比较 (2) 1.3.2粒子群算法与蚁群算法(ACO)比较 (3) 1.4粒子群优化算法的研究现状 (4) 1.4.1理论研究现状 (4) 1.4.2应用研究现状 (5) 1.5粒子群优化算法的应用 (5) 1.5.1神经网络训练 (6) 1.5.2函数优化 (6) 1.5.3其他应用 (6) 1.5.4粒子群优化算法的工程应用概述 (6) 2.粒子群优化算法 (8) 2.1基本粒子群优化算法 (8) 2.1.1基本理论 (8) 2.1.2算法流程 (9) 2.2标准粒子群优化算法 (10) 2.2.1惯性权重 (10) 2.2.2压缩因子 (11) 2.3算法分析 (12) 2.3.1参数分析 (12) 2.3.2粒子群优化算法的特点 (14) 3.粒子群优化算法的改进 (15) 3.1粒子群优化算法存在的问题 (15) 3.2粒子群优化算法的改进分析 (15) 3.3基于量子粒子群优化(QPSO)算法 (17) 3.3.1 QPSO算法的优点 (17) 3.3.2 基于MATLAB的仿真 (18) 3.4 PSO仿真 (19) 3.4.1 标准测试函数 (19) 3.4.2 试验参数设置 (20) 3.5试验结果与分析 (21) 4.粒子群优化算法在支持向量机的参数优化中的应用 (22) 4.1支持向量机 (22) 4.2最小二乘支持向量机原理 (22)
收稿日期:20050518;修回日期:20050816。 基金项目:武汉理工大学校基金(X JJ2004113);U IRT 计划(A156,A157)资助课题 作者简介:高飞(1976),男,博士研究生,主要研究方向为最优化理论与方法,计算流体力学。E 2mail :gaofei @https://www.doczj.com/doc/1b2557864.html, 基于改进粒子群优化的非线性最小二乘估计 高 飞,童恒庆 (武汉理工大学数学系,湖北武汉430070) 摘 要:针对测量数据处理中非线性模型参数估计理论广泛使用的传统牛顿类算法对初值的敏感性问题, 提出了一种求解非线性最小二乘估计的改进粒子群优化算法。该算法利用均匀设计方法在可行域内产生初始群体,无需未知参数θ的较好的近似作为迭代初值,而具有大范围收敛的性质;通过偏转、拉伸目标函数有效地抑制了粒子群优化算法易收敛到局部最优的缺陷。给出应用该方法到NL SE 的具体步骤,通过仿真实验证明该算法的有效性。 关键词:统计学;参数估计;粒子群优化算法;非线性最小二乘估计中图分类号:TP301 文献标识码:A Nonlinear least squares estimation based on improved particle sw arm optimization G AO Fei ,TON G Heng 2qing (Dept.of Mathematics ,W uhan U niv.of Technology ,W uhan 430070,China ) Abstract :To investigate the sensitivity of the traditional Newton methods widely used in the theory of nonlinear least squares estimation (NLSE )in geodesic data processing to the initial point ,an improved particle swarm optimiza 2tion (PSO )algorithm is proposed.It generates the initial population in feasible field by uniform design method ,so it has the property of convergence in large scale without better approximation of the unknown parameter θas iterative ini 2tial point.It restrains PSO ’s local convergence limitation efficiently by deflection and stretching of objective function.Finally the detailled steps of the proposed method for NLSE are given ,and experiments done show the improved tech 2nique ’s effectiveness. K ey w ords :statistics ;parameter estimation ;particle swarm optimization ;nonlinear least squares estimation 0 引 言 始于20世纪60年代的关于非线性模型参数估计理论的研究,直到1980年以后,Bates 和Watts 引入曲率度量以后,才得到较快的发展。对于一些复杂的非线性模型,传统的方法如:直接搜索法、复合形法、梯度法、变尺度法等往往只对某一类特定问题有效,且对模型的限制比较多,如可导、单峰等特性。要在测量数据处理中广泛使用非线性模型参数估计理论,必须进行大量深入细致的工作,寻找通用有效的算法[1-2]。随研究的深入,我们发现群集智能研究的新进展粒子群优化(particle swarm optimization ,PSO )算法有其独特的优势[3-6],采用该算法的非线性最小二乘估计(nonlinear least squares es 2timation ,NLSE )问题能得到非常好的计算结果。 PSO 由Eberhart 和K ennedy 于1995年提出,起源于对 一个简化社会模型的仿真,和人工生命理论以及鸟类或鱼类的群集现象有十分明显的联系;作为一种高效并行优化方法,已经得到了众多学者的重视和研究,可用于求解大量非线性、不可微和多峰值的复杂优化问题;而且其程序实现简洁,需要调整的参数少,发展很快,已应用于多个科学和工程领域[3-4]。同时,鉴于PSO 收敛性能的局限,很多学者都致力于提高PSO 算法的性能[5-6]。 本文尝试探讨非线性最小二乘估计的相关理论,采用均匀设计方法设计群体[7]、偏转目标函数[8]以改善PSO 的收敛性能,在此基础上采用PSO 的求解非线性最小二乘估计问题,数值算例进一步说明了本文的主要结果。 1 非线性最小二乘估计 已知{(X i ,Y i ),i =1,…,n}是模型的一组观测值,假 第28卷 第5期系统工程与电子技术 Vol.28 No.52006年5月 Systems Engineering and Electronics May 2006 文章编号:10012506X (2006)0520775204
基于粒子群优化的ＢＰ神经网络 【摘要】人工神经网络的优化学习是其研究中的一个重要课题。将粒子群优化算法用于BP神经网络的学习，将粒子优化算法的全局搜索和BP神经网的局部搜索相结合，并设计一网络实例加以训练，达到了比较满意的效果。 【关键词】粒子群优化算法BP神经网络BP算法BP网络(Back Propagation Network)是用途最为广泛的一类神经网络，具有很强的信息处理能力。但是，由于BP算法的基本思想是最小二乘法，采用的是梯度搜索技术，难免存在收敛速度慢、局部极小等问题。粒子群优化算法(Particle Swarm Optimaziton，简称PSO )是由Kennedy J和Eberhart R C于1995年提出的一种优化算法，源于对鸟群和鱼群群体运动行为的研究。由于其容易理解，易于实现，不要求目标函数和约束条件是可微的，并能以较大概率求得全局最优解，目前已在许多优化问题中得到成功应用。由于它具有并行计算的特点，而且可以提高计算速度。因此，可以用粒子群优化算法来优化BP网络。 一、BP神经网络及其算法 BP网络是一种具有三层或三层以上的单向传播的多层前馈网络，其拓扑结构如图1。 图1 拓扑结构图 BP算法的执行步骤如下： (1)对各层权系数置一个较小Wij的非零随机数。(2)输入一个样本X=(X1，X2，…，x n)，以及对应期望输出) Y=(y1，y2，…，yn)。(3)计算各层的输出。 对于第k 层第i个神经元的输出有：Uki=∑WijXk-1i，Xki=f(Uki)(一般为sigmoid 函数，即f(x)=1/(1-epx(-x))。(4)求各层的学习误差dki。对于输出层，有，k=m，dmi=Xmi(1-Xmi)(Xmi-Ymi)。 对于其他各层，有dxi=Xki(1-Xki)∑Wijdk+1i。(5)修正权系数Wij。Wij (t+1)=Wij-η•dki•Xk-1j。(6)当求出各层权系数之后，可判别是否满足要求。如果满足要求，则算法结束；如果未满足要求，则返回(3)执行。 二、粒子群优化算法
%---------程序正文------------------- clear all; close all; %---------变量部分------------------- popsize=50; %种群规模 vartotal=2; %变量个数 inertia=0.5; %惯性因子 selfw=2.0; %自身因子 globalw=2.0; %全局因子 mutatep=0.05; %变异概率 maxgen=500; %限定代数 %---------数组部分----------------------- varrange(1,1)=-512; %第一变量最小值 varrange(1,2)=512; %第一变量最大值 varrange(2,1)=-512; %第二变量最小值 varrange(2,2)=512; %第二变量最大值 %---------粒子位置初始化----------------- for i=1:1:popsize for j=1:1:vartotal angle(i,j)=2*pi*rand; chrom(i,1,j)=cos(angle(i,j)); %第i个粒子（量子染色体）的幅角余弦 chrom(i,2,j)=sin(angle(i,j)); %第i个粒子（量子染色体）的幅角正弦 selfangle(i,j)=2*pi*rand; selfchrom(i,1,j)=cos(angle(i,j));%第i个粒子自身最优位置的幅角余弦 selfchrom(i,2,j)=sin(angle(i,j));%第i个粒子自身最优位置的幅角正弦 dangle(i,j)=0; end end 1 %---------解空间变换------------------------ for i=1:1:popsize for j=1:1:2 for k=1:1:vartotal chromx(i,j,k)=0.5*(varrange(k,2)*(1+chrom(i,j,k))+varrange(k,1)*(1-chrom(i,j,k))); selfchromx(i,j,k)=0.5*(varrange(k,2)*(1+selfchrom(i,j,k))+varrange(k,1)*(1-selfchrom(i,j,k))); end end end 1 %---------计算适应度---------------------------- for i=1:1:popsize for j=1:1:2
关于量子粒子群算法的杂七杂八 1 关于PSO 说到GPSO，必须要说到它的源头，也就是PSO，也就是粒子群算法 按照北京航空航天大学的王小川老师说法，粒子群优化算法（Particle swarm optimization，PSO）是模拟鸟群捕食行为的优化算法。不同于遗传算法（Genetic Alogrithm，GA），粒子群算法是有记忆的，之前迭代过程中的最优位置和最优方向都会保留下来并作用于粒子群的更新。这个算法的应用太广了，如果学习了一段时间的机器学习，即将迈入深度学习的阶段，一定要迈过去的两个坎，一个是RBM，就是受限玻尔兹曼机，另一个就是PSO 1.1相关的名词解释 粒子群长度：粒子群长度等于每一个参数取值范围的大小。 粒子群维度：粒子群维度等于待寻优参数的数量。这个根据项目的具体要求可以十分容易的敲定 粒子群位置：粒子群位置包含参数取值的具体数值。 粒子群方向：粒子群方向表示参数取值的变化方向。 个人感觉这里也可以理解成想原本的粒子（或者是cluster中的拥有实际含义的矩阵）的方向向量进行进一步的分解，从某种意义上说，其实它加大了分解出来的向量之间的联系，算是在某种程度上对于数据的维度进行了一定的扩充。 适应度函数：表征粒子对应的模型评价指标。关于适应度函数的取值其实不止一个算法或者是模型中提到了关于适应度函数的具体含义与在具有特定条件与背景之下可能有效的适应度函数的取法，经典的如北京航空航天大学的王小川老师在他的著作中认为可以将适应度函数的取值设定为cluster中的单个样本的值对应的总的cluster的mean值的均方差的倒数，当然这个说法并不唯一，而且是在不同的条件下取值并不完全相同。《43个案例分析》中单只要是涉及到函数的拟合的，适应度函数的取值都为待拟合的函数的取值的倒数。目前尚无较为肯定的经验公式或者是对应的参照物图表可以归纳所有情况。 pbest:（局部最优）pbest的长度等于粒子群长度，表示每一个参数取值的变化过程中，到目前为止最优适应度函数值对应的取值。 gbest:（全局最优）gbest的长度为1，表示到目前为止所有适应度函数值中最优的那个对应的参数取值。 1.2关于粒子的更新 在对于具有实际含义的矢量进行了分解之后，使用不同的矢量表示出原本的矢量，写成坐标
收稿日期:2009-12-13 基金项目:国家自然科学基金资助项目(60674021) 作者简介:卢 峰(1982-),男,辽宁抚顺人,东北大学博士研究生;高立群(1949-),男,辽宁沈阳人,东北大学教授,博士生导师 第32卷第9期2011年9月东北大学学报(自然科学版)Journal of Northeastern U niversity(Natural Science)Vol 32,No.9Sep.2011 基于改进粒子群算法的优化策略 卢 峰,高立群 (东北大学信息科学与工程学院,辽宁沈阳 110819) 摘 要:为提高传统粒子群算法的搜索速度和搜索精度,提出了一种改进的自适应粒子群优化算法 将正则变化函数和慢变函数引入传统位置更新和速度更新公式当中,形成两种新的更新机制:搜索算子和开发算子 在算法运行的初始阶段,种群中大部分个体将按照搜索算子进行更新,搜索算子将有助于种群遍历整个解空间;随着迭代次数的增加,按照搜索算子进行更新的个体将逐渐减少,而按照开发算子进行更新的个体将逐渐增多,开发算子将有效地克服陷入局部最优解的问题 通过典型测试函数的仿真实验,新算法在加快收敛速度同时,提高了算法的全局搜索能力 关 键 词:进化算法;粒子群算法;全局优化;慢变函数;自适应 中图分类号:T G 273 文献标志码:A 文章编号:1005 3026(2011)09 01221 04 Novel Optimization Mechanism Based on Improved Particle Swarm Optimization L U Feng ,GAO L i qun (School of Information Science &Engineering,Northeaster n U niv ersity,Shenyang 110819,China.Corresponding author :LU F eng,E mail:feng.lu.lf @g https://www.doczj.com/doc/1b2557864.html,) Abstract :To accelerate searching speed and optimization accuracy of traditional PSO,an improved particle swarm optimization (PSO )algorithm w as presented.Regularly vary ing function and slow ly varying function were introduced in the position and velocity update formula.New mechanisms such as explorative operator and exploitative operator are formulated.At the beginning,most elements will be updated by explorative operator in the entire search space sufficiently.Within the iterations,more and more particles w ill be handled by ex ploitative operator,which are useful to overcome the deceptions of multiple local optima.It can be seen from the simulation results of the standard benchm ark test functions that the proposed algorithm not only accelerates the convergence process,but also improves g lobal optim ization ability. Key words:evolutionary algorithms;particle sw arm optimization;global optimization;slow ly v arying function;self adaptive 20世纪90年代初,产生了模拟自然生物群体行为的优化方法,被称为群智能优化方法 Dorigo 等人通过模拟蚂蚁的寻径行为,提出了蚁群优化算法(ant colony optimization)[1] ;Eberhart 等人基于对鸟群、鱼群的模拟,提出了粒子群优化算法(particle sw arm optim ization )[2] 作为一种群智能优化方法的代表,粒子群算法通过个体间的协作来寻找最优解,每个个体都被赋予一个随机速度并在整个解空间中搜索,通 过个体之间的合作与竞争来实现个体进化 由于粒子群优化算法运算简单,易于实现,具有良好的解决非线性、不可微和多峰值复杂优化问题的能力,已被广泛应用于科学和工程实际领域[3-5] 但是,粒子群优化算法是根据全体粒子和自身的搜索经验向着最优解的方向进化,在进化后期收敛速度将变得缓慢,同时算法在收敛到一定精度时,容易陷入停滞,无法继续进化更新,因此,存在早熟和陷入局部极值点的现象
基于收缩因子的改进粒子群算法 陈国鸿 （河池学院计算机与信息科学系广西河池 546300） 摘要：针对基本粒子群优化算法(ParticleSwarmOptimization，简称PSO )存在的早熟收敛问题，提出了一种既保持粒子活性又保证粒子快速收敛于全局极值点的改进粒子群优化（XARPSO）算法。在算法运行过程中，如果种群多样性逐步减小，直至超出下限时，种群不再向整体最优位置靠近，而是纷纷远离该最优位置，从而执行了“扩散”操作，而当种群多样性逐步增大，直至超出上限时，种群又开始向整体最优位置靠拢，即执行了“吸引”操作，从而保持了粒子的多样性。同时，该方法引入收缩因子的概念，即通过正确选择惯性权重系数与加速常数即学习因子这些控制参数的值的方法，确保算法收敛。通过Goldstern-Price 函数的最小化测试结果表明，该算法不仅具有较快的收敛速度，而且能够更有效地进行全局搜索。 关键词：粒子算法；收缩因子；吸引；扩散；多峰值函数 引言 粒子群算法最早是在1995年由美国社会心理学家James Kennedy和电气工程师Russell Eberhart共同提出的，简称PSO算法。其基本思想是受他们早期对许多鸟类的群体行为进行建模与仿真研究结果的启发。粒子群算法与其他进化类算法一样，也是一类基于群智能的随机优化算法。但与其它进化计算方法相比， PSO算法具有收敛速度快、设置参数少、程序实现异常简洁、具有深刻的智能背景等特点，既适合科学研究，又特别适合工程应用。因此PSO算法一经提出就引起了国际上相关领域众多学者的关注和研究。目前PSO 算法已广泛应用于函数寻优、神经网络训练、模式分类、模糊系统控制以及其它的应用领域。但是，由于PSO算法在优化过程中所有粒子都向最优解方向飞去，所以粒子趋向同一化，群体的多样性逐渐丧失，即存在早收敛问题，因而也就难以获得较好的优化结果。 为了克服这一缺点，近年来出现了不少改进的PSO算法。如：Shi Y.(1998)提出的带惯性权重的PSO算法、Angeline P.（1999）提出
粒子群算法介绍 优化问题是工业设计中经常遇到的问题,许多问题最后都可以归结为优化问题. 为了解决各种各样的优化问题,人们提出了许多优化算法,比较著名的有爬山法、遗传算法等.优化问题有两个主要问题:一是要求寻找全局最小点,二是要求有较高的收敛速度. 爬山法精度较高,但是易于陷入局部极小. 遗传算法属于进化算法( Evolutionary Algorithms) 的一种,它通过模仿自然界的选择与遗传的机理来寻找最优解. 遗传算法有三个基本算子:选择、交叉和变异. 但是遗传算法的编程实现比较复杂,首先需要对问题进行编码,找到最优解之后还需要对问题进行解码,另外三个算子的实现也有许多参数,如交叉率和变异率,并且这些参数的选择严重 影响解的品质,而目前这些参数的选择大部分是依靠经验.1995 年Eberhart博士和kennedy博士提出了一种新的算法;粒子群优化(Particle Swarm Optimization -PSO) 算法. 这种算法以 其实现容易、精度高、收敛快等优点引起了学术界的重视,并且在解决实际问题中展示了其优越性。 粒子群优化(Particle Swarm Optimization - PSO) 算法是近年来发展起来的一种新的进化算法( Evolutionary Algorithm - EA) .PSO 算法属于进化算法的一种,和遗传算法相似,它也是从随机解出发,通过迭代寻找最优解,它也是通过适应度来评价解的品质. 但是它比遗传算法规则更为简单,它没有遗传算法的“交叉”(Crossover) 和“变异”(Mutation) 操作. 它通过追随 当前搜索到的最优值来寻找全局最优。 1. 引言 粒子群优化算法(PSO)是一种进化计算技术(evolutionary computation)，由Eberhart博士和kennedy博士提出。源于对鸟群捕食的行为研究。 PSO同遗传算法类似，是一种基于迭代的优化算法。系统初始化为一组随机解，通过迭代搜寻最优值。但是它没有遗传算法用的交叉(crossover)以及变异(mutation)，而是粒子在解空间追随最优的粒子进行搜索。同遗传算法比较，PSO的优势在于简单容易实现并且没有许多参数需要调整。目前已广泛应用于函数优化，神经网络训练，模糊系统控制以及其他遗传算法的应用领域 2. 背景: 人工生命 "人工生命"是来研究具有某些生命基本特征的人工系统。人工生命包括两方面的内容： 1. 研究如何利用计算技术研究生物现象 2. 研究如何利用生物技术研究计算问题 我们现在关注的是第二部分的内容. 现在已经有很多源于生物现象的计算技巧. 例如, 人工神经网络是简化的大脑模型. 遗传算法是模拟基因进化过程的. 现在我们讨论另一种生物系统- 社会系统. 更确切的是, 在由简单个体组成的群落与环境以及个体之间的互动行为. 也可称做"群智能"(swarm intelligence). 这些模拟系统利用局 部信息从而可能产生不可预测的群体行为 例如floys和boids, 他们都用来模拟鱼群和鸟群的运动规律, 主要用于计算机视觉和计算机辅助设计. 在计算智能(computational intelligence)领域有两种基于群智能的算法. 蚁群算法(ant colony optimization)和粒子群算法(particle swarm optimization). 前者是对蚂蚁群落食物采集过程的模拟. 已经成功运用在很多离散优化问题上. 粒子群优化算法(PSO) 也是起源对简单社会系统的模拟. 最初设想是模拟鸟群觅食的 过程. 但后来发现PSO是一种很好的优化工具.
龙源期刊网 https://www.doczj.com/doc/1b2557864.html, 改进粒子群算法的目标函数变化分类动态优化 作者：苏玉孔国利 来源：《现代电子技术》2017年第07期 摘要：由于优化问题的目标函数和约束条件都随着时间而改变导致其最优值也发生改变，提出一种基于改进粒子群算法的目标函数变化分类动态优化算法。首先对动态优化问题进行定义，明确问题的研究对象，提出对目标函数随时间变化程度分类的思想，通过对变化的函数进行监测的方法将其分为剧烈变化、中等程度变化和弱变化三种类型，并针对不同的强度变化对粒子群算法采用不同的改进策略，最后将不同的策略融入计算。通过采用移动多峰问题进行测试，结果表明，提出的改进粒子群优化算法能监测目标函数变化，并能随时跟踪到最优解，平均离线误差相对于标准粒子群算法更小，性能更稳定。 关键词：粒子群算法；动态优化；目标函数时变分类；移动峰问题 中图分类号： TN911.1?34； TP301.6 文献标识码： A 文章编号： 1004?373X（2017）07?0175?04 Dynamic optimization of objective function changing classification based on improved particle swarm optimization SU Yu， KONG Guoli （College of Information Engineering， Zhongzhou University， Zhengzhou 450001，China） Abstract： The objective function and constraint condition for the optimization problem are changed with time， and may change its optimal value. A dynamic optimization of the objective function changing classification based on improved particle swarm optimization is proposed. The dynamic optimization problem is defined to determine the study object of the problem. The classification thought that the objective function is changed with the time varying degree is put forward. The varying function is divided into the types of drastic change， medium grade change and weak change with the monitoring method. Different strategies are adopted for the particle swarm optimization according to the different intensity changes， and integrated for computation. The algorithm was tested with the moving multi?peak problem. The test results show that the improved particle swarm optimization can monitor the changes of the objective function， track the optimal solution momentarily， its average offline error is smaller than that of the standard particle swarm optimization algorithm， and the performance is more stable.
大连理工大学 硕士学位论文 改进的粒子群优化算法（APSO和DPSO）研究 姓名：张英男 申请学位级别：硕士 专业：计算机应用技术 指导教师：滕弘飞 20080601大连理工大学硕士学位论文 摘要 粒子群优化(PSO)算法由Kennedy和Eberhart于1995年提出，是群体智能优化方 法中具典型代表性的算法，具有广泛的应用领域，例如神经网络训练，工程优化等。PSO的基本思想是群体中的每一个成员通过学习患身和群体中其他成员的信息以 决定下一步动作，即一个粒予通过追随两个目标点(分别代表离身信息和其他成员信息) 进行寻优，第一个譬标点为囊身历史最优点，第二个冒标点有两种：～种是种群最优点(称为全局版PSO)，另一种是邻域最优点(称为局部版PSO)。PSO计算简单有效、鲁棒 性好。僵是，PSO最大弱点是在处理多峰溺数优化闯题时，容易出现晕熟收敛，并且搜索后期的局部搜索能力较差。如何解决上述问题并进一步提高PSO的性能，～直是PSO 研究的重要开放性课题。 本文的研究目的，～是从理论方法上研究一种性能较好算法，二是从应用上将这种 方法既用于高效求解函数优化又用于求解Packing问题，最终期望用它作为求解卫星舱 布局设计混合方法中的有效组成部分。由此，本文尝试从研究修改粒子搜索路径的角度，通过构造新的速度更新公式，提出了两种改进的粒子群优化算法，分别为活跃目檬点粒子群优化(APSO)算法和搽测粒子群优纯(DPSO)算法，并应用予求解匾数优化和约束布 局优化问题。本文的工作主要包括以下两个方面： (1)提出了一种活跃目标点粒子群优化(APSO)算法。基本思想是，在标准PSO速 度更新公式中引入第3个目标点，称为活跃目标点，从而构成新的基于3圈标点速度更新机制的粒子速度更新公式。APSO的优点是较好地竞服了PSO的早熟收敛问题，并兼具复合形法射线搜索的能力；缺点是增加了一定的额外计算开销。 (2)提出了～种探测粒子群优化(DPSO)算法。基本思想是，选定少数粒子，令其 单独进行有别予普通粒子折线搜索路径，丽是利用螺旋折线搜索路径搜索，该粒子称为探测粒予。整体上，该探测粒子与种群中其他普通粒子联合进行更高效率的搜索。DPSO 的优点是在避免PSO的早熟收敛豹基础上，进一步提高了PSO的收敛速度和收敛精度；缺点与APSO类似，增加了～定的额外计算开销。 经典型函数数值仿真实验表明，本文APSO和DPSO算法提高了PSO求解多峰邈 数优化|、蠢题的能力；经约束Packing闷题和简化返回式卫星的回收舱布局优化数值仿真实验表明，本文APSO和DPSO算法求解该约束布局优化闯题的可行性和有效性，也有助于PSO算法改进的理论探讨。 关键词：粒子群优化：搜索路径；丞数优化；布局优化大连瑗王大学硕士学位论文 The Improved Particle Swarm Optimization Algorithms：APSO and DPSO Abstract
什么是粒子群优化算法 粒子群优化算法(Particle Swarm optimization,PSO)又翻译为粒子群算法、微粒群算法、或微粒群优化算法。是通过模拟鸟群觅食行为而发展起来的一种基于群体协作的随机搜索算法。通常认为它是群集智能 (Swarm intelligence, SI) 的一种。它可以被纳入多主体优化系统(Multiagent Optimization System, MAOS). 是由Eberhart博士和kennedy博士发明。 PSO模拟鸟群的捕食行为。一群鸟在随机搜索食物，在这个区域里只有一块食物。所有的鸟都不知道食物在那里。但是他们知道当前的位置离食物还有多远。那么找到食物的最优策略是什么呢。最简单有效的就是搜寻目前离食物最近的鸟的周围区域。 PSO从这种模型中得到启示并用于解决优化问题。PSO中，每个优化问题的解都是搜索空间中的一只鸟。我们称之为“粒子”。所有的粒子都有一个由被优化的函数决定的适应值(fitnessvalue)，每个粒子还有一个速度决定他们飞翔的方向和距离。然后粒子们就追随当前的最优粒子在解空间中搜索。 PSO初始化为一群随机粒子(随机解)，然后通过叠代找到最优解，在每一次叠代中，粒子通过跟踪两个“极值”来更新自己。第一个就是粒子本身所找到的最优解，这个解叫做个体极值pBest，另一个极值是整个种群目前找到的最优解，这个极值是全局极值gBest。另外也可以不用整个种群而只是用其中一部分最优粒子的邻居，那么在所有邻居中的极值就是局部极值。 [编辑] PSO算法介绍[1] 如前所述，PSO模拟鸟群的捕食行为。设想这样一个场景：一群鸟在随机搜索食物。在这个区域里只有一块食物。所有的鸟都不知道食物在那里。但是他们知道当前的位置离食物还有多远。那么找到食物的最优策略是什么呢。最简单有效的就是搜寻目前离食物最近的鸟的周围区域。 PSO从这种模型中得到启示并用于解决优化问题。PSO中，每个优化问题的解都是搜索空间中的一只鸟。我们称之为“粒子”。所有的例子都有一个由被优化的函数决定的适应值(fitness value)，每个粒子还有一个速度决定他们飞翔的方向和距离。然后粒子们就追随当前的最优粒子在解空间中搜索 PSO初始化为一群随机粒子(随机解)。然后通过叠代找到最优解。在每一次叠代中，粒子通过跟踪两个"极值"来更新自己。第一个就是粒子本身所找到的最优解。这个解叫做个体极值pBest. 另一个极值是整个种群目前找到的最优解。这个极值是全局极值gBest。另外也可以不用整个种群而只是用其中一部分最为粒子的邻居，那么在所有邻居中的极值就是局部极值。 在找到这两个最优值时, 粒子根据如下的公式来更新自己的速度和新的位置
基于粒子群优化算法的神经网络在农药定量构效关系建模中的应用 张丽平 俞欢军3 陈德钊 胡上序 (浙江大学化工系,杭州310027) 摘 要 神经网络模型能有效模拟非线性输入输出关系,但其常规训练算法为BP 或其它梯度算法,导致训练时间较长且易陷入局部极小点。本实验探讨用粒子群优化算法训练神经网络,并应用到苯乙酰胺类农药的定量构效关系建模中,对未知化合物的活性进行预测来指导新药的设计和合成。仿真结果表明,粒子群优化算法训练的神经网络不仅收敛速度明显加快,而且其预报精度也得到了较大的提高。关键词 粒子群优化算法,神经网络,定量构效关系 2004201204收稿;2004207225接受 本文系国家自然科学基金资助项目(N o.20276063) 1 引 言 药物定量构效关系(QS AR )是研究药物生理活性和药物分子结构参数间的量变规律并建立相应的 数学模型,进而研究药物的作用机理,从而用于预测未知化合物的生物活性,探讨药物的作用机理,指导新药的设计和合成,在药物和农药的研究与设计中已经显示出广阔的应用前景1。以往QS AR 的建模方法大多基于统计原理,局限于线性模型,只进行简单的非线性处理,由此所建立的模型很难契合实际构效关系,并且其处理过程都比较繁琐2。神经网络通过学习将构效关系知识隐式分布在网络之中,适用于高度非线性体系。 在药物QS AR 中采用神经网络(NN )始于20世纪80年代末3,此后得到迅速的发展,目前已发展为除多重线性回归和多元数据分析之外的第3种方法4。通常多层前传网络采用BP 算法,通过误差反传,按梯度下降的方向调整权值。其缺点是可能陷入局部极小点,且对高维输入收敛速度非常缓慢。 粒子群优化算法(particle swarm optimization ,PS O )是K ennedy 等5源于对鸟群、鱼群和人类社会行为的研究而发展的一种新的进化型寻优技术。PS O 已成为进化寻优算法研究的热点,其最主要特点是简单、收敛速度快,且所需领域知识少。本实验拟将该方法初始化前传神经网络为苯乙酰胺类农药建立良好适用的QS AR 模型。 2 苯乙酰胺类农药的Q SAR 问题 苯乙酰胺类化合物是除草农药,其除草活性与其分子结构密切相关。所有的N 2(12甲基212苯乙基)苯乙酰胺都可用相应的羧酸酰胺通过霍夫曼反应生成。N 2(12甲基212苯乙基)苯乙酰胺的基本结构式为 : 其中X 为Me 、F 、Cl 、OMe 、CF 3和Br 等,Y 为Me 、Cl 、F 和Br 等,由不同的X 和Y 取代基可构成不同的化合物。常用以下7个理化参数描述化合物的分子组成和结构:log P 、log 2P (疏水性参数及其平方项)、 σ(电性效应参数)、E s (T aft 立体参数)、MR (摩尔折射度),1χ、2 χ(分子连接性指数)。于是这类化合物的QS AR 就转化为上述理化参数与除草活性间的关系。为研究这种关系,选用具有代表性的50个化合物, 他们的活性值取自文献1,见表1。 第32卷2004年12月分析化学(FE NXI H UAX UE ) 研究报告Chinese Journal of Analytical Chemistry 第12期1590～1594