粒子群算法基本原理【精品文档】(完整版)
- 格式:doc
- 大小:121.00 KB
- 文档页数:11
中文翻译用于电磁运用的量子粒子群优化算法摘要---一种新的用于电磁运用的粒子群优化(PSO)的技术被提出来了,该技术是基于量子力学提出的,而不是以前版本中我们所指的经典粒子群算法的假设的牛顿定律。
提出一个通用的程序是衍生许多不同版本的量子粒子群优化算法(算法)。
粒子群算法首次运用于线性排列和阵列天线的合体。
这是在天线工程师使用以前的一个标准难题,该粒子群算法性能和优化版的经典算法进行比较,优于经典算法的地方体现在收敛速度的时间上和更好的取得成本花费。
作为另一个应用程序,该算法用于寻找一个集合中的无穷小的介质,制造出相同远近不同的领域循环介质谐振器天线(DRA)。
此外采用粒子群算法的方法是要为DRA找到一种等效电路模型,这个DRA,可以用来预测一些如同Q-factor一样的有趣参数。
粒子群算法只包含一个控制参数,这个参数很容易随着反复试验或者简单的线性变异而调整。
基于我们对物理知识的理解,不同算法理论方面的阐释呈现出来。
索引词---天线阵列、电介质指数,粒子群优化,量子力学。
一介绍粒子群算法的进化是一种全局搜索策略,它能有效地处理任意的优化问题。
在1995年,肯尼迪和埃伯哈特首次介绍了粒子群优化算法。
后来,它引起了相当大的反响并且证明能够处理困难的优化问题。
粒子群算法的基本思想是模拟生物群之间的相互作用。
能阐明这个概念的一个很好的例子就是一大群蜜蜂的类比。
蜜蜂(候选方案)允许在一个特定的领域飞行寻找食物,人们相信经过一段时间(世代沿袭,更替),蜜蜂会聚集在食物集中的地区(总体最优值)。
在每一代中,每一只蜜蜂都会通过采集局部和全局中好的信息来跟新自己目前的住所,达到目前,达到所有蜜蜂中名列前茅的位置。
如此的相互作用和连续的更新会保证达到全局最优!这个方法由于在全局优化困难中简单和高能力的搜索通过电磁团体得到了相当高的重视。
经典粒子群算法最近被用于电磁学上,而且证明,相对于其他得到认可了的进化技术算法是相当有竞争力的。
一、粒子群算法的历史粒子群算法源于复杂适应系统(Complex Adaptive System,CAS)。
CAS理论于1994年正式提出,CAS中的成员称为主体。
比如研究鸟群系统,每个鸟在这个系统中就称为主体。
主体有适应性,它能够与环境及其他的主体进行交流,并且根据交流的过程“学习”或“积累经验”改变自身结构与行为。
整个系统的演变或进化包括:新层次的产生(小鸟的出生);分化和多样性的出现(鸟群中的鸟分成许多小的群);新的主题的出现(鸟寻找食物过程中,不断发现新的食物)。
所以CAS系统中的主体具有4个基本特点(这些特点是粒子群算法发展变化的依据):首先,主体是主动的、活动的。
主体与环境及其他主体是相互影响、相互作用的,这种影响是系统发展变化的主要动力。
环境的影响是宏观的,主体之间的影响是微观的,宏观与微观要有机结合。
最后,整个系统可能还要受一些随机因素的影响。
粒子群算法就是对一个CAS系统---鸟群社会系统的研究得出的。
粒子群算法( Particle Swarm Optimization, PSO)最早是由Eberhart和Kennedy于1995年提出,它的基本概念源于对鸟群觅食行为的研究。
设想这样一个场景:一群鸟在随机搜寻食物,在这个区域里只有一块食物,所有的鸟都不知道食物在哪里,但是它们知道当前的位置离食物还有多远。
那么找到食物的最优策略是什么呢?最简单有效的就是搜寻目前离食物最近的鸟的周围区域。
PSO算法就从这种生物种群行为特性中得到启发并用于求解优化问题。
在PSO中,每个优化问题的潜在解都可以想象成d维搜索空间上的一个点,我们称之为“粒子”(Particle),所有的粒子都有一个被目标函数决定的适应值(Fitness Value ),每个粒子还有一个速度决定他们飞翔的方向和距离,然后粒子们就追随当前的最优粒子在解空间中搜索。
Reynolds对鸟群飞行的研究发现。
鸟仅仅是追踪它有限数量的邻居但最终的整体结果是整个鸟群好像在一个中心的控制之下.即复杂的全局行为是由简单规则的相互作用引起的。
粒子群算法原理及简单案例[ python ]介绍粒子群算法(Particle swarm optimization,PSO)是模拟群体智能所建立起来的一种优化算法,主要用于解决最优化问题(optimization problems)。
1995年由 Eberhart和Kennedy 提出,是基于对鸟群觅食行为的研究和模拟而来的。
假设一群鸟在觅食,在觅食范围内,只在一个地方有食物,所有鸟儿都看不到食物(即不知道食物的具体位置。
当然不知道了,知道了就不用觅食了),但是能闻到食物的味道(即能知道食物距离自己是远是近。
鸟的嗅觉是很灵敏的)。
假设鸟与鸟之间能共享信息(即互相知道每个鸟离食物多远。
这个是人工假定,实际上鸟们肯定不会也不愿意),那么最好的策略就是结合自己离食物最近的位置和鸟群中其他鸟距离食物最近的位置这2个因素综合考虑找到最好的搜索位置。
粒子群算法与《遗传算法》等进化算法有很多相似之处。
也需要初始化种群,计算适应度值,通过进化进行迭代等。
但是与遗传算法不同,它没有交叉,变异等进化操作。
与遗传算法比较,PSO的优势在于很容易编码,需要调整的参数也很少。
一、基本概念与遗传算法类似,PSO也有几个核心概念。
粒子(particle):一只鸟。
类似于遗传算法中的个体。
1.种群(population):一群鸟。
类似于遗传算法中的种群。
2.位置(position):一个粒子(鸟)当前所在的位置。
3.经验(best):一个粒子(鸟)自身曾经离食物最近的位置。
4.速度(velocity ):一个粒子(鸟)飞行的速度。
5.适应度(fitness):一个粒子(鸟)距离食物的远近。
与遗传算法中的适应度类似。
二、粒子群算法的过程可以看出,粒子群算法的过程比遗传算法还要简单。
1)根据问题需要,随机生成粒子,粒子的数量可自行控制。
2)将粒子组成一个种群。
这前2个过程一般合并在一起。
3)计算粒子适应度值。
4)更新种群中每个粒子的位置和速度。
原始粒子群算法的基本原理摘要:随着决策环境的复杂化,群体决策变得越来越重要,在此基础上研究粒子群优化算法,详细介绍其基本原理并进行分析显得十分重要。
关键词:粒子群优化算法种群大小最大速度1.1优化算法的分类随着现代科学技术的飞速发展,目前解决优化问题的方法主要分为两大类:一是模拟自然进化过程而发展起来的进化算法,目前研究的进化算法主要有三种典型的类别:遗传算法,进化规划和进化策略,这三种算法是彼此独立发展起来的;二是基于群智能的智能优化算法,目前主要有粒子群算法和蚁群算法两大类。
1.2粒子群算法的基本模型粒子群优化算法是兼有进化计算和群智能特点的一种优化算法,起初只是设想模拟鸟类捕食的过程,但后来发现粒子群算法是一种很好的优化工具。
与其他的进化算法相类似,PSO进化算法也是通过个体间的协作与竞争来实现最优解的搜索。
PSO算法为每个粒子制定了类似于鸟类运动的简单的行为规则,从而使粒子群的运动表现出与鸟类觅食相类似的特性,进而用于求解复杂的优化问题。
PSO算法中的每一个粒子,即解空间中的一个解,它根据自己的飞行经验和同伴的飞行经验来调整自己的飞行,所有的粒子都有一个被优化的函数决定的适应值,适应值用来评价粒子当前位置的好坏;每个粒子还有一个速度决定他们的飞行方向和距离,然后粒子们就追寻当前的最优粒子在解空间中进行搜寻。
每个粒子在飞行过程中所经历过的最好位置,就是粒子本身找到的最优解;整个种群所经历过的最优位置,就是整个种群目前为止找到的最优解。
前者叫做个体极值,后者叫做全局极值。
每个粒子都通过上述两个极值不断的更新自己的位置和速度,从而产生新一代群体。
从以上分析可以看出在用粒子群算法解决问题的时候,我们首先要弄清楚什么是“鸟”,有了对象,然后才能确定该对象所谓的“位置”和“速度”是代表什么意思,粒子群算法的核心就是适应度函数的确定,不同的问题有不同的适应度函数,我们通过适应度函数来评价粒子当前的位置是好是坏,适应度函数体现了当前位置与最优位置的关系,即鸟类捕食模型中“鸟”和“食物”之间的距离所代表的含义,我们通过它来确定当前位置与最优位置之间的差距,然后通过分析适应度函数的指标,确定与最优解的接近程度。
§6.4 粒子群优化算法人们提出了群搜索概念,利用它们来解决现实中所遇到的优化问题,并取得了良好的效果.粒子群优化算法就是群体智能中的一种算法.粒子群算法是一种演化计算技术,是一种基于迭代的优化工具,系统初始化为一组随机解,通过迭代搜寻最优值,将鸟群运动模型中栖息地类比为所求问题空间中可能解的位置,利用个体间的传递,导致整个群体向可能解的方向移动,逐步发现较好解.6.4.1 基本粒子群算法粒子群算法,其核心思想是对生物社会性行为的模拟.最初粒子群算法是用来模拟鸟群捕食的过程,假设一群鸟在捕食,其中的一只发现了食物,则其他一些鸟会跟随这只鸟飞向食物处,而另一些会去寻找更好的食物源.在捕食的整个过程中,鸟会利用自身的经验和群体的信息来寻找食物.粒子群算法从鸟群的这种行为得到启示,并将其用于优化问题的求解.若把在某个区域范围内寻找某个函数最优值的问题看作鸟群觅食行为,区域中的每个点看作一只鸟,现把它叫粒子(particle).每个粒子都有自己的位置和速度,还有一个由目标函数决定的适应度值.但每次迭代也并不是完全随机的,如果找到了新的更好的解,将会以此为依据来寻找下一个解.图6.21给出了粒子运动的思路图.图6.21粒子运动的路线图下面给出粒子群算法的数学描述.假设搜索空间是D维的,群中的第i个粒子能用如下D维矢量所表示:12(,,,)i i i iD X x x x '=(6.43)每个粒子代表一个潜在的解,这个解有D 个维度.每个粒子对应着D 维搜索空间上的一个点.粒子群优化算法的目的是按照预定目标函数找到使得目标函数达到极值的最优点.第i 个粒子的速度或位置的变化能用如下的D 维向量表示:12(,,,)i i i iD V v v v '= (6.44)为了更准确地模拟鸟群,在粒子群优化中引入了两个重要的参量.一个是第i 个粒子曾经发现过的自身历史最优点(Personal best ,pbest),可以表示为:12(,,,)i i i iD P p p p '= (6.45)另一个是整个种群所找到的最优点(Global best ,gbest),可以表示为:12(,,,)g g g gD P p p p '= (6.46)PSO 初始化为一群随机粒子(随机解),然后通过迭代找到最优解.在每一次的迭代中,粒子通过跟踪两个“极值”(i P 和g P )来更新自己.在找到这两个最优值后,粒子通过下面的公式来更新自己的速度和位置:1122(1)()()(()())()(()())id id id id gd id v t wv t c r t p t x t c r t p t x t +=+-+-,(速度更新公式)(6.46)(1)()(1)id id id x t x t v t +=++(位置更新公式) (6.47)其中w 称之为惯性因子,在一般情况下,取1w =,1,2,,t G = 代表迭代序号,G 是预先给出的最大迭代数;1,2,,d D = , 1,2,,i N = ,N 是群的大小;1c 和2c 是正的常数,分别称为自身认知因子和社会认知因子,用来调整i P 和g P 的影响强度.1r 和2r 是区间[0,1]内的随机数.由(6.46)和(6.47)构成的粒子群优化称为原始型粒子群优化.从社会学的角度来看,公式(6.47)的第一部分称为记忆项,表示上次优化中的速度的影响;公式第二部分称为自身认知项,可以认为是当前位置与粒子自身最优位置之间的偏差,表示粒子的下一次运动中来源于自己经验的部分;公式的第三部分称为社会认知项,是一个从当前位置指向种群最佳位置的矢量,反映了群内粒子的协作和知识共享.可见,粒子就是通过自己的经验和同伴中最好的经验来决定下一步的运动.随着迭代进化的不断进行,粒子群逐渐聚集到最优点处,图6.22 给出了某个优化过程中粒子逐渐聚集的示意图.图6.22 粒子群在优化过程聚集示意图 综上所述,我们得到如下基本粒子群算法流程:(1) 设定参数,初始化粒子群,包括随机位置和速度;(2) 评价每个粒子的适应度;(3) 对每个粒子,将其当前适应值与其曾经访问过的最好位置pbest 作比较,如果当前值更好,则用当前位置更新pbest ;(4) 对每个粒子,将其当前适应值与种群最佳位置gbest 作比较,如果当前值更好,则用当前位置更新gbest ;(5) 根据速度和位置更新公式更新粒子;(6)若未满足结束条件则转第二步;否则停止迭代.迭代终止条件根据具体问题一般选为迭代至最大迭代次数或粒子群搜索到的最优位置满足预定的精度阈值.6.4.2 粒子群算法的轨迹分析1998年,Ozcan 在文献[13]中首先对粒子在一维空间的轨迹进行了讨论,并在1999年将粒子运动的轨迹分析推广到多维空间的情形,2002年,文献[14]从矩阵代数的观点讨论了粒子的轨迹问题,本节采用[15]中的差分方程思想分别讨论单个粒子在一维以及二维空间的轨迹问题。
粒⼦群算法原理粒⼦群算法即PSO是典型的⾮线性优化算法,之前对这类智能优化算法(粒⼦群、遗传、退⽕、鸟群、鱼群、蚁群、各种群。
)研究过⼀段时间,这类算法在我看来有个共同的特点——依靠随机产⽣“可能解”,在迭代的过程中,通过适⽤度函数fitness function(或称代价函数cost function)在“优良”的“可能解”附近增加随机量,剔除或者减少“劣质”的“可能解”的影响,如此迭代下去,逼近全局最优解,有点达尔⽂的“优胜劣汰,适者⽣存”的意思。
这类算法的缺点不⾔⽽喻,在⼀定⼯况下可能陷⼊局部最优解⽆法⾃拔,当然也有各种改进算法,但是我迄今还没遇到,可能是⼯况都是⽐较巧的“单峰”的情况吧。
同样,对于PSO算法,基础知识不再赘述,只把⾃⼰认为重要的点mark下来。
(贴⼀份开源代码:把原本在lidar坐标系下不⽔平的地⾯点云,通过PSO求取⼀个pitch和roll(代码⾥是⼀个alpha和beta)将地⾯点云3D变换后,变成lidar坐标系下⽔平的,详见)1.PSO_algorithm函数读了⼏遍后,应该想起来了,整个算法的核⼼部分就是求取v,,然后⽤v更新粒⼦。
其中v是所谓的粒⼦飞⾏速度,其实就是当前解x与⽬前的局部(单粒⼦)最优解personal_best_x和⽬前的全局(全部粒⼦)最优解globalbest_x之间的差值error,利⽤这个error更新当前解x,恨明显就使得x趋向⼀个“良好”的⽅向,在趋向的同时(也就是计算v)增加⼀点随机,保证粒⼦的多样性,来增加获取最优解的概率。
2.博主在⾯试的时候,被问到过,在标定lidar的时候,怎么解决pitch和roll的解耦问题的,⼀时语塞,没说明⽩。
确实,⽤欧拉⾓做3D变换的时候,⼀⽅⾯,旋转的顺序不同会导致不同的结果;另⼀⽅⾯,旋转pitch会影响roll,旋转roll会影响pitch。
现在总结⼀下:a.⾸先3D变换时旋转顺序肯定是固定的因为3D变换的代码只有⼀个,所以本标定lidar问题只有唯⼀解。
粒子群算法摘要:粒子群优化算法是由James Kennedy和 Russell Eberbart 设计的一种仿生优化计算方法。
PSO算法的基本设计思想来源于两个方面分别是人工生命和进化计算,设计者通过研究动物群体以及人类行为模式的计算机模拟,然后不断的试错、修改而逐渐的到算法的原型。
PSO算法的运行机理不是依靠个体的自然进化规律,而是对生物群体的社会行为进行模拟。
它最早源于对鸟群觅食行为的研究。
在生物群体中存在着个体与个体、个体与群体间的相互作用、相互影响的行为,这种相互作用和影响是通过信息共享机制体现的。
PSO算法就是对这种社会行为的模拟即利用信息共享机制,使得个体间可以相互借鉴经验,从而促进整个群体朝着更好的方向发展。
关键词:粒子群优化算法;社会行为;鸟群觅食;信息共享1 粒子群算法设计思想粒子群算法的思想来源于对鸟捕食行为的模仿,虽让鸟群在捕食过程中会发生改变飞行方向、聚集等一系列不可预测的行为但整体还是呈现一种有序性,研究证明是因为鸟群中存在一种信息共享机制。
可以设想一群鸟在随机搜索食物,刚开始每只鸟均不知道食物在哪里,所以均无特定的目标进行飞行,但是它们知道哪只鸟距离食物最近,还有自己曾经离食物最近的位置,每只鸟开始通过试图通过这两个位置来确定自己往哪个方向飞行。
因此可以将鸟群觅食行为看做一个特定问题寻找解的过程。
如果我们把一个优化问题看做是空中觅食的鸟群,那么粒子群中每个优化问题的可行解就是搜索空间中的一只鸟,称为“粒子”,“食物”就是优化问题的最优解。
个体找到食物就相当于优化问题找到最优解。
当然这里的鸟群(粒子)是经过人工处理的,它们均有记忆功能,没有质量和体积,不占空间,每个粒子均有速度和位置两个属性,同时每个粒子都有一个由优化问题决定的适应度来评价粒子的“好坏”程度,显然,每个粒子的行为就是总追随者当前的最优粒子在解空间中搜索。
2 粒子群优化算法2.1 标准粒子群优化算法首先提出两个概念,(1)探索:是值粒子在一定程度上离开原先的搜索轨迹,向新的方向进行搜索,体现了向未知区域开拓的能力,可以理解为全局搜索。
粒子群算法基本原理粒子群算法(Particle Swarm Optimization, PSO)是一种基于群体智能的优化算法,模拟了鸟群或鱼群等生物群体在自然界中求解问题的行为。
粒子群算法是一种无约束优化算法,可以用于求解各种优化问题。
粒子群算法的基本原理是通过模拟粒子在解空间中的过程来寻找最优解。
每个粒子表示了一个潜在的解,其位置和速度表示了解的状态和速度。
整个粒子群可以看作是一个多维解空间中的群体,每个粒子都具有一个解向量和速度向量,通过不断调整速度和位置来寻找最优解。
1.初始化粒子群:根据问题的维度和约束条件,随机初始化粒子的位置和速度。
其中位置表示解向量,速度表示方向和速度。
2.计算粒子适应度:根据问题的定义,计算每个粒子的适应度。
适应度函数根据问题的不同而变化,可以是目标函数的取值或其他综合评价指标。
3.更新粒子速度和位置:通过利用粒子当前的位置、速度和历史最优解来更新粒子的速度和位置。
速度的更新过程包括两部分,第一部分是加速度项,其大小与粒子所处位置与个体最优解、群体最优解的距离有关;第二部分是惯性项,保持原有的速度方向并控制的范围。
位置的更新通过当前位置和速度得到新的位置。
4.更新个体最优解和群体最优解:将每个粒子的适应度与其历史最优解进行比较并更新。
个体最优解是粒子自身到的最优解,群体最优解是所有粒子中的最优解。
5.判断停止条件:根据预定的停止条件判断是否终止算法。
停止条件可以是达到最大迭代次数、适应度值达到一定阈值或范围满足一定条件等。
6.返回最优解:将群体最优解或个体最优解作为最终结果返回。
粒子群算法通过不断地更新粒子的速度和位置,通过粒子之间的信息交流和协作来找到最优解。
在算法的早期阶段,粒子的范围较大,有较高的探索性;随着的进行,粒子逐渐聚集在最优解周围,并逐渐减小范围,增强了局部的能力。
这种全局和局部的结合使得粒子群算法能够更好地求解多峰优化问题。
粒子群算法的优点是简单易实现、全局能力强,对于非线性、非凸性、多峰性问题有很好的适应性。
粒子群算法原理及其在函数优化中的应用1 粒子群优化(PSO )算法基本原理1.1 标准粒子群算法假设在一个D 维的目标搜索空间中,有m 个代表问题潜在解的粒子组成一个种群12[,,...,]m =x x x x ,第i 个粒子的信息可用D 维向量表示为12[,,...,]T i i i iD x x x =x ,其速度为12[,,...,]T i i i iD v v v =v 。
算法首先初始化m 个随机粒子,然后通过迭代找到最优解。
每一次迭代中,粒子通过跟踪2个极值进行信息交流,一个是第i 个粒子本身找到的最优解,称之为个体极值,即12[,,...,]T i i i iD p p p =p ;另一个是所有粒子目前找到的最优解,称之为群体极值,即12[,,...,]T g g g gD p p p =p 。
粒子在更新上述2个极值后,根据式(1)和式(2)更新自己的速度和位置。
11122()()t t t t t t i i i i g i w c r c r +=+-+-v v p x p x(1)11t t t i i i ++=+x x v (2)式中,t 代表当前迭代次数,12,r r 是在[0,1]之间服从均匀分布的随机数,12,c c 称为学习因子,分别调节粒子向个体极值和群体极值方向飞行的步长,w 为惯性权重,一般在0.1~0.9之间取值。
在标准的PSO 算法中,惯性权重w 被设为常数,通常取0.5w =。
在实际应用中,x 需保证在一定的范围内,即x 的每一维的变化范围均为min max [,]X X ,这在函数优化问题中相当于自变量的定义域。
1.2 算法实现步骤步骤1:表示出PSO 算法中的适应度函数()fitness x ;(编程时最好以函数的形式保存,便于多次调用。
)步骤2:初始化PSO 算法中各个参数(如粒子个数,惯性权重,学习因子,最大迭代次数等),在自变量x 定义域内随机初始化x ,代入()fitness x 求得适应度值,通过比较确定起始个体极值i p 和全局极值g p 。
粒子群算法原文及解释粒子群优化算法(Particle Swarm Optimization,PSO)是一种模拟鸟群、鱼群等动物社会行为的优化算法。
通过模拟鸟群、鱼群等动物群体中的个体行为,粒子群优化算法能够有效地求解各种优化问题。
本文将从算法原理、算法流程、参数设置、优化问题、实现方式、改进策略、应用领域和性能评价等方面对粒子群优化算法进行详细的介绍。
一、算法原理粒子群优化算法基于群体智能理论,通过模拟鸟群、鱼群等动物群体中的个体行为来寻找最优解。
每个个体被称为一个粒子,它通过跟踪其自身的最优位置和群体的最优位置来更新自己的速度和位置。
粒子的速度和位置更新公式如下:v[i][j] = w * v[i][j] + c1 * rand() * (pbest[i][j] - x[i][j]) + c2 * rand() * (gbest - x[i][j])x[i][j] = x[i][j] + v[i][j]其中,v[i][j]表示粒子i在第j维上的速度,x[i][j]表示粒子i 在第j维上的位置,pbest[i][j]表示粒子i的个体最优位置,gbest 表示全局最优位置,w表示惯性权重,c1和c2表示加速因子,rand()表示随机函数。
二、算法流程粒子群优化算法的基本流程如下:1. 初始化粒子群,随机生成粒子的初始位置和初始速度。
2. 计算每个粒子的适应度值,记录粒子的个体最优位置和全局最优位置。
3. 根据粒子的适应度值更新粒子的速度和位置。
4. 重复步骤2和步骤3,直到满足终止条件(如达到预设的最大迭代次数或全局最优解的变化小于预设阈值)。
三、参数设置粒子群优化算法的参数包括惯性权重w、加速因子c1和c2等。
这些参数对算法的性能和收敛速度有着重要的影响,需要根据具体问题进行调整和优化。
通常需要通过实验来找到合适的参数设置。
四、优化问题粒子群优化算法适用于求解连续的、离散的优化问题。
对于不同的优化问题,需要根据问题的特性和要求来设计合适的粒子和适应度函数。
粒子群算法基本原理粒子群算法(Particle Swarm Optimization, PSO)是一种基于群集智能的优化算法,灵感来源于鸟类或鱼群等群体的行为。
其基本原理是通过模拟粒子在搜索空间中的移动和信息交流,以寻找问题的最优解。
在粒子群算法中,问题的解被表示为粒子在搜索空间中的一个位置,每个粒子都有自己的速度和位置。
算法的初始化阶段,粒子随机分布在搜索空间中,每个粒子根据自身当前位置评估其适应度(目标函数值)。
在每一代迭代中,粒子根据自身的局部最优解和整个群体的全局最优解进行移动。
粒子通过不断调整自身速度和位置来实现优化过程。
它会根据自身经验和群体的经验,调整速度和位置,试图找到更优的解。
粒子的速度更新公式如下:\[v_i^{k+1} = w \cdot v_i^k + c_1 \cdot rand() \cdot (pbest_i^k -x_i^k) + c_2 \cdot rand() \cdot (gbest^k - x_i^k)\]其中,- \(v_i^{k+1}\) 是粒子在第 \(k+1\) 代的速度- \(w\) 是惯性权重- \(c_1\) 和 \(c_2\) 是加速常数- \(rand()\) 是一个生成随机数的函数- \(pbest_i^k\) 是粒子历史最优位置- \(gbest^k\) 是群体历史最优位置- \(x_i^k\) 是粒子的当前位置粒子的位置更新公式如下:\[x_i^{k+1} = x_i^k + v_i^{k+1}\]在迭代的过程中,粒子群算法会不断更新粒子的速度和位置,并记录群体中的历史最优解。
当达到预定的终止条件时,算法输出全局最优解作为问题的解。
粒子群算法具有很好的全局搜索能力和并行计算能力,广泛应用于函数优化、机器学习、图像处理等领域。
其优势在于简单易实现,但可能存在收敛速度慢和陷入局部最优的问题。
因此,研究者们提出了各种改进的粒子群算法,如自适应粒子群算法、混沌粒子群算法等,以提高算法的性能。
4.1粒子群算法基本原理粒子群优化算法[45]最原始的工作可以追溯到1987年Reynolds 对鸟群社会系统Boids (Reynolds 对其仿真鸟群系统的命名)的仿真研究 。
通常,群体的行为可以由几条简单的规则进行建模,虽然每个个体具有简单的行为规则,但是却群体的行为却是非常的复杂,所以他们在鸟类仿真中,即Boids 系统中采取了下面的三条简单的规则:(1)飞离最近的个体(鸟),避免与其发生碰撞冲突;(2)尽量使自己与周围的鸟保持速度一致;(3)尽量试图向自己认为的群体中心靠近。
虽然只有三条规则,但Boids 系统已经表现出非常逼真的群体聚集行为。
但Reynolds 仅仅实现了该仿真,并无实用价值。
1995年Kennedy [46-48]和Eberhart 在Reynolds 等人的研究基础上创造性地提出了粒子群优化算法,应用于连续空间的优化计算中 。
Kennedy 和Eberhart 在boids 中加入了一个特定点,定义为食物,每只鸟根据周围鸟的觅食行为来搜寻食物。
Kennedy 和Eberhart 的初衷是希望模拟研究鸟群觅食行为,但试验结果却显示这个仿真模型蕴含着很强的优化能力,尤其是在多维空间中的寻优。
最初仿真的时候,每只鸟在计算机屏幕上显示为一个点,而“点”在数学领域具有多种意义,于是作者用“粒子(particle )”来称呼每个个体,这样就产生了基本的粒子群优化算法[49]。
假设在一个D 维搜索空间中,有m 个粒子组成一粒子群,其中第i 个粒子的空间位置为123(,,,...,)1,2,...,i i i i iD X x x x x i m ==,它是优化问题的一个潜在解,将它带入优化目标函数可以计算出其相应的适应值,根据适应值可衡量i x 的优劣;第i 个粒子所经历的最好位置称为其个体历史最好位置,记为123(,,,...,)1,2,...,i i i i i D P p p p p i m ==,相应的适应值为个体最好适应值 Fi ;同时,每个粒子还具有各自的飞行速度123(,,,...,)1,2,...,i i i i iD V v v v v i m ==。
4.1粒子群算法基本原理粒子群优化算法[45]最原始的工作可以追溯到1987年Reynolds 对鸟群社会系统Boids (Reynolds 对其仿真鸟群系统的命名)的仿真研究 。
通常,群体的行为可以由几条简单的规则进行建模,虽然每个个体具有简单的行为规则,但是却群体的行为却是非常的复杂,所以他们在鸟类仿真中,即Boids 系统中采取了下面的三条简单的规则:(1)飞离最近的个体(鸟),避免与其发生碰撞冲突;(2)尽量使自己与周围的鸟保持速度一致;(3)尽量试图向自己认为的群体中心靠近。
虽然只有三条规则,但Boids 系统已经表现出非常逼真的群体聚集行为。
但Reynolds 仅仅实现了该仿真,并无实用价值。
1995年Kennedy [46-48]和Eberhart 在Reynolds 等人的研究基础上创造性地提出了粒子群优化算法,应用于连续空间的优化计算中 。
Kennedy 和Eberhart 在boids 中加入了一个特定点,定义为食物,每只鸟根据周围鸟的觅食行为来搜寻食物。
Kennedy 和Eberhart 的初衷是希望模拟研究鸟群觅食行为,但试验结果却显示这个仿真模型蕴含着很强的优化能力,尤其是在多维空间中的寻优。
最初仿真的时候,每只鸟在计算机屏幕上显示为一个点,而“点”在数学领域具有多种意义,于是作者用“粒子(particle )”来称呼每个个体,这样就产生了基本的粒子群优化算法[49]。
假设在一个D 维搜索空间中,有m 个粒子组成一粒子群,其中第i 个粒子的空间位置为123(,,,...,)1,2,...,i i i i iD X x x x x i m ==,它是优化问题的一个潜在解,将它带入优化目标函数可以计算出其相应的适应值,根据适应值可衡量i x 的优劣;第i 个粒子所经历的最好位置称为其个体历史最好位置,记为123(,,,...,)1,2,...,i i i i i D P p p p p i m ==,相应的适应值为个体最好适应值 Fi ;同时,每个粒子还具有各自的飞行速度123(,,,...,)1,2,...,i i i i iD V v v v v i m ==。
4.1粒子群算法基本原理粒子群优化算法[45]最原始的工作可以追溯到1987年Reynolds 对鸟群社会系统Boids (Reynolds 对其仿真鸟群系统的命名)的仿真研究 。
通常,群体的行为可以由几条简单的规则进行建模,虽然每个个体具有简单的行为规则,但是却群体的行为却是非常的复杂,所以他们在鸟类仿真中,即Boids 系统中采取了下面的三条简单的规则:(1)飞离最近的个体(鸟),避免与其发生碰撞冲突;(2)尽量使自己与周围的鸟保持速度一致;(3)尽量试图向自己认为的群体中心靠近。
虽然只有三条规则,但Boids 系统已经表现出非常逼真的群体聚集行为。
但Reynolds 仅仅实现了该仿真,并无实用价值。
1995年Kennedy [46-48]和Eberhart 在Reynolds 等人的研究基础上创造性地提出了粒子群优化算法,应用于连续空间的优化计算中 。
Kennedy 和Eberhart 在boids 中加入了一个特定点,定义为食物,每只鸟根据周围鸟的觅食行为来搜寻食物。
Kennedy 和Eberhart 的初衷是希望模拟研究鸟群觅食行为,但试验结果却显示这个仿真模型蕴含着很强的优化能力,尤其是在多维空间中的寻优。
最初仿真的时候,每只鸟在计算机屏幕上显示为一个点,而“点”在数学领域具有多种意义,于是作者用“粒子(particle )”来称呼每个个体,这样就产生了基本的粒子群优化算法[49]。
假设在一个D 维搜索空间中,有m 个粒子组成一粒子群,其中第i 个粒子的空间位置为123(,,,...,)1,2,...,i i i i iD X x x x x i m ==,它是优化问题的一个潜在解,将它带入优化目标函数可以计算出其相应的适应值,根据适应值可衡量i x 的优劣;第i 个粒子所经历的最好位置称为其个体历史最好位置,记为123(,,,...,)1,2,...,i i i i iD P p p p p i m ==,相应的适应值为个体最好适应值 Fi ;同时,每个粒子还具有各自的飞行速度123(,,,...,)1,2,...,i i i i iD V v v v v i m ==。
所有粒子经历过的位置中的最好位置称为全局历史最好位置,记为123(,,,...,)D Pg Pg Pg Pg Pg =,相应的适应值为全局历史最优适应值 。
在基本PSO 算法中,对第n 代粒子,其第 d 维(1≤d ≤D )元素速度、位置更新迭代如式(4-1)、(4-2):11122()()n n n n n n id id id id gd id v v c r p x c r p x ω+=⨯+⨯⨯-+⨯⨯- (4-1) 1n n n id id id x x v +=+ (4-2) 其中:ω为惯性权值;c1 和c2 都为正常数,称为加速系数;r1 和r2 是两个在[0, 1]范围内变化的随机数。
第 d 维粒子元素的位置变化范围和速度变化范围分别限制为,min ,max ,d d X X ⎡⎤⎣⎦和,min ,max ,d d V V ⎡⎤⎣⎦。
迭代过程中,若某一维粒子元素的id X 或id V 超出边界值则令其等于边界值。
粒子群速度更新公式(4-1)中的第 1部分由粒子先前速度的惯性引起,为“惯性”部分;第 2 部分为“认知”部分,表示粒子本身的思考,即粒子根据自身历史经验信息对自己下一步行为的影响;第 3部分为“社会”部分,表示粒子之间的信息共享和相互合作,即群体信息对粒子下一步行为的影响。
基本PSO 算法步骤如下:(1)粒子群初始化;(2)根据目标函数计算各粒子适应度值,并初始化个体、全局最优值;(3)判断是否满足终止条件,是则搜索停止,输出搜索结果;否则继续下步;(4)根据速度、位置更新公式更新各粒子的速度和位置;(5)根据目标函数计算各粒子适应度值;(6)更新各粒子历史最优值以及全局最优值;(7)跳转至步骤3。
对于终止条件,通常可以设置为适应值误差达到预设要求,或迭代次数超过最大允许迭代次数。
基本的连续 PSO 算法中,其主要参数,即惯性权值、加速系数、种群规模和迭代次数对算法的性能均有不同程度的影响 。
惯性权值ω的取值对 PSO 算法的收敛性能至关重要。
在最初的基本粒子群算法中没有惯性权值这一参数 。
最初的 PSO 算法容易陷入局部最小,于是在其后的研究中引入了惯性权值来改善PSO 算法的局部搜索能力,形成了目前常用的基本PSO算法形式。
取较大的ω值使得粒子能更好地保留速度,从而能更快地搜索解空间,提高算法的收敛速度;但同时由于速度大可能导致算法无法更好地进行局部搜索,容易错过最优解,特别是过大的ω会使得PSO 算法速度过大而无法搜索到全局最优。
取较小的ω值则有利于局部搜索,能够更好地搜索到最优值,但因为粒子速度受其影响相应变小从而无法更快地进行全局搜索,进而影响算法收敛速度;同时过小ω值更是容易导致算法陷入局部极值。
因此,一个合适的ω值能有效兼顾搜索精度和搜索速度、全局搜索和局部搜索,保证算法性能。
加速系数c1 和c2 代表每个粒子向其个体历史最好位置和群体全局历史最好位置的移动加速项的权值。
较低的加速系数值可以使得粒子收敛到其最优解的过程较慢,从而能够更好搜索当前位置与最优解之间的解空间;但过低的加速系数值则可能导致粒子始终徘徊在最优邻域外而无法有效搜索目标区域,从而导致算法性能下降。
较高的加速系数值则可以使得粒子快速集中于目标区域进行搜索,提高算法效率;但过高的加速系数值则有可能导致粒子搜索间隔过大,容易越过目标区域无法有效地找到全局最优解。
因此加速系数对PSO 能否收敛也起重要作用,合适的加速系数有利于算法较快地收敛,同时具有一定的跳出局部最优的能力。
对于速度更新公式(4-1)中,若c1 = c2 = 0,粒子将一直以当前的速度进行惯性飞行,直到到达边界。
此时粒子仅仅依靠惯性移动,不能从自己的搜索经验和其他粒子的搜索经验中吸取有用的信息,因此无法利用群体智能,PSO 算法没有启发性,粒子只能搜索有限的区域,很难找到全局最优解,算法优化性能很差。
若c = 0,则粒子没有认知能力,不能从自己的飞行经验吸取有效信息,只有社会部分,所以c 又称为社会参数;此时收敛速度比基本PSO 快,但由于不能有效利用自身的经验知识,所有的粒子都向当前全局最优集中,因此无法很好地对整个解空间进行搜索,在求解存在多个局部最优的复杂优化问题时比基本PSO 容易陷入局部极值,优化性能也变差。
若c2 = 0,则微粒之间没有社会信息共享,不能从同伴的飞行经验中吸取有效信息,只有认知部分,所以 c 又称为认知参数;此时个体间没有信息互享,一个规模为m 的粒子群等价于m 个1单个粒子的运行,搜索到全局最优解的机率很小。
PSO 算法中,群体规模对算法的优化性能也影响很大。
一般来说,群体规模越大,搜索到全局最优解的可能性也越大,优化性能相对也越好;但同时算法消耗的计算量也越大,计算性能相对下降。
群体规模越小,搜索到全局最优解的可能性就越小,但算法消耗的计算量也越小。
群体规模对算法性能的影响并不是简单的线性关系,当群体规模到达一定程度后,再增加群体规模对算法性能的提升有限,反而增加运算量;但群体规模不能过小,过小的群体规模将无法体现出群智能优化算法的智能性,导致算法性能严重受损。
对于最大允许迭代次数,较大的迭代次数使得算法能够更好地搜索解空间,因此找到全局最优解的可能性也大些;相应地,较小的最大允许迭代次数会减小算法找到全局最优解的可能性。
对于基本连续PSO 来说,由于缺乏有效的跳出局部最优操作,因此粒子一旦陷入局部极值后就难以跳出,位置更新处于停滞状态,此时迭代次数再增多也无法提高优化效果,只会浪费计算资源。
但过小的迭代次数则会导致算法在没有对目标区域实现有效搜索之前就停止更新,将严重影响算法性能。
此外,随机数可以保证粒子群群体的多样性和搜索的随机性。
最大、最小速度可以决定当前位置与最好位置之间区域的分辨率(或精度)。
如果最大速度(或最小速度)的绝对值过大,粒子可能会因为累积的惯性速度太大而越过目标区域,从而无法有效搜索到全局最优解;但如果最大速度(或最小速度)的绝对值过小,则粒子不能迅速向当前全局最优解集中,对其邻域进行有效地搜索,同时还容易陷入局部极值无法跳出。
因此,最大、最小速度的限制主要是防止算法计算溢出、改善搜索效率和提高搜索精度。
基本PSO 算法中只涉及基本的加、减、乘运算操作,编程简单,易于实现,关键参数较少,设定相对简单,所以引起了广泛的关注,目前已有多篇文献对PSO 算法进行综述。
为了进一步提高基本PSO 算法的寻优性能,大量研究工作致力于对基本PSO 算法的改进,主要集中于:(1)对PSO 算法更新公式参数、结构的改进主要是对基本PSO 算法的速度、位置更新公式中的参数、结构进行调节和增加,以进一步提高算法的优化性能,如引入了惯性权值的PSO算法、自适应惯性权值PSO]算法 、模糊自适应惯性权值 PSO 算法、带收缩因子的 PSO 算法、Kalman 粒子群算法、带邻域算子的PSO 算法、具有社会模式的簇分析 PSO 算法 、被动集合PSO 算法等等。
(2)多群、多项PSO 算法多群PSO 算法即引入多个群体进行优化搜索 ;而多相 PSO 算法中多群体的各个群体对不同的搜索目标以不同的方式进行搜索 。
(3)混合 PSO 算法混合 PSO 算法的基本思想就是将 PSO 算法与其它不同算法相结合,实现优势互补,从而进一步提高PSO 算法的寻优性能,如模拟退火PSO 算法 、GA-PSO 混合算法等等。
在工程应用中,目前PSO 算法在函数优化 、神经网络训练 、调度问题 、故障诊断 、建模分析 、电力系统优化设计 、模式识别 、图象处理 、数据挖掘 等众多领域中均有相关的研究应用报道,取得了良好的实际应用效果。
4.2离散二进制PSO 算法离散二进制优化算法具有很多优势,首先对于纯组合优化问题的表达形式要求优化算法是离散的,其次二进制算法可以表达浮点数,因此也同样适用于连续空间的问题求解。
4.2.1 KBPSO 算法PSO 算法最初是用来对连续空间问题进行优化的,为了解决离散优化问题Kennedy 和 Eberhart 于 1997 年在基本 PSO 的基础上提出了一种离散二进制 PSO (KBPSO )算法。
在 KBPSO 算法中,粒子定义为一组由0,1 组成的二进制向量。
KBPSO 保留了原始的连续PSO 的速度公式(4-1),但速度丧失了原始的物理意义。
在 KBPSO 中,速度值vid 通过预先设计的 S 形限幅转换函数()id Sig v 转换为粒子元素id x 取“1”的概率。