XX大学
智能优化算法课内实验报告书
院系名称:
学生姓名:
专业名称:
班级:
学号:
时间:
非线性规划问题的粒子群算法
1.1 背景介绍
1.1.1 非线性规划简介
具有非线性约束条件或目标函数的数学规划, 是运筹学的一个重要的分支, 非线性规划研究一个n元实函数在一组等式或不等式的约束条件下的机制问题且目标函数和约束条件至少有一个是未知量的非线性函数, 目标函数和约束条件都是线性函数的情形则属于线性规划。
非线性规划是20世纪50年代才开始形成的一门新兴学科。1951年H.W库恩和A.W塔克发表的关于最优性条件的论文是非线性规划正式诞生的一个重要标志。在50年代可得出了可分离规划和二次规划的n种解法, 它们大都是以G.B.丹齐克提出的解线性规划的单纯形法为基础的。50年代末到60年代末出现了许多解非线性规划问题的有效的算法, 70年代又得到进一步的发展。非线性规划在工程、管理、经济、科研、军事等方面都有广泛的应用, 为最优设计提供了有力的工具。
非线性规划问题广发存在于科学与工程领域, 是一类比较难以解决的优化问题, 没有普遍使用的解法。传统的求解该问题的方法( 如罚函数, 可行方向法, 以及变尺度法等) 是基于梯度的方法因此目标函数与约束式必须是可微的, 而且这些方法只能保证求的局部最优解。
1.1.2 粒子群算法简介
粒子群算法( Particle Swarm optimization, PSO) 的基本概念源于对于鸟群捕食行为的简化社会模型的模拟, 1995年由Kenndy和Eberhart等人提出, 它同遗传算法类似, 经过个体间的协作和竞争实现全局搜索系统初始化为一组随机解, 称之为粒子。经过粒子在搜索空间的飞行完成寻优, 在数学公式中即为迭代, 它没有遗传算法的交叉及变异算子, 而是粒子在解空间追随最优的粒子进行搜索。
PSO算法的改进主要在参数选择、拓扑结构以及与其它优化算法相融合方面。据此当前典型的改进算法有: 自适应PSO算法、模糊PSO算法、杂交PSO 算法、混合粒子算法( HPSO) 和离散PSO算法等等。其中自适应和模糊PSO算法是EberhartShi研究了惯性因子ω对优化性能的影响, 发现较大的ω值有利于跳出局部极小点, 较小的ω值有利于算法的收敛。自适应PSO算法经过线性地减少ω值动态的调整参数ω, 而模糊PSO算法则在此基础上利用模糊规则动态调整参数ω的值, 即构造一个2输入、 1输出的模糊推理机来动态地修改惯性因子ω。杂交和混合粒子群算法( HPSO) 是受遗传算法、自然选择机制的启示, 将遗传算子与基本PSO相结合而得。杂交PSO在基本PSO中引入了杂交算子, 两者均取得了满意的结果, 改进了算法的性能。
基本PSO算法是求解连续函数优化的有力工具, 但对离散问题却无能为力。因此Kenndy和Eberhart发展了离散PSO算法, 用于解决组合优化问题等。在一定程度上完善发展了基本PSO算法, 并将其应用于旅行商问题( TSP) 的求解, 取得了较好的结果。当前PSO已经广泛应用于函数优化、神经网络训练、模糊系统控制以及其它遗传算法的应用领域。最初应用到神经网络训练上, 在随后的应用中PSO又能够用来确定神经网络的结构。一般说来, PSO比较有潜在的应用包括系统设计、多目标优化、分类、模式识别、调度、信号处理、决策、机器人应用等。其中具体应用实例是非线性规划的粒子群算法。总之, PSO算法的应用十分广泛, 它有着比较好的发展前景, 值得做进一步的研究。
4 基本粒子群算法
4.1 粒子群算法简介
粒子群算法是一个非常简单的算法, 且能够有效的优化各种函数。从某种程度上说, 此算法介于遗传算法和进化规划之间。此算法非常依赖于随机的过程, 这也是和进化规划的相识之处, 此算法中朝全局最优和局部最优靠近的调整非常的类似于遗传算法中的交叉算子。此算法还是用了适应值的概念, 这是所有进化计算方法所共有的特征。
在粒子群算法中, 每个个体称为一个”粒子”, 其实每个粒子代表着一个潜在的解。例如, 在一个D 维的目标搜索空间中, 每个粒子看成是空间内的一个点。设群体由m 个粒子构成。m 也被称为群体规模, 过大的m 会影响算法的运算速度和收敛性。
PSO 算法一般的数学描述为: 设在一个D 维空间中, 由m 个粒子组成的种群1(,...,,...,)i D X x x x =, 其中第i 个粒子位置为12(,,...,)T i i i iD x x x x =, 其速度为12(,,...,,...,)T i i i id iD V v v v v =。它的个体极值为12(,,...,)T i i i iD p p p p =, 种群的全局极值为12(,,...,)T g g g gD p p p p =, 按照追随当前最优例子的原理, 粒子i x 将按(4.1)、 (4.2)式改变自己的速度和位置。
))()()(())()()(()()1(2211t x t p t r c t x t p t r c t v t v ij gj ij ij ij ij -+-+=+ (4.1)
)1()()1(++=+t v t x t x ij ij ij (4.2)式中j=1,2,…,D, i=1,2,…m, m 为种群规模, t 为当前进化代数, 12,r r 为分布于[0,1]之间的随机数; 12,c c 为加速常数。从式(4.1)中可知, 每个粒子的速度由三部分组成: 第一部分为粒子先前的速度; 第二部分为”认知”部分, 表示粒子自身的思考; 第三部分为”社会”部分, 表示粒子间的信息共享与相互合作。
4.1.3 粒子群算法的特点
粒子群算法是一种新兴的智能优化技术, 是群体智能中一个新的分支, 它也是对简单社会系统的模拟。该算法本质上是一种随机搜索算法, 并能以较大的概率收敛于全局最优解。实践证明, 它适合在动态、 多目标优化环境中寻优, 与传统的优化算法相比较具有更快的计算速度和更好的全局搜索能力。具体特点如下:
( 1) 粒子群优化算法是基于群体智能理论的优化算法, 经过群体中粒子间的合作与竞争产生的群体智能指导优化搜索。与进化算法比较, PSO 是一种更为高效的并行搜索算法。
( 2) PSO与GA有很多共同之处, 两者都是随机初始化种群, 使用适应值来评价个体的优劣程度和进行一定的随机搜索。但PSO是根据自己的速度来决定搜索, 没有GA的明显的交叉和变异。与进化算法比较, PSO保留了基于种群的全局搜索策略, 可是其采用的速度-位移模型操作简单, 避免了复杂的遗传操作。
( 3) PSO有良好的机制来有效地平衡搜索过程的多样性和方向性。
( 4) GA中由于染色体共享信息, 故整个种群较均匀地向最优区域移动。在PSO中gbest将信息传递给其它粒子, 是单向的信息流动。多数情况下, 所有的粒子可能更快地收敛于最优解。
( 5) PSO特有的记忆使其能够动态地跟踪当前的搜索情况并调整其搜索策略。
( 6) 由于每个粒子在算法结束时依然保持着其个体极值。因此, 若将PSO 用于调度和决策问题时能够给出多种有意义的选择方案。而基本遗传算法在结束时, 只能得到最后一代个体的信息, 前面迭代的信息没有保留。
( 7) 即使同时使用连续变量和离散变量, 对位移和速度同时采用和离散的坐标轴, 在搜索过程中也并不冲突。因此PSO能够很自然、很容易地处理混合整数非线性规划问题。
( 8) PSO算法对种群大小不十分敏感, 即种群数目下降时性能下降不是很大。
( 9) 在收敛的情况下, 由于所有的粒子都向最优解的方向飞去, 因此粒子趋向同一化( 失去了多样性) 使得后期收敛速度明显变慢, 以致算法收敛到一定精度时无法继续优化。因此很多学者都致力于提高PSO算法的性能。
4.1.4 粒子群算法的应用
粒子群算法提供了一种求解复杂系统优化问题的通用框架, 它不依赖于问题的具体领域, 对问题的种类有很强的适应性, 因此广泛应用于很多学科。下面是粒子群算法的一些主要应用领域:
( 1) 函数优化。函数优化是粒子群算法的经典应用领域, 也是对粒子群算
法进行性能评价的常见算例。
( 2) 约束优化。随着问题的增多, 约束优化问题的搜索空间也急剧变换, 有时在当前的计算机上用枚举法很难或甚至不可能求出其精确最优解。粒子群算法是解决这类问题的最佳工具之一。实践证明, 粒子群算法对于约束优化中的规划, 离散空间组合问题的求解非常有效。
( 3) 工程设计问题。工程设计问题在许多情况下所建立起来的数学模型难以精确求解, 即使经过一些简化之后能够进行求解, 也会因简化得太多而使得求解结果与实际相差甚远。现在粒子群算法已成为解决复杂调度问题的有效工具, 在电路及滤波器设计、神经网络训练、控制器设计与优化、任务分配等方面粒子群算法都得到了有效的应用。
( 4) 电力系统领域。在其领域中有种类多样的问题, 根据目标函数特性和约束类型许多与优化相关的问题需要求解。PSO在电力系统方面的应用主要如下: 配电网扩展规划、检修计划、机组组合、负荷经济分配、最优潮流计算与无功优化控制、谐波分析与电容配置、配电网状态估计、参数辨识、优化设计。随着粒子群优化理论研究的深入, 它还将在电力市场竞价交易、投标策略以及电力市场仿真等领域发挥巨大的应用潜在力。
( 5) 机器人智能控制。机器人是一类复杂的难以精确建模的人工系统, 而粒子群算法可用于此类机器人群搜索, 如机器人的控制与协调, 移动机器人路径规划。因此机器人智能控制理所当然地成为粒子群算法的一个重要应用领域。
( 6) 交通运输领域。交通方面有车辆路径问题, 在物流配送供应领域中要求以最少的车辆数、最小的车辆总行程来完成货物的派送任务; 交通控制, 城市交通问题是困扰城市发展、制约城市经济建设的重要因素。城市交通运输系统的管理和控制技术进行研究, 来为缓解交通拥挤发挥巨大作用。其中在其解决方法中应用粒子群算法给解决问题提供了新的, 有效的计算方式。
( 7) 通信领域。其中包括路由选择及移动通信基站布置优化, 在顺序码分多址连接方式( DS-CDMA) 通讯系统中使用粒子群算法, 可获得可移植的有力算法并提供并行处理能力。比传统的先前的算法有了显著的优越性。还应用到天线
第37卷第4期河北工业大学学报2008年8月V ol.37No.4JOURNAL OF HEBEI UNIVERSITY OF TECHNOLOGY August2008 文章编号：1008-2373(2008)04-0055-05 改进的粒子群优化算法 宋洁，董永峰，侯向丹，杨彦卿 （河北工业大学计算机科学与软件学院，天津300401） 摘要粒子群优化算法是一种基于群体的自适应搜索优化算法，存在后期收敛慢、搜索精度低、容易陷入局部极 小等缺点，为此提出了一种改进的粒子群优化算法，从初始解和搜索精度两个方面进行了改进，提高了算法的计 算精度，改善了算法收敛性，很大程度上避免了算法陷入局部极小．对经典函数测试计算，验证了算法的有效性． 关键词粒子群优化算法；均匀化；变量搜索；初始解；搜索精度 中图分类号TP391文献标识码A A Modified Particle Swarm Optimization Algorithm SONG Jie,DONG Yong-feng,HOU Xiang-dan,Y ANG Yan-qing (School of Computer Science and Engineering,Hebei University of Technology,Tianjin300401,China) Abstract Particle Swarm Optimization Algorithm is a kind of auto-adapted search optimization based on community. But the standard particle swarm optimization is used resulting in slow after convergence,low search precision and easily leading to local minimum.A new Particle Swarm Optimization algorithm is proposed to improve from the initial solution and the search precision.The obtained results showed the algorithm computation precision and the astringency are im- proved,and local minimum is avoided.The experimental results of classic functions show that the improved PSO is ef- ficient and feasible. Key words PSO；average；variable search；initial solution；search accuracy 0引言 粒子群优化（Particle Swarm Optimization，PSO）算法是一种基于群体的随机优化技术，最早在1995年由美国社会心理学家James Kennedy和电气工程师Russell Eberhart[1]共同提出，基本思想源于对鸟群觅食行为的研究．PSO将每个可能产生的解都表述为群中的一个微粒，每个微粒都具有自己的位置向量和速度向量，和一个由目标函数决定的适应度，通过类似梯度下降算法使各粒子向适应度函数值最高的方向群游．该算法控制参数少、程序相对简单，因此在应用领域表现出了很大的优越性．由于PSO算法容易理解、易于实现，所以PSO算法发展很快．目前，多种PSO改进算法已广泛应用于函数优化、神经网络训练、模式识别、模糊系统控制以及其他的应用领域． 许多学者对PSO算法进行研究，发现其容易出现早熟、最优解附近收敛慢等现象，并提出了一些改进方案，例如自适应PSO算法、混合PSO算法、杂交PSO算法等[2-4]．因此，本文从初始解和收敛精度两个角度出发对PSO算法进行了改进，提高了算法的计算精度，有效的改善了算法的优化性能． 1基本PSO算法 PSO算法是一种基于群体的随机优化技术，基本思想源于对鸟群觅食行为的研究．通过对鸟群飞行时经常会突然改变方向、散开、聚集，但整体总保持一致性，个体与个体间鸟群好像在一个中心的控制 收稿日期：2008-04-17 基金项目：河北省自然科学基金（F2006000109） 作者简介：宋洁（1967-），女（汉族），副教授．
粒子群算法在神经网络非线性函数 拟合中的应用 一、本文研究和解决的问题 在自动控制问题中，系统辨识的目的是为了建立被控对象的数学模型。多年来，控制领域对于复杂的非线性对象的辨识一直未能很好的解决，神经网络所具有的非线性特性和学习能力使其在系统辨识方面有很大的潜力。为解决具有复杂的非线性、不确定性和不确知对象的辨识问题开辟了一条有效的途径。基于神经网络的系统辨识是以神经网络作为被辨识对象的模型，利用其非线性特性，可建立非线性系统的静态或动态模型。理论上，多层前馈神经网络能够以任意精度逼近任意非线性映射。 但传统神经网络学习算法中存在的收敛速度慢、容易陷入局部最优等缺点，于是设计了基于标准粒子群算法的神经网络非线性函数拟合系统。 二、传统的BP神经网络 BP 神经网络即采用误差反向传播算法的网络，是一种至今仍然最为流行的前馈型神经网络模型。BP 神经网络有很强的非线性映射能力，它能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供给网络进行学习训练，它便能完成由n 维输入空间到m 维输出空间的非线性映射。BP 学习算法属于误差修正型学习，其关键在于根据误差修正输出层和隐含层的连接权值。其学习的基本实现方法是基于最小平方误差准则和梯度下降优化方法来确定权值调整法则。 BP网络建模特点： 非线性映照能力：神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。 并行分布处理方式：在神经网络中信息是分布储存和并行处理的，这使它具有很强的容错性和很快的处理速度。 自学习和自适应能力：神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一般情形的能力。神经网络的学习也可以在线进行。 数据融合的能力：神经网络可以同时处理定量信息和定性信息，因此它可以利用传统的工程技术（数值运算）和人工智能技术（符号处理）。 多变量系统：神经网络的输入和输出变量的数目是任意的，对单变量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统间的解耦问题。
XX大学 智能优化算法课内实验报告书 院系名称： 学生姓名： 专业名称： 班级： 学号： 时间：
非线性规划问题的粒子群算法 1.1背景介绍 1.1.1 非线性规划简介 具有非线性约束条件或目标函数的数学规划，是运筹学的一个重要的分支，非线性规划研究一个n元实函数在一组等式或不等式的约束条件下的机制问题且目标函数和约束条件至少有一个是未知量的非线性函数，目标函数和约束条件都是线性函数的情形则属于线性规划。 非线性规划是20世纪50年代才开始形成的一门新兴学科。1951年H.W库恩和A.W塔克发表的关于最优性条件的论文是非线性规划正式诞生的一个重要标志。在50年代可得出了可分离规划和二次规划的n种解法，它们大都是以G.B.丹齐克提出的解线性规划的单纯形法为基础的。50年代末到60年代末出现了许多解非线性规划问题的有效的算法，70年代又得到进一步的发展。非线性规划在工程、管理、经济、科研、军事等方面都有广泛的应用，为最优设计提供了有力的工具。 非线性规划问题广发存在于科学与工程领域，是一类比较难以解决的优化问题，没有普遍使用的解法。传统的求解该问题的方法（如罚函数，可行方向法，以及变尺度法等）是基于梯度的方法所以目标函数与约束式必须是可微的，并且这些方法只能保证求的局部最优解。 1.1.2 粒子群算法简介 粒子群算法（Particle Swarm optimization，PSO）的基本概念源于对于鸟群捕食行为的简化社会模型的模拟，1995年由Kenndy和Eberhart等人提出，它同遗传算法类似，通过个体间的协作和竞争实现全局搜索系统初始化为一组随机解，称之为粒子。通过粒子在搜索空间的飞行完成寻优，在数学公式中即为迭代，它没有遗传算法的交叉及变异算子，而是粒子在解空间追随最优的粒子进行搜索。 PSO算法的改进主要在参数选择、拓扑结构以及与其他优化算法相融合方面。据此当前典型的改进算法有：自适应PSO算法、模糊PSO算法、杂交PSO 算法、混合粒子算法（HPSO）和离散PSO算法等等。其中自适应和模糊PSO 算法是EberhartShi研究了惯性因子ω对优化性能的影响，发现较大的ω值有利于跳出局部极小点，较小的ω值有利于算法的收敛。自适应PSO算法通过线性地减少ω值动态的调整参数ω，而模糊PSO算法则在此基础上利用模糊规则动态调
毕业论文 题目粒子群算法及其参数设置专业信息与计算科学 班级计算061 学号3060811007 学生xx 指导教师徐小平 2016年 I
粒子群优化算法及其参数设置 专业：信息与计算科学 学生： xx 指导教师：徐小平 摘要 粒子群优化是一种新兴的基于群体智能的启发式全局搜索算法，粒子群优化算法通过粒子间的竞争和协作以实现在复杂搜索空间中寻找全局最优点。它具有易理解、易实现、全局搜索能力强等特点，倍受科学与工程领域的广泛关注，已经成为发展最快的智能优化算法之一。论文介绍了粒子群优化算法的基本原理，分析了其特点。论文中围绕粒子群优化算法的原理、特点、参数设置与应用等方面进行全面综述，重点利用单因子方差分析方法，分析了粒群优化算法中的惯性权值，加速因子的设置对算法基本性能的影响，给出算法中的经验参数设置。最后对其未来的研究提出了一些建议及研究方向的展望。 关键词：粒子群优化算法；参数；方差分析；最优解 II
Particle swarm optimization algorithm and its parameter set Speciality: Information and Computing Science Student: Ren Kan Advisor: Xu Xiaoping Abstract Particle swarm optimization is an emerging global based on swarm intelligence heuristic search algorithm, particle swarm optimization algorithm competition and collaboration between particles to achieve in complex search space to find the global optimum. It has easy to understand, easy to achieve, the characteristics of strong global search ability, and has never wide field of science and engineering concern, has become the fastest growing one of the intelligent optimization algorithms. This paper introduces the particle swarm optimization basic principles, and analyzes its features. Paper around the particle swarm optimization principles, characteristics, parameters settings and applications to conduct a thorough review, focusing on a single factor analysis of variance, analysis of the particle swarm optimization algorithm in the inertia weight, acceleration factor setting the basic properties of the algorithm the impact of the experience of the algorithm given parameter setting. Finally, its future researched and prospects are proposed. Key word：Particle swarm optimization; Parameter; Variance analysis; Optimal solution III
粒子群算法解决函数优化问题 1、群智能算法研究背景 粒子群优化算法（Particle Swarm Optimization，PSO）是由Kennedy 和Eberhart 在研究鸟类和鱼类的群体行为基础上于1995 年提出的一种群智能算法，其思想来源于人工生命和演化计算理论，模仿鸟群飞行觅食行为，通过鸟集体协作使群体达到优。 PSO算法作为一种新的群智能算法，可用于解决大量非线性、不可微和多峰值的复杂函数优化问题，并已广泛应用于科学和工程领域，如函数优化、神经网络训练、经济调度、模式识别与分类、结构设计、电磁场和任务调度等工程优化问题等。 PSO算法从提出到进一步发展，仅仅经历了十几年的时间，算法的理论基础还很薄弱，自身也存在着收敛速度慢和早熟的缺陷。如何加快粒子群算法的收敛速度和避免出现早熟收敛，一直是大多数研究者关注的重点。因此，对粒子群算法的分析改进不仅具有理论意义，而且具有一定的实际应用价值。 2、国内外研究现状 对PSO算法中惯性权重的改进：Poli等人在速度更新公式中引入惯性权重来更好的控制收敛和探索，形成了当前的标准PSO算法。 研究人员进行了大量的研究工作，先后提出了线性递减权值( LDIW)策略、模糊惯性权值( FIW) 策略和随机惯性权值( RIW) 策略。其中，FIW 策略需要专家知识建立模糊规则，实现难度较大，RIW 策略被用于求解动态系统，LDIW策略相对简单且收敛速度快， 任子晖，王坚于2009 年，又提出了基于聚焦距离变化率的自适应惯性权重PSO算法。 郑春颖和郑全弟等人，提出了基于试探的变步长自适应粒子群算
法。这些改进的PSO算法既保持了搜索速度快的特点, 又提高了全局搜索的能力。 对PSO算法的行为和收敛性的分析：1999 年采用代数方法对几种典型PSO算法的运行轨迹进行了分析，给出了保证收敛的参数选择范围。在收敛性方面Fransvan den Bergh引用Solis和Wets关于随机性算法的收敛准则，证明了标准PSO算法不能收敛于全局优解，甚至于局部优解；证明了保证收敛的PSO算法能够收敛于局部优解，而不能保证收敛于全局优解。 国内的学者：2006 年，刘洪波和王秀坤等人对粒子群优化算法的收敛性进行分析，指出它在满足收敛性的前提下种群多样性趋于减小，粒子将会因速度降低而失去继续搜索可行解的能力，提出混沌粒子群优化算法。 2008 年，黄翀鹏和熊伟丽等人分析惯性权值因子大小对PSO算法收敛性所带来的影响，对粒子群算法进行了改进。2009 年，高浩和冷文浩等人，分析了速度因子对微粒群算法影响，提出了一种基于Gaussian 变异全局收敛的粒子群算法。并证明了它能以概率 1 收敛到全局优解。 2010 年，为提高粒子群算法的收敛性,提出了基于动力系统的稳定性理论，对惯性权重粒子群模型的收敛性进行了分析，提出了使得在算法模型群模型收敛条件下的惯性权重和加速系数的参数约束关系，使算法在收敛性方面具有显著优越性。在PSO算法中嵌入别的算法的思想和技术。 1997年，李兵和蒋慰孙提出混沌优化方法； 1998年，Angeline在PSO算法中引入遗传算法中的选择算子，该算法虽然加快了算法的收敛速度，但同时也使算法陷入局部优的概率大增，特别是在优化Griewank 基准函数的优值时得到的结果不理想； 2004 年，高鹰和谢胜利将混沌寻优思想引入到粒子群优化算法中，首先对当前群体中的优粒子进行混沌寻优, 再用混沌寻优的结果随机替换群体中的一个粒子，这样提出另一种混沌粒子群优化算法。
智能控制技术 课程论文 中文题目: 粒子群算法的研究现状及其应用姓名学号: 指导教师： 年级与专业： 所在学院： XXXX年XX月XX日
1 研究的背景 优化问题是一个古老的问题，可以将其定义为：在满足一定约束条件下，寻找一组参数值，使系统的某些性能指标达到最大值或最小值。在我们的日常生活中，我们常常需要解决优化问题，在一定的范围内使我们追求的目标得到最大化。为了解决我们遇到的最优化问题，科学家，们进行了不懈的努力，发展了诸如牛顿法、共轭梯度法等诸多优化算法，大大推动了优化问题的发展，但由于这些算法的低运行效率，使得在计算复杂度、收敛性等方面都无法满足实际的生产需要。 对此，受达尔文进化论的影响，一批新的智能优化算法相继被提出。粒子群算法（PSO ）就是其中的一项优化技术。1995 年Eberhart 博士和Kennedy 博士[1]-[3]通过研究鸟群捕食的行为后，提出了粒子群算法。设想有一群鸟在随机搜索食物，而在这个区域里只有一块食物，所有的鸟都不知道食物在哪里。那么找到食物最简单有效的办法就是鸟群协同搜寻，鸟群中的每只鸟负责离其最近的周围区域。 粒子群算法是一种基于群体的优化工具，尤其适用于复杂和非线性问题。系统初始化为一组随机解，通过迭代搜寻最优值，通过采用种群的方式组织搜索，同时搜索空间内的多个区域，所以特别适合大规模并行计算，具有较高的效率和简单、易操作的特性。 目前使用的粒子群算法的数学描述[3]为：设粒子的寻优空间是m 维的，粒子的数目为ps ，算法的最大寻优次数为Iter 。第i 个粒子的飞行速度为T i i1i2im v [v v ]= ,,,v ，位置为T i i1i2im x [x x x ]= ,,,，粒子的个体极值T i i1i2im Pbest [,]P = ,P ,P ，全局极值为 T i i1i2im Gbest [,]g = ,g ,g 。 粒子群算法的寻优过程主要由粒子的速度更新和位置更新两部分组成，其更新方式如下： i+11122v ()()i i i i i v c r Pbest x c r Gbest x =+?+?； i+1i+1i x x v =+， 式中：12c c ，为学习因子，一般取2；12r r ，是均与分布着[0,1]上的随机数。
一、粒子群算法概述 粒子群优化算法(PSO)是一种进化计算技术(evolutionary computation)，1995 年由Eberhart 博士和kennedy博士提出，源于对鸟群捕食的行为研究。该算法最初是受到飞鸟集群活动的规律性启发，进而利用群体智能建立的一个简化模型。粒子群算法在对动物集群活动行为观察基础上，利用群体中的个体对信息的共享使整个群体的运动在问题求解空间中产生从无序到有序的演化过程，从而获得最优解。 PSO中，每个优化问题的解都是搜索空间中的一只鸟。我们称之为“粒子”。所有的粒子都有一个由被优化的函数决定的适应值(fitness value)，每个粒子还有一个速度决定他们飞翔的方向和距离。然后粒子们就追随当前的最优粒子在解空间中搜索。 PSO 初始化为一群随机粒子(随机解)。然后通过迭代找到最优解。在每一次迭代中，粒子通过跟踪两个”极值”来更新自己。第一个就是粒子本身所找到的最优解，这个解叫做个体极值pBest。另一个极值是整个种群目前找到的最优解，这个极值是全局极值gBest。另外也可以不用整个种群而只是用其中一部分作为粒子的邻居，那么在所有邻居中的极值就是局部极值。 二、算法原理 粒子群算法采用常数学习因子，及惯性权重，粒子根据如下的公式更新自己的速度和位置。 V ki=ωk V i?1i+c1r1(Q bi?Q k?1i)+c2r2(Q bg?Q k?1i)Q ki=Q k?1i+V ki 三、算法步骤 1、随机初始化种群中各微粒的位置和速度； 2、评价个粒子的适应度，将各粒子的位置和适应度储存在各微粒的pbest（Q bi）中，将所有pbest中适应度最优的个体的位置和适应度存储在gbest（Q bg）中。 3、更新粒子的速度和位移。 V ki=ωk V i?1i+c1r1(Q bi?Q k?1i)+c2r2(Q bg?Q k?1i)Q ki=Q k?1i+V ki 4、对每个微粒，与其前一个最优位置比较，如果较好，则将其作为当前的最优位置。 5、比较当前所有的pbest和上一迭代周期的gbest，更新gbest。 6、若满足停止条件（达到要求精度或迭代次数），搜索停止，输出结果，否则，返回2。
摘要 在智能领域，大部分问题都可以归结为优化问题。常用的经典优化算法都对问题有一定的约束条件，如要求优化函数可微等，仿生算法是一种模拟生物智能行为的优化算法，由于其几乎不存在对问题的约束，因此，粒子群优化算法在各种优化问题中得到广泛应用。 本文首先描述了基本粒子群优化算法及其改进算法的基本原理,对比分析粒子群优化算法与其他优化算法的优缺点，并对基本粒子群优化算法参数进行了简要分析。根据分析结果,研究了一种基于量子的粒子群优化算法。在标准测试函数的优化上粒子群优化算法与改进算法进行了比较,实验结果表明改进的算法在优化性能明显要优于其它算法。本文算法应用于支持向量机参数选择的优化问题上也获得了较好的性能。最后,对本文进行了简单的总结和展望。 关键词：粒子群优化算法最小二乘支持向量机参数优化适应度
目录 摘要...................................................................... I 目录....................................................................... II 1.概述. (1) 1.1引言 (1) 1.2研究背景 (1) 1.2.1人工生命计算 (1) 1.2.2 群集智能理论 (2) 1.3算法比较 (2) 1.3.1粒子群算法与遗传算法(GA)比较 (2) 1.3.2粒子群算法与蚁群算法(ACO)比较 (3) 1.4粒子群优化算法的研究现状 (4) 1.4.1理论研究现状 (4) 1.4.2应用研究现状 (5) 1.5粒子群优化算法的应用 (5) 1.5.1神经网络训练 (6) 1.5.2函数优化 (6) 1.5.3其他应用 (6) 1.5.4粒子群优化算法的工程应用概述 (6) 2.粒子群优化算法 (8) 2.1基本粒子群优化算法 (8) 2.1.1基本理论 (8) 2.1.2算法流程 (9) 2.2标准粒子群优化算法 (10) 2.2.1惯性权重 (10) 2.2.2压缩因子 (11) 2.3算法分析 (12) 2.3.1参数分析 (12) 2.3.2粒子群优化算法的特点 (14) 3.粒子群优化算法的改进 (15) 3.1粒子群优化算法存在的问题 (15) 3.2粒子群优化算法的改进分析 (15) 3.3基于量子粒子群优化(QPSO)算法 (17) 3.3.1 QPSO算法的优点 (17) 3.3.2 基于MATLAB的仿真 (18) 3.4 PSO仿真 (19) 3.4.1 标准测试函数 (19) 3.4.2 试验参数设置 (20) 3.5试验结果与分析 (21) 4.粒子群优化算法在支持向量机的参数优化中的应用 (22) 4.1支持向量机 (22) 4.2最小二乘支持向量机原理 (22)
粒子群算法论文 SANY标准化小组 #QS8QHH-HHGX8Q8-GNHHJ8-HHMHGN#
粒子群算法的寻优算法 摘要：粒子群算法是在仿真生物群体社会活动的基础上，通过模拟群体生物相互协同寻优能力，从而构造出一种新的智能优化算法。这篇文章简要回顾了粒子群算法的发展历史；引入了一个粒子群算法的实例，对其用MATLAB进行编程求解，得出结论。之后还对其中的惯性权重进行了延伸研究，对惯性权重的选择和变化的算法性能进行分析。 关键词：粒子群、寻优、MATLAB、惯性权重 目录：
1.粒子群算法的简介 粒子群算法（Particle Swarm Optimization）是一种新的智能优化算法。谈到它的发展历史，就不得不先介绍下传统的优化算法，正因为传统优化算法自身的一些不足，才有新智能优化算法的兴起，而粒子群算法（PSO）就是在这种情况下发展起来的。 粒子群算法的研究背景 最优化是人们在科学研究、工程技术和经济管理等领域中经常遇到的问题。优化问题研究的主要内容是在解决某个问题时，如何从众多的解决方案中选出最优方案。它可以定义为：在一定的约束条件下，求得一组参数值，使得系统的某项性能指标达到最优（最大或最小）。传统的优化方法是借助于优化问题的不同性质，通常将问题分为线性规划问题、非线性规划问题、整数规划问题和多目标规划问题等。相应的有一些成熟的常规算法，如应用于线性规划问题的单纯形法，应用于非线性规划的牛顿法、共扼梯度法，应用于整数规则的分枝界定法、动态规划等。列举的这些传统的优化算法能够解决现实生活和工程上的很多问题，但工业和科学领域大量实际问题的困难程度正在日益增长，它们大多是根本无法在可接受的时间内找到解的问题。这类优化问题的困难性不仅体现在具有极大的规模，更为重要的是，它们多数是非线性的、动态的、多峰的、具有欺骗性的或者不具有任何导数信息。因此，发展通用性更强、效率更高的优化算法总是需要的。 起源 在自然界中，鸟群运动的主体是离散的，其排列看起来是随机的，但在整体的运动中它们却保持着惊人的同步性，其整体运动形态非常流畅且极富美感。这些呈分布状态的群体所表现出的似乎是有意识的集中控制，一直是许多研究者感兴趣的问题。有研究者对鸟群的运动进行了计算机仿真，他们通过对个体设定简单的运动规则，来模拟鸟群整体的复杂行为。 1986 年 Craig ReynolS 提出了 Boid 模型，用以模拟鸟类聚集飞行的行为，通过对现实世界中这些群体运动的观察，在计算机中复制和重建这些运动轨迹，并对这些运动进行抽象建模，以发现新的运动模式。之后，生物学家Frank Heppner 在此基础上增加了栖息地对鸟吸引的仿真条件，提出了新的鸟群模型。这个新的鸟群模型的关键在于以个体之间的运算操作为基础，这个操作也就是群体行为的同步必须在于个体努力维持自身与邻居之间的距离为最优，为此每个个体必须知道自身位置和邻居的位置信息。这些都表明群体中个体之间信息的社会共享有助于群体的进化。
根据电为系统无功优化问题非线性、多约束、多目标、连续和离散变量共存的 特点［３］，目前无功优化研究的关键点主要集中在两个问题上，第一个是建立合适的无功优化数学模型，第二个是选择合适的无功优化方法。针对第一个问题，一般采 取的是具体问题具体分析，建立的数学模型首先要符合电力系统的运行情况和各项 约束，其次再根据个人偏好确定所需的目标函数。针对第二个问题，目前广泛使用 的无功优化方法主要分为两类：经典数学优化方法和新型人工智能优化方法，这两 类方法在电力系统无功优化问题上都得到了广泛的应用。 １．２．１经典数学优化算法 经典数学优化算法的基本思路大致都是：先选定某一合适的初值，进行不断迭 代，当满足迭代结束条件时，收敛到局部或者全局最优解。无功优化中最常见的数 学优化算法主要包括线性规划法Ｗ、非线性规划法Ｗ、混合整数规划法及动态规 划法ｍ等等。 线性规划法的原理是对目标函数和约束条件运用泰勒公式进行数学变换，变换 后略去高次项，这样就把电力系统无功优化这一非线性问题转换为线性问题。典型 的线性规划法主要有内点法Ｗ和灵敏度分析法Ｗ。这类方法的优势在于方法成熟、 模型简单、求解速度快、收敛性好。但是把非线性问题运用线性化的方法解决必然 会带来一系列误差。首先是对于大型电网，线性规划法的收敛精度可能存在较大的 误差，其次是步长的选择问题，步长过大会导致反复偏离最优解而产生振荡，步长 过小则会导致算法的收敛速度变慢。显然，要针对不同系统选择合适的步长，因此 算法的通用性不强。最后，线性规划法对初值和函数的凹凸性都有一定要求，Ｗ上 这些缺陷使其在应用和发展上都存在一定局限性。 （２）非线性规划法 非线性规划法的原理是通过引入拉格朗日系数或惩罚系数将含约束的优化问题 转换为序列无约束优化问题或者线性规划问题求解，是一种能处理系统优化模型中 各类约束条件或目标函数至少有＾个是非线性函数的规划方法。因为电力系统无功 优化问题本身就是非线性优化问题，所Ｌ乂非线性规划法更加适合求解电力系统无功优化问题。典型的非线性规划法主要有简化梯度法Ｗ、牛顿法和二次规划法Ｕ２３。这类方法优势主要是模型精确，方法简单，计算精度高，但其缺点也十分明显，如 计算量大、稳定性不好、某些不等式和高维问题难ＬｊＡ处理等等，尤其是电力系统无功优化的控制变量既有连续变量又有离散变量且各类等式不等式约束较多，这就大 大限制了非线性规划法的作用。 （３）混合整数规划法 混合整数规划法是一种处理含离散变量问题的方法，主要的原理是先取好整数 变量，再用上述线性或非线性规划法处理连续变量。送比直接将离散变量当做连续 变量优化，然后再对其取整有一定优势。因此，混合整数规划法十分适合优化电刀 系统无功优化的某些控制变量，如变压器的抽头位置和电容器组的投切数目。这类 方法的优势主要是能更精确的处理优化过程中的离散变量，但也存在一系列问题， 如随着维数提升，计算量成倍増加，容易产生＂维数灾＂，尤其随着电力系统规模 的不断增大，混合整数规划法的作用将会大大受限。所ｔＵ兑，混合整数规划法一般适用于规模较小的电力系统无功优化研究。典型的混合整数规划法主要有分支界定 法山］。 ３
浅谈粒子群算法改进方法 【摘要】本文介绍了粒子群算法的基本概念及粒子群算法的训练过程，分别从基本进入、改变惯性因子、改变收缩因子三个方面对其进行优化改进。 【关键词】粒子群;进化方程;惯性因子;收缩因子 1.粒子群算法综述 二十世纪九十年代，美国的社会心理学家James Kennedy和电气工程师Russell通过对自然界的鸟群进行觅食的行为进行观察和研究，提出了模仿鸟群行为的新型群体智能算法——粒子群（Particle Swarm Optimization，PSO）算法。 粒子群算法与其它进化类算法十分相似，同样也是采用“群体”与“进化”的概念，同样也是依据粒子的适应值大小进行操作。而与之不同的是，粒子群算法不像其它进化算法那样，对于每个个体使用进化算子，而是将每个个体看作是在一个n维搜索空间中的没有重量没有体积的微粒，并在搜索空间中以一定的速度进行飞行。该飞行速度这个个体的飞行经验和群体的飞行经验来进行动态的调整。 2.粒子群算法实现的步骤 这里将基本粒子群算法的训练过程描述如下： （1）首先将初始化方程作为依据，将该粒子群体的随机位置和速度进行初始化设置; （2）计算粒子群中每个粒子的适应度值; （3）将该粒子群中每个粒子的适应值与其经历过的最好位置Pi的适应值进行比较，如果好，将它作为当前的最好位置; （4）将该粒子群体中每个粒子的适应值与所有粒子经历的最好位置Pg的适应值进行比较，如果好，将它作为当前的全局最好位置; （5）以粒子群进化方程为依据，进化粒子的速度及位置; （6）如果没有达到设置的结束条件或达到一个设置的最大迭代次数，则返回到第二步，否则结束。 3.粒子群算法进化方程的改进 3.1 基本粒子群算法进化方程的分析
收稿日期:2009-12-13 基金项目:国家自然科学基金资助项目(60674021) 作者简介:卢 峰(1982-),男,辽宁抚顺人,东北大学博士研究生;高立群(1949-),男,辽宁沈阳人,东北大学教授,博士生导师 第32卷第9期2011年9月东北大学学报(自然科学版)Journal of Northeastern U niversity(Natural Science)Vol 32,No.9Sep.2011 基于改进粒子群算法的优化策略 卢 峰,高立群 (东北大学信息科学与工程学院,辽宁沈阳 110819) 摘 要:为提高传统粒子群算法的搜索速度和搜索精度,提出了一种改进的自适应粒子群优化算法 将正则变化函数和慢变函数引入传统位置更新和速度更新公式当中,形成两种新的更新机制:搜索算子和开发算子 在算法运行的初始阶段,种群中大部分个体将按照搜索算子进行更新,搜索算子将有助于种群遍历整个解空间;随着迭代次数的增加,按照搜索算子进行更新的个体将逐渐减少,而按照开发算子进行更新的个体将逐渐增多,开发算子将有效地克服陷入局部最优解的问题 通过典型测试函数的仿真实验,新算法在加快收敛速度同时,提高了算法的全局搜索能力 关 键 词:进化算法;粒子群算法;全局优化;慢变函数;自适应 中图分类号:T G 273 文献标志码:A 文章编号:1005 3026(2011)09 01221 04 Novel Optimization Mechanism Based on Improved Particle Swarm Optimization L U Feng ,GAO L i qun (School of Information Science &Engineering,Northeaster n U niv ersity,Shenyang 110819,China.Corresponding author :LU F eng,E mail:feng.lu.lf @g https://www.doczj.com/doc/fa16010120.html,) Abstract :To accelerate searching speed and optimization accuracy of traditional PSO,an improved particle swarm optimization (PSO )algorithm w as presented.Regularly vary ing function and slow ly varying function were introduced in the position and velocity update formula.New mechanisms such as explorative operator and exploitative operator are formulated.At the beginning,most elements will be updated by explorative operator in the entire search space sufficiently.Within the iterations,more and more particles w ill be handled by ex ploitative operator,which are useful to overcome the deceptions of multiple local optima.It can be seen from the simulation results of the standard benchm ark test functions that the proposed algorithm not only accelerates the convergence process,but also improves g lobal optim ization ability. Key words:evolutionary algorithms;particle sw arm optimization;global optimization;slow ly v arying function;self adaptive 20世纪90年代初,产生了模拟自然生物群体行为的优化方法,被称为群智能优化方法 Dorigo 等人通过模拟蚂蚁的寻径行为,提出了蚁群优化算法(ant colony optimization)[1] ;Eberhart 等人基于对鸟群、鱼群的模拟,提出了粒子群优化算法(particle sw arm optim ization )[2] 作为一种群智能优化方法的代表,粒子群算法通过个体间的协作来寻找最优解,每个个体都被赋予一个随机速度并在整个解空间中搜索,通 过个体之间的合作与竞争来实现个体进化 由于粒子群优化算法运算简单,易于实现,具有良好的解决非线性、不可微和多峰值复杂优化问题的能力,已被广泛应用于科学和工程实际领域[3-5] 但是,粒子群优化算法是根据全体粒子和自身的搜索经验向着最优解的方向进化,在进化后期收敛速度将变得缓慢,同时算法在收敛到一定精度时,容易陷入停滞,无法继续进化更新,因此,存在早熟和陷入局部极值点的现象
基于收缩因子的改进粒子群算法 陈国鸿 （河池学院计算机与信息科学系广西河池 546300） 摘要：针对基本粒子群优化算法(ParticleSwarmOptimization，简称PSO )存在的早熟收敛问题，提出了一种既保持粒子活性又保证粒子快速收敛于全局极值点的改进粒子群优化（XARPSO）算法。在算法运行过程中，如果种群多样性逐步减小，直至超出下限时，种群不再向整体最优位置靠近，而是纷纷远离该最优位置，从而执行了“扩散”操作，而当种群多样性逐步增大，直至超出上限时，种群又开始向整体最优位置靠拢，即执行了“吸引”操作，从而保持了粒子的多样性。同时，该方法引入收缩因子的概念，即通过正确选择惯性权重系数与加速常数即学习因子这些控制参数的值的方法，确保算法收敛。通过Goldstern-Price 函数的最小化测试结果表明，该算法不仅具有较快的收敛速度，而且能够更有效地进行全局搜索。 关键词：粒子算法；收缩因子；吸引；扩散；多峰值函数 引言 粒子群算法最早是在1995年由美国社会心理学家James Kennedy和电气工程师Russell Eberhart共同提出的，简称PSO算法。其基本思想是受他们早期对许多鸟类的群体行为进行建模与仿真研究结果的启发。粒子群算法与其他进化类算法一样，也是一类基于群智能的随机优化算法。但与其它进化计算方法相比， PSO算法具有收敛速度快、设置参数少、程序实现异常简洁、具有深刻的智能背景等特点，既适合科学研究，又特别适合工程应用。因此PSO算法一经提出就引起了国际上相关领域众多学者的关注和研究。目前PSO 算法已广泛应用于函数寻优、神经网络训练、模式分类、模糊系统控制以及其它的应用领域。但是，由于PSO算法在优化过程中所有粒子都向最优解方向飞去，所以粒子趋向同一化，群体的多样性逐渐丧失，即存在早收敛问题，因而也就难以获得较好的优化结果。 为了克服这一缺点，近年来出现了不少改进的PSO算法。如：Shi Y.(1998)提出的带惯性权重的PSO算法、Angeline P.（1999）提出
篇一：基于粒子群算法的电力系统无功优化开题报告 附件 基于粒子群算法的电力系统无功优化 一、选题背景及其意义 电力系统无功优化，一般是指在满足电网的安全运行约束的前提下，通过变压器分接头的合理选择，发电机机端电压的理想配合以及无功补偿的优化配置等措施，使系统无功潮流达到最优分布，减少有功损耗。它对于提高系统电压质量，减少有功损耗，保证系统安全、可靠和经济运行有重要意义。 在我国，随着电力系统的迅速发展，电网规模越来越大，结构也日趋复杂，使系统的稳定性问题更加突出，而单凭经验进行无功配置已不能适应现代系统的需要，需要在现代电子与计算机技术的基础上，研究建立无功优化的数学模型、提出相应的算法，在电网的规划建设和实际调度运行中实现无功优化，并在满足电网安全运行条件下，减少有功损耗和投资。同时对于电力公司而言，减少有功网损就是增加利润，在电力公司由粗放型经营向集约化经营方式转变的今天，进行无功优化就显的更加必要和重要了。本论文通过分析电力系统无功优化中各类主要影响因素，结合当前电力系统无功优化主要的研究方法，建立电力系统无功优化的数学模型。采用智能优化算法——粒子群算法求解数学模型，选取实际的电网作为计算算例，得到无功优化的结果，并与优化前的无功配置方案进行对比，分析粒子群算法在无功优化应用中的优缺点，为今后实际电网的无功规划提供一定的参考价值。 二、国内外研究动态 早在六十年代，电力系统无功优化就受到了国内外学者的关注，经过多年的研究，已经取得了大量成果。总的来看，电力系统的无功优化问题可以分为两类：一类是对系统稳态运行情况下的运行状态进行优化，目的是进行无功平衡，以提高运行电压水平、降低损耗；另一类是研究系统在扰动情况下的电压稳定性。前者根据所研究问题的时间跨度、目标函数和解决方法又可以进一步细分。本文的研究内容为稳定运行时的无功优化及电压控制，不涉及暂态和动态情况下的电压稳定性。 电力系统无功优化问题有离散性、非线性、大规模、收敛性依赖于初值的特点，针对无功优化的特点，近年来许多专家学者就此做了大量的研究，并将各种优化算法应用于这一领域，目前已取得了许多成果。文献[3]提出将一种改进的 tabu 搜索算法用于电力系统无功优化，考虑有功损耗费用和补偿费用，使得总费用最小。在一般的 tabu 搜索算法的基础上，对搜索步长、禁忌表、不同循环点的选择以及算法终止判据等问题做了改进，更容易跳出局部最优解，保证可以搜索整个可行域，从而得到全局最优解的可能性更大。与线性规划算法相比具有更强的全局寻优能力。文献[4]运用改进的模拟退火算法求解高中压配电网的无功优化问题，采用了记忆指导搜索方法来加快搜索速度。采用模拟法来进行局部寻优以增加获得全局最优解的可能性，从而能够以较大概率获得全局最优解，收敛稳定性较好。文献[5]提出了一种应用于电力系统无功规划优化问题的改进遗传算法，该算法采用十进制整数与实数混合的编码方式，在选择算子中使用最优保存策略，并对群体规模的选取加以改进。为了使解更快进入可行解域，作者提出了利用专家知识辅助搜寻可行解，并提出罚因子自适应调整，大大加快了算法的收敛性。 相对模拟退火算法、禁忌搜索算法和遗传算法而言，粒子群算法是模拟鸟群觅食的一种新型算法。粒子群优化(pso) 最初是处理连续优化问题的, 目前其应用已扩展到组合优化问题[6]。由于其简单、有效的特点, pso 已经得到了众多学者的重视和研究，并在电力系统优化中得到广泛应用。文献[7]对粒子群算法经行了改进，用于变电站的选址；文献[8]采用粒子群算法优化分布式电源的接入位置和容量；文献[9]利用改进的粒子群算法进行网络重构的优化。从以上文献的研究可以看出，粒子群算法在求解优化问题时有其自身特有的诸多优点。