目录
第1章绪论 (1)
1.1 研究背景及意义 (1)
1.2 国内外研究现状 (1)
1.3 研究内容及主要工作 (4)
1.4 本文的结构安排 (4)
第2章基础知识 (6)
2.1 特征选择 (6)
2.1.1 特征选择的基本概念 (6)
2.1.2 特征选择的搜索方向 (7)
2.1.3 特征选择的搜索策略 (8)
2.1.4 特征选择的常见方法 (8)
2.2 遗传算法 (9)
2.2.1 基本思想 (9)
2.2.2 关键问题 (9)
2.2.3 主要步骤 (10)
2.3 粒子群算法 (11)
2.3.1 基本思想 (11)
2.3.2 相关概念及参数 (11)
2.3.3 关键问题 (12)
2.3.4 主要步骤 (13)
2.4 粗糙集 (14)
第3章基于遗传算法的特征选择问题 (16)
3.1 基于相对分类信息熵的遗传特征选择方法 (16)
3.1.1 相对分类信息熵 (16)
3.1.2 算法描述 (18)
3.1.3 实验结果及分析 (20)
3.2 基于不一致率的遗传特征选择方法 (23)
3.2.1 不一致性度量 (24)
3.2.2 算法描述 (26)
3.2.3 实验结果及分析 (27)
3.3 连续值数据集上的应用 (29)
第4章基于粒子群算法的特征选择问题 (30)
4.1 基于相对分类信息熵的粒子群特征选择方法 (30)
4.1.1 二进制粒子群算法 (30)
4.1.2 算法描述 (31)
4.1.3 实验结果及分析 (31)
4.2 基于不一致率的粒子群特征选择方法 (35)
4.2.1 算法描述 (36)
4.2.2 实验结果及分析 (36)
4.3 连续值数据集上的应用 (40)
第5章工作总结与展望 (42)
5.1 工作总结 (42)
5.2 展望 (42)
参考文献 (44)
致谢 (47)
攻读学位期间取得的科研成果 (48)
湖南大学 硕士学位论文 差分进化算法及应用研究 姓名：吴亮红 申请学位级别：硕士 专业：控制理论与控制工程指导教师：王耀南 20070310
硕士学位论文 摘要 论文首先介绍了智能优化算法的产生对现代优化技术的重要影响，阐述了智能优化算法的研究和发展对现代优化技术和工程实践应用的必要性，归纳总结了智能优化算法的主要特点，简要介绍了智能优化算法的主要研究内容及应用领域。 对差分进化算法的原理进行了详细的介绍，给出了差分进化算法的伪代码。针对混合整数非线性规划问题的特点，在差分进化算法的变异操作中加入取整运算，提出了一种适合于求解各种混合整数非线性规划问题的改进差分进化算法。同时，采用时变交叉概率因子的方法以提高算法的全局搜索能力和收敛速率。用四个典型测试函数进行了实验研究，实验结果表明，改进的差分进化算法用于求解混合整数非线性规划问题时收敛速度快，精度高，鲁棒性强。 采用非固定多段映射罚函数法处理问题的约束条件，提出了一种用改进差分进化算法求解非线性约束优化问题的新方法。结合差分进化算法两种不同变异方式的特点，引入模拟退火策略，使算法在搜索的初始阶段有较强的全局搜索能力，而在后阶段有较强的局部搜索能力，以提高算法的全局收敛性和收敛速率。用几个典型Benchmarks函数进行了测试，实验结果表明，该方法全局搜索能力强，鲁棒性好，精度高，收敛速度快，是一种求解非线性约束优化问题的有效方法。 为保持所求得的多目标优化问题Pareto最优解的多样性，提出了一种精英保留和根据目标函数值进行排序的多目标优化差分进化算法。对排序策略中目标函数的选择方式进行了分析和比较，并提出了一种确定进化过程中求得的精英解是否进入Pareto最优解集的阈值确定方法。用多个经典测试函数进行了实验分析，并与NSGA-Ⅱ算法进行了比较。实验结果表明，本文方法收敛到问题的Pareto前沿效果良好，获得解的散布范围广，能有效保持所求得的Pareto最优解的多样性。 提出了一种新的基于群体适应度方差自适应二次变异的差分进化算法。该算法在运行过程中根据群体适应度方差的大小，增加一种新的变异算子对最优个体和部分其它个体同时进行变异操作，以提高种群多样性，增强差分进化算法跳出局部最优解的能力。对几种典型Benchmarks函数进行了测试，实验结果表明，该方法能有效避免早熟收敛，显著提高算法的全局搜索能力。提出了将该改进算法用来整定不完全微分PID控制器最优或近似最优参数的新方法。为克服频域中常用的积分性能指标如IAE，ISE和ITSE的不足，提出了一种新的时域性能指标对控制器性能进行测试和评价。用三个典型的控制系统对提出的ASMDE-PID控制器进行了测试。实验结果表明，该方法实现容易，收敛性能稳定，计算效率高。与ZN，GA和ASA方法相比，DE在提高系统单位阶跃响应性能方面效率更高，鲁棒性更强。 为了提高差分进化算法的全局搜索能力和收敛速率，提出了一种双群体伪并行差分
目录 第1章绪论 (1) 1.1 研究背景及意义 (1) 1.2 国内外研究现状 (1) 1.3 研究内容及主要工作 (4) 1.4 本文的结构安排 (4) 第2章基础知识 (6) 2.1 特征选择 (6) 2.1.1 特征选择的基本概念 (6) 2.1.2 特征选择的搜索方向 (7) 2.1.3 特征选择的搜索策略 (8) 2.1.4 特征选择的常见方法 (8) 2.2 遗传算法 (9) 2.2.1 基本思想 (9) 2.2.2 关键问题 (9) 2.2.3 主要步骤 (10) 2.3 粒子群算法 (11) 2.3.1 基本思想 (11) 2.3.2 相关概念及参数 (11) 2.3.3 关键问题 (12) 2.3.4 主要步骤 (13) 2.4 粗糙集 (14) 第3章基于遗传算法的特征选择问题 (16) 3.1 基于相对分类信息熵的遗传特征选择方法 (16) 3.1.1 相对分类信息熵 (16) 3.1.2 算法描述 (18) 3.1.3 实验结果及分析 (20)
3.2 基于不一致率的遗传特征选择方法 (23) 3.2.1 不一致性度量 (24) 3.2.2 算法描述 (26) 3.2.3 实验结果及分析 (27) 3.3 连续值数据集上的应用 (29) 第4章基于粒子群算法的特征选择问题 (30) 4.1 基于相对分类信息熵的粒子群特征选择方法 (30) 4.1.1 二进制粒子群算法 (30) 4.1.2 算法描述 (31) 4.1.3 实验结果及分析 (31) 4.2 基于不一致率的粒子群特征选择方法 (35) 4.2.1 算法描述 (36) 4.2.2 实验结果及分析 (36) 4.3 连续值数据集上的应用 (40) 第5章工作总结与展望 (42) 5.1 工作总结 (42) 5.2 展望 (42) 参考文献 (44) 致谢 (47) 攻读学位期间取得的科研成果 (48)
进化计算综述 1.什么是进化计算 在计算机科学领域，进化计算（Evolutionary Computation）是人工智能（Artificial Intelligence），进一步说是智能计算（Computational Intelligence）中涉及到组合优化问题的一个子域。其算法是受生物进化过程中“优胜劣汰”的自然选择机制和遗传信息的传递规律的影响，通过程序迭代模拟这一过程，把要解决的问题看作环境，在一些可能的解组成的种群中，通过自然演化寻求最优解。 2.进化计算的起源 运用达尔文理论解决问题的思想起源于20世纪50年代。 20世纪60年代，这一想法在三个地方分别被发展起来。美国的Lawrence J. Fogel提出了进化编程（Evolutionary programming），而来自美国Michigan 大学的John Henry Holland则借鉴了达尔文的生物进化论和孟德尔的遗传定律的基本思想，并将其进行提取、简化与抽象提出了遗传算法（Genetic algorithms）。在德国，Ingo Rechenberg 和Hans-Paul Schwefel提出了进化策略（Evolution strategies）。 这些理论大约独自发展了15年。在80年代之前，并没有引起人们太大的关注，因为它本身还不够成熟，而且受到了当时计算机容量小、运算速度慢的限制，并没有发展出实际的应用成果。
到了20世纪90年代初，遗传编程（Genetic programming）这一分支也被提出，进化计算作为一个学科开始正式出现。四个分支交流频繁，取长补短，并融合出了新的进化算法，促进了进化计算的巨大发展。 Nils Aall Barricelli在20世纪六十年代开始进行用进化算法和人工生命模拟进化的工作。Alex Fraser发表的一系列关于模拟人工选择的论文大大发展了这一工作。 [1]Ingo Rechenberg在上世纪60 年代和70 年代初用进化策略来解决复杂的工程问题的工作使人工进化成为广泛认可的优化方法。[2]特别是John Holland的作品让遗传算法变得流行起来。[3]随着学术研究兴趣的增长，计算机能力的急剧增加使包括自动演化的计算机程序等实际的应用程序成为现实。[4]比起人类设计的软件，进化算法可以更有效地解决多维的问题，优化系统的设计。[5] 3.进化计算的分支 进化计算的主要分支有：遗传算法GA ，遗传编程GP、进化策略ES、进化编程EP。下面将对这4个分支依次做简要的介绍。 1遗传算法（Genetic Algorithms）： 遗传算法是一类通过模拟生物界自然选择和自然遗传机制的随机化搜索算法，由美国John HenryHoland教授于1975年在他的专著《Adaptation in Natural and Artificial Systems》中首次提出。[6]它是利用某种编码技术作用于称为染色体的二进制数串，其基本思想是模拟由这些串组成的种群的进化过程，通过有组织地然而是随机地信息交换来重新组合那些适应性好的串。遗传算法对求解问题的本身一无所知，它所需要的仅是对算法所产生的每个染
基本差分进化算法 基本模拟退火算法概述 DE 算法是一种基于群体进化的算法，其本质是一种基于实数编码的具有保优思想的贪婪遗传算法。由于DE 算法操作简单，寻优能力强，自提出以来引起了国内外学者的高度关注，目前已在电力系统优化调度、配网重构等领域得到了应用。 1、算法原理 DE 算法首先在N 维可行解空间随机生成初始种群P 0001[,,]N =X x x L ，其中000T 1[,,]i i iN x x =x L ，p N 为DE 种群规模。DE 算法的核心思想在于采取变异和交叉操 作生成试验种群，然后对试验种群进行适应度评估，再通过贪婪思想的选择机制，将原种群和试验种群进行一对一比较，择优进入下一代。 基本DE 算法主要包括变异、交叉和选择三个操作。首先，在种群中随机选取三个个体，进行变异操作： 1123()t t t t i r r r F +=+-v x x x 其中1t i +v 表示变异后得到的种群，t 表示种群代数，F 为缩放因子，一般取(0,2]，它的大小可以决定种群分布情况，使种群在全局范围内进行搜索；1t r x 、2t r x 、3t r x 为从种群中随机抽取的三个不同的个体。 然后，将变异种群和原种群进行交叉操作： 1,R 1 ,,R () or () () and ()t i j t i j t i j v rand j C j randn i u x rand j C j randn i ++?≤=?=?>≠?? 其中t 1,i j u +表示交叉后得到的种群，()rand j 为[0,1]之间的随机数，j 表示个体的第j 个分量，R C 为交叉概率，()randn i 为[1,,]N L 之间的随机量，用于保证新个体至少有一维分量由变异个体贡献。 最后，DE 算法通过贪婪选择模式，从原种群和试验种群中选择适应度更高的个体进入下一代： 11t 11 ()() ()()t t t i i i i t t t i i i f f f f ++++?<=?≥?u u x x x u x 1()t i f +u 、()t i f x 分别为1t i +u 和t i x 的适应度。当试验个体1t i +u 的适应度优于t i x 时，
龙源期刊网 https://www.doczj.com/doc/0411843511.html, 基于TSP的改进差分进化算法 作者：朱宇航伏楠 来源：《硅谷》2012年第17期 摘要: 针对TSP问题,提出一种改进的差分进化算法:利用贪心算法产生初始种群,定义特有的编码匹配函数进行变异操作,排序法修复变异个体,并采用顺序交叉,在变异操作之后,加入新的选择机制,防止交叉操作破坏变异出的优良个体,实验结果表明改进后的差分进化算法能够高效地解决TSP问题,体现良好的优化性能。 关键词: 差分进化算法;TSP;进化算法 0 引言 差分进化算法(DE:Differential Evolution)是一种模拟自然进化法则的仿生智能计算方法,在解决复杂的全局优化问题方面,DE的性能更加优秀,过程也更为简单,受控参数少[1],但由于DE 特有的差分操作的限制,DE被成功应用的领域多集中在连续优化领域,在离散优化领域的应用还相对较少[2]。 TSP(旅行商问题)作为典型的离散优化问题,是解决很多实际问题的最终转化形式,同时也是著名的NP难题,在短时间内求出其最优解非常困难,现有解法[3-4]在求解中都各有缺点.因此,研究将DE经过必要的改进后应用于TSP的求解具有重要意义。 1 改进DE算法 1.1 编码及匹配函数 适应度定义为:负的路径长度,使得路径长度越短,适应度值越大。 1.2 贪婪初始化 为提高初始种群的质量,采用贪婪的初始化方法.对于初始种群的每个个体,产生方法如下: step1:初始化待走城市列表List为包含所有城市的列表; step2:随机选择一个城市A作为起点,并将此点作为当前城市T,从List中移除; step3:从List中选择距离城市T最近的城市作为新的当前城市T,并将T从List中移除; step4:判断List是否为空,若是,则结束;若否,则转step3。
Bioprocess 生物过程, 2018, 8(1), 11-19 Published Online March 2018 in Hans. https://www.doczj.com/doc/0411843511.html,/journal/bp https://https://www.doczj.com/doc/0411843511.html,/10.12677/bp.2018.81002 Development of Evolutionary Dynamics and Its Research and Application Progress Yinding Zhang1, Ziyan Zhang2, Junqiu Zhang1, Yitian Li1, Yujie Hu1, Aziya1, Xiang Gao1* 1College of Mathematical Sciences, Ocean University of China, Qingdao Shandong 2College of Environmental Science, Ocean University of China, Qingdao Shandong Received: Feb. 28th, 2018; accepted: Mar. 14th, 2018; published: Mar. 21st, 2018 Abstract Evolution is one of the basic patterns in the creation and development of things, characterized by changed inheritances. Evolutionary dynamics is a science that explores the mathematical prin-ciples of biological evolution. It uses mathematics to describe processes, such as the process of propagation, selection, mutation, random drift and space movement in evolution units, to study the conditions, directions and processes of evolution. Evolutionary dynamics originated from the study of biological evolution, not only can explain the mode of biological evolution, but also can successfully explain some economic, social and cultural evolution. This paper introduces the de-velopment of evolutionary dynamics and reviews the research and application of evolutionary dynamics in recent 5 years. Keywords Evolutionary Dynamics, Evolutionism, Biomathematics, Development, Application 进化动力学的发展及其研究与应用进展 张寅丁1，张子琰2，张君秋1，李怡甜1，胡玉洁1，阿兹娅1，高翔1* 1中国海洋大学数学科学学院，山东青岛 2中国海洋大学环境科学学院，山东青岛 收稿日期：2018年2月28日；录用日期：2018年3月14日；发布日期：2018年3月21日 摘要 进化是事物产生与发展的基本模式之一，其特征是有改变的继承。进化动力学是探讨生物进化的数学原*通讯作者。
差分进化算法（DE）[1]是Storn 和Price 在1995 年提出的一种基于种群差异的进化算法，DE是一种随机的并行搜索算法。差分进化计算和其他进化计算算法一样，都是基于群体智能理论的优化算法，利用群体内个体之间的合作与竞争产生的群体智能模式来指导优化搜索的进行。与其他进化计算不同的是，差分进化计算保留了基于种群的全局搜索策略，采用实数编码、基于差分的简单变异操作和一对一的竞争生存策略，降低了进化操作的复杂性。差分进化计算特有的进化操作使得其具有较强的全局收敛能力和鲁棒性，非常适合求解一些复杂环境中的优化问题。 最初试图使用向量差进行向量种群的混洗，以此来解决切比雪夫多项式适应性问题。DE 通过种群内个体间的合作与竞争来实现对优化问题的求解，其本质上是一种基于实数编码的具有保优思想的进化算法。该算法实现技术简单，在对各种测试问题的实验中表现优异，已经成为近年来进化算法研究中的热点之一。 差分进化算法基本原理 基本的差分进化算法是基于候选方案种群的算法，在整个搜索空间内进行方案的搜索，通过使用简单的数学公式对种群中的现有方案进行组合实现的。如果新的方案有所改进，则被接受，否则被丢弃，重复这一过程直到找到满意的方案。 设 f 是最小化适应度函数，适应度函数以实数向量的形式取一个候选方案作为参数，给出一个实数数值作为候选方案的输出适应值。其目的是在搜索空间的所有方案p 中找到m 使得f(m) ≤f(p)。最大化是找到一个m 使得f(m) ≥f(p)。 设X=(x1, x2,…, xn)∈?n是种群中一个个体，基本的差分进化算法如下所述： ?在搜索空间中随机地初始化所有的个体。 ?重复如下操作直到满足终止条件（最大迭代数或者找到满足适应值的个体） o 对于种群中的每个个体： ●随机地从种群中选择三个彼此不同的个体a，b 和c。 ●选择一个随机索引R ∈{1, ..., n}，n 是被优化问题的维数。 ●通过对每个i ∈{1, ..., n}进行如下的迭代计算可能的新个体Y = [y1, ..., yn] 生成一 个随机数ri~U(0,1)； ●如果(i=R)或者(ri
特征选择方法综述 控制与决策2012.2 问题的提出 特征选择框架基于搜索策略划分特征选择方法基于评价准则划分特征选择方法结论 一、问题的提出特征选择是从一组特征中挑选出一些最有效的特征以降低特征空间维数的过程，是模式识别的关键问题之一。对于模式识别系统，一个好的学习样本是训练分类器的关键，样本中是否含有不相关或冗余信息直接影响着分类器的性能。因此研究有效的特征选择方法至关重要。 特征选择算法的目的在于选择全体特征的一个较少特征集合，用以对原始数据进行有效表达按照特征关系度量划分，可分为依赖基尼指数、欧氏距离、信息熵。 、特征选择框架 由于子集搜索是一个比较费时的步骤，一些学者基于相关和冗余分析，给出了下面一种特征选择框架，避免了子集搜索，可以高效快速地寻找最优子集。 从特征选择的基本框架看出，特征选择方法中有4 个基本步骤：候选特征子集的生成（搜索策略）、评价准则、停止准则和验证方法。目前对特征选择方法的研究主要集中于搜索策略和评价准则。因而，本文从搜索策略和评价准则两个角度对特征选择方法进行分类。 三、基于搜索策略划分特征选择方法 基本的搜索策略按照特征子集的形成过程，形成的特征选择方法如下：
图3 基于搜索策略划分特征选择方法 其中，全局搜索如分支定界法，存在问题： 1）很难确定优化特征子集的数目； 2）满足单调性的可分性判据难以设计； 3）处理高维多类问题时，算法的时间复杂度较高。 随机搜索法如模拟退火、遗传算法、禁忌搜索算法等，存在问题： 1）具有较高的不确定性，只有当总循环次数较大时，才可能找到较好的结果。 2）在随机搜索策略中，可能需对一些参数进行设置，参数选择的合适与否对最终结果的好坏起着很大的作用。 启发式搜索如SFS、SBS、SFFS、SFBS等，存在问题： 1）虽然效率高，但是它以牺牲全局最优为代价。 每种搜索策略都有各自的优缺点，在实际应用过程中，根据具体环境和准则函数来寻找一个最佳的平衡点。例如，特征数较少，可采用全局最优搜索策略；若不要求全局最优，但要求计算速度快，可采用启发式策略；若需要高性能的子集，而不介意计算时间，则可采用随机搜索策略。 四、基于评价准则划分特征选择方法
《演化计算》课程报告
浅谈演化计算及其应用与发展 ——以水利学科为例 摘要：通过《演化计算》课程的学习，在阅读文献的基础上，本报告简述了演化计算的基本思想、特点、主要分支及设计基本原则和方法，并例举了演化计算在水利学科中的应用，对演化计算的应用作了进一步展望。 关键词：演化计算；水利工程；智能计算 1.引言 近年来，智能计算在人类生活中扮演着越来越重要的角色。一些新的研究方向如演化计算(Evolutionary Computation)、人工神经网络和模糊系统等，由于它 们通过模拟某一自然现象或过程以使问题得到解决，具有适于高度并行及自组织、自适应、自学习等特征，因而正受到越来越多的关注。 演化算法是一类统计优化算法，它们是受自然界演化过程特别是演化过程中生物个体对环境表现出的自适应性启发而产生的一类优化技术。大自然一直是人类解决各种问题获得灵感的思想源泉，生物进化论揭示了生物长期自然选择的进化发展规律，认为生物进化主要有三个原因：遗传、变异和选择。自然界中个体对环境的自适应性主要表现在基因遗传和个体对环境的适应能力上。尽管物竞天择、优胜劣汰的原则是达尔文于几个世纪前提出的，但它今天仍被普遍认为在许多生物领域是有效的，而且这个原则还在不断被扩充与细化。 演化算法采用简单的编码技术来表示各种复杂的结构，它将问题的可行解进行编码，这些已编码的解被作为群体中的个体(染色体)；将问题的目标函数转换为个体对环境的适应性；模拟遗传学中的杂交(crossover)、变异(mutation)、复制(reproduction)来设计遗传算子；用优胜劣汰的自然选择法则来指导学习和确定搜索方向。简而言之，演化算法不用了解问题的全部特征，就可以通过体现进化机制的演化过程完成问题的求解。 现如今，科学技术和工程应用领域具有挑战性的实践问题大都具有高度的计算复杂性的特点，这些是使传统方法失效的致命障碍，而演化算法正好可以克服
1．差分进化算法背景 差分进化(Differential Evolution，DE)是启发式优化算法的一种，它是基于群体差异的启发式随机搜索算法，该算法是Raincr Stom和Kenneth Price为求解切比雪夫多项式而提出的。差分进化算法具有原理简单、受控参数少、鲁棒性强等特点。近年来，DE在约束优化计算、聚类优化计算、非线性优化控制、神经网络优化、滤波器设计、阵列天线方向图综合及其它方面得到了广泛的应用。 差分算法的研究一直相当活跃，基于优胜劣汰自然选择的思想和简单的差分操作使差分算法在一定程度上具有自组织、自适应、自学习等特征。它的全局寻优能力和易于实施使其在诸多应用中取得成功。 2.差分进化算法简介 差分进化算法采用实数编码方式，其算法原理同遗传算法相似刚，主要包括变异、交叉和选择三个基本进化步骤。DE算法中的选择策略通常为锦标赛选择，而交叉操作方式与遗传算法也大体相同，但在变异操作方面使用了差分策略，即：利用种群中个体间的差分向量对个体进行扰动，实现个体的变异。与进化策略(Es)采用Gauss或Cauchy分布作为扰动向量的概率密度函数不同，DE使用的差分策略可根据种群内个体的分布自动调节差分向量(扰动向量)的大小，自适应好；DE 的变异方式，有效地利用了群体分布特性，提高了算法的搜索能力，避免了遗传算法中变异方式的不足。 3.差分进化算法适用情况 差分进化算法是一种随机的并行直接搜索算法，最初的设想是用于解决切比雪夫多项式问题，后来发现差分进化算法也是解决复杂优化问题的有效技术。它可以对非线性不可微连续空间的函数进行最小化。目前，差分进化算法的应用和研究主要集中于连续、单目标、无约束的确定性优化问题，但是，差分进化算法在多目标、有约束、离散和噪声等复杂环境下的优化也得到了一些进展。 4.基本DE算法 差分进化算法把种群中两个成员之间的加权差向量加到第三个成员上以产生新的参数向量，这一操作称为“变异”。然后，变异向量的参数与另外事先确
特征选择常用算法综述 一.什么是特征选择(Featureselection ) 特征选择也叫特征子集选择 ( FSS , Feature SubsetSelection ) 。是指从已有的M个特征(Feature)中选择N个特征使得系统的特定指标最优化。 需要区分特征选择与特征提取。特征提取 ( Feature extraction )是指利用已有的特征计算出一个抽象程度更高的特征集，也指计算得到某个特征的算法。 特征提取与特征选择都能降低特征集的维度。 评价函数 ( Objective Function )，用于评价一个特征子集的好坏的指标。这里用符号J ( Y )来表示评价函数，其中Y是一个特征集，J( Y )越大表示特征集Y 越好。 评价函数根据其实现原理又分为2类，所谓的Filter和Wrapper 。 Filter（筛选器）：通过分析特征子集内部的信息来衡量特征子集的好坏，比如特征间相互依赖的程度等。Filter实质上属于一种无导师学习算法。 Wrapper（封装器）：这类评价函数是一个分类器，采用特定特征子集对样本集进行分类，根据分类的结果来衡量该特征子集的好坏。Wrapper实质上是一种有导师学习算法。 二.为什么要进行特征选择？ 获取某些特征所需的计算量可能很大，因此倾向于选择较小的特征集特征间的相关性，比如特征A完全依赖于特征B，如果我们已经将特征B选入特征集，那么特征A 是否还有必要选入特征集？我认为是不必的。特征集越大，分类器就越复杂，其后果就是推广能力（generalization capability）下降。选择较小的特征集会降低复杂度，可能会提高系统的推广能力。Less is More ! 三.特征选择算法分类 精确的解决特征子集选择问题是一个指数级的问题。常见特征选择算法可以归为下面3类： 第一类：指数算法 ( Exponential algorithms ) 这类算法对特征空间进行穷举搜索（当然也会采用剪枝等优化），搜索出来的特征集对于样本集是最优的。这类算法的时间复杂度是指数级的。
基本差分进化算法 1基本差分进化算法的基本思想 DE 算法是一种基于实数编码的用于优化函数最小值的进化算法，是在求解有关切比雪夫多项式的问题时提出来的，是基于群体差异的进化计算方法。它的整体结构类似于遗传算法，一样都存在变异、交叉和选择操作，但是它又不同于遗传算法。与基本遗传算法的主要区别在于变异操作上，如： 1、传统的遗传算法采用二进制编码，而差分进化算法采用实数编码。 2、在遗传算法过两个父代个体的交叉产生两个子个体，而在差分进化算法过第两个或几个个体的差分矢量做扰动来产生新个体。 3、在传统的遗传算法中，子代个体以一定概率取代其父代个体，而在差分进化中新产生的个体只有当它比种群中的个体优良时才替换种群中的个体。 变异是DE 算法的主要操作，它是基于群体的差异向量来修正各个体的值，其基本原理是通过把种群中两个个体的向量差加权后，按一定的规划与第三个个体求和来产生新个体，然后将新个体与当代种群中某个预先决定的个体相比较，如果新个体的目标值优于与之相比较的个体的目标值，则在下一代中就用新个体取代，否则，旧个体仍保存下来。 差分进化算法其基本思想是：首先由父代个体间的变异操作构成变异个体；接着按一定的概率，父代个体与变异个体之间进行交叉操作，生成一试验个体；然后在父代个体与试验个体之间根据适应度的大小进行贪婪选择操作，保留较优者，实现种群的进化。 2 差分进化算法的基本操作 设当前进化代数为t ，群体规模为NP ，空间维数为D ，当前种群为 {}12(),, ,t t t NP X t x x x =，()12,, ,T t t t t i i i iD x x x x =为种群中的第i 个个体。在进化过程 中，对于每个个体t i x 依次进行下面三种操作。 2.1 变异操作 对于每个个体t i x 按下式产生变异个体12(,, ,)t t t t T i i i iD v v v v =，则 123() 1,2, ,D t t t t ij r j r j r j v x F x x j =+-= (1) 其中111112(,,,)t t t t T r r r r D x x x x =，222212(,,,)t t t t T r r r r D x x x x =和333312(,, ,)t t t t T r r r r D x x x x =是群 体中随机选择的三个个体，并且123r r r i ≠≠≠；1t r j x ，2t r j x 和3t r j x 分别为个体1r ，2r 和3r 的第j 维分量；F 为变异因子，一般取值于[0,2]。这样就得到了变异个体t i v 。
进化计算论文 ----遗传算法的过去、现在和未来 学号0813060211 姓名王欢 专业管理科学
1.引言 遗传算法（Genetic Algorithm）是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法，它最初由美国Michigan大学J.Holland教授于1975年首先提出来的，并出版了颇有影响的专著《Adaptation in Natural and Artificial Systems》，GA这个名称才逐渐为人所知，J.Holland教授所提出的GA通常为简单遗传算法（SGA）。 本文对进化计算这一新兴学科作一综述，并对未来的研究方向进行展望。论文的主要内容为:首先，概述了遗传算法的产生与发展；然后主要介绍了进化计算的国内外研究现状；最后是遗传算法未来的应用展望。 2.遗传算法的产生和发展 大自然是人类获得灵感的源泉。将生物界所提供的答案应用于工程问题的求解被实践证明是一个成功的有着辉煌前景的方法。进化的历史告诉我们，生物的进化是一个漫长而复杂的过程，在这个过程中，生物从低级、简单的状态向高级、复杂的状态演变。现在，人们已经认识到进化不仅仅是生命科学的范畴，早在二十世纪六十年代初，美国Michigan 大学的J. H. Holland 教授就意识到了生物进化过程中蕴含着的朴素的优化思想，他借鉴了达尔文的生物进化论和孟德尔的遗传定律的基本思想，并将其进行提取、简化与抽象，提出了第一个进化计算算法－遗传算法。1975 年出版了他的专著《Adaptation in Natural and Artificial Systems》[2]，标志着遗传算法的正式诞生。在这本专著中，他称之为“Genetic Plans”，详细阐述了遗传算法的基本思想和结构框架。 "Genetic Algorithms"一词是首先出现在J.D.Bagley的博士论文中，他研究了遗传算法在博弈论(六子棋)中的参数搜索，这是遗传算法最早的应用。 “遗传”与“算法”的结合体现了生物科学与计算机科学的相互渗透，相互融合。它借鉴生物的进化思想，通过计算机模拟物种繁殖过程中父代遗传基因的重新组合与“优胜劣汰”的自然选择机制联合作用，用来解决科学与工程中的复杂问题。 遗传算法产生后，在八十年代以前，并没有引起人们的关注，一方面是因为它本身还不成熟；另一方面，当时的计算机容量小，计算速度慢，也使得需要较大计算量的遗传算法难以实际应用。但Holland 和他的学生一直在进行坚持不懈的努力，进行了理论研究，并开拓其应用领域。直至现在，仍被认为是遗传算法理论基础的模式定理（Schema Theorem）就是在这个阶段提出的，它揭示了遗传算法的内部机理和解释了遗传算法的优化能力。 进入八十年代，遗传算法迎来了兴盛发展时期，无论是理论还是应用都成了研究热点。尤其是应用研究显得格外活跃，给遗传算法注入了新的活力。研究工作主要在以下几个方面开展。 (1)．遗传算法的基本理论 由于遗传算法是一种启发式的有向随机搜索算法，在进化过程中是否收敛到全局最优解成为其应用于实际问题是否成功的关键。然而，Holland 的模式定理并没有从理论上回答遗传算法的全局优化性，它只是研究了群体中部分特征模式的样本数目随进化代数的变化规律。近年来，关于遗传算法的全局收敛性证明，许多学者进行了理论上的研究，取得了一定的成果 除了收敛性的证明，遗传算法的控制参数选取也是一个极其重要的理论问题，因为控制参数直接影响着遗传算法的优化效率。但控制参数的选择与使用的遗传算子和具体应用问题
遗传算法( GA , Genetic Algorithm ) ，也称进化算法。遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。 一.进化论知识 作为遗传算法生物背景的介绍，下面内容了解即可： 种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。 个体：组成种群的单个生物。 基因 ( Gene ) ：一个遗传因子。 染色体 ( Chromosome )：包含一组的基因。 生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。 遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。 简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。 二.遗传算法思想 借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。 举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取）；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中
差分进化算法-入门
基本差分进化算法 1基本差分进化算法的基本思想 DE 算法是一种基于实数编码的用于优化函数最小值的进化算法，是在求解有关切比雪夫多项式的问题时提出来的，是基于群体差异的进化计算方法。它的整体结构类似于遗传算法，一样都存在变异、交叉和选择操作，但是它又不同于遗传算法。与基本遗传算法的主要区别在于变异操作上，如： 1、传统的遗传算法采用二进制编码，而差分进化算法采用实数编码。 2、在遗传算法中通过两个父代个体的交叉产生两个子个体，而在差分进化算法中通过第两个或几个个体的差分矢量做扰动来产生新个体。 3、在传统的遗传算法中，子代个体以一定概率取代其父代个体，而在差分进化中新产生的个体只有当它比种群中的个体优良时才替换种群中的个体。 变异是DE 算法的主要操作，它是基于群体的差异向量来修正各个体的值，其基本原理是通过把种群中两个个体的向量差加权后，按一定的规划与第三个个体求和来产生新个体，然后将新个体与当代种群中某个预先决定的个体相比较，如果新个体的目标值优于与之相比较的个体的目标值，则在下一代中就用新个体取代，否则，旧个体仍保存下来。 差分进化算法其基本思想是：首先由父代个体间的变异操作构成变异个体；接着按一定的概率，父代个体与变异个体之间进行交叉操作，生成一试验个体；然后在父代个体与试验个体之间根据适应度的大小进行贪婪选择操作，保留较优者，实现种群的进化。 2 差分进化算法的基本操作 设当前进化代数为t ，群体规模为NP ，空间维数为D ，当前种群为 {}1 2 (),,,t t t NP X t x x x =L ，() 1 2 ,,,T t t t t i i i iD x x x x =L 为种群中的第i 个个体。在进化过程 中，对于每个个体t i x 依次进行下面三种操作。 2.1 变异操作 对于每个个体t i x 按下式产生变异个体12(,,,)t t t t T i i i iD v v v v =L ，则 123() 1,2,,D t t t t ij r j r j r j v x F x x j =+-=L (1) 其中111112(,,,)t t t t T r r r r D x x x x =L ，222212(,,,)t t t t T r r r r D x x x x =L 和333312(,,,)t t t t T r r r r D x x x x =L 是群体中随机选择的三个个体，并且123r r r i ≠≠≠；1t r j x ，2t r j x 和3t r j x 分别为个体1r ，2r 和3r 的第j 维分量；F 为变异因子，一般取值于[0,2]。这样就得到了变异个体t i v 。
差分进化算法的算法设计研究 优化技术是一种以数学为基础，用于求解各种工程问题优化解的应用技术。而作为一种优化算法，差分进化算法因其有效性，在现代优化技术和工程实践应用中的作用越来越凸显。阐述了差分进化算法的基本概念，对差分简化算法的原理进行了介绍，对算法步骤进行了论述，并结合一物流配送路径优化例子，重点围绕该算法的设计进行分析，为差分进化算法的应用提供了思路。 标签：差分进化算法；算法设计；应用 0 引言 差分进化算法（Differential Evolution ，DE）是一种新兴的进化计算技术。它是由R.Storn 和K.Price于1995 年提出的，最初的设想是用于解决切比雪夫多项式问题，后来发现DE 也是解决复杂优化问题的有效技术。DE 特有的记忆能力使其可以动态跟踪当前的搜索情况，以调整其搜索策略，具有较强的全局收敛能力和鲁棒性，且不需要借助问题的特征信息，适于求解一些利用常规的数学规划方法所无法求解的复杂环境中的优化问题。近年来，DE 已经在许多领域得到了应用，譬如人工神经元网络、化工、电力、机械设计、信号处理、路径优化等。 1 差分进化算法概述 1.1 概念 差分进化算法是一种强调在全局中寻找最优解的技术，即通过种群内个体间的合作与竞争来实现对优化问题的求解，其本质是一种基于实数编码的具有保优思想的贪婪遗传算法，是一种以“适者生存”的理念来进行“优胜劣汰”的智能型算法，同时，差分进化算法在对问题的求解过程中采用了并行搜索的实现方式，通过该方式，大大减少了对问题求解过程中所需要的时间。差分进化算法通过非常简单的算法结构，趋于智能化的适应条件判断来进行新一代种群的生成，并最终通过适应条件判断来选出全局的最优方案。 1.2 优点 差分进化计算是一种具有鲁棒性的方法，能适应不同的环境不同的问题，而且在大多数情况下都能得到比较满意的有效解。它对问题的整个参数空间给出一种编码方案，而不是直接对问题的具体参数进行处理，不是从某个单一的初始点开始搜索，而是从一组初始点搜索。搜索中用到的是目标函数值的信息，可以不必用到目标函数的导数信息或与具体问题有关的特殊知识。因而进化算法具有广泛的应用性，高度的非线性，易修改性和可并行性。 2 差分进化算法的原理
基于改进差分进化算法的烧结矿配料优化 李凯斌, 卢建刚, 吴燕玲, 孙优贤 浙江大学工业控制技术国家重点实验室，杭州(310027） E-mail ：kbli@https://www.doczj.com/doc/0411843511.html, 摘 要：本文针对差分进化算法(differential evolution algorithm)存在的早熟问题和停滞现象作了改进并把改进的算法应用于烧结矿配料优化，用matlab 编程，仿真结果表明符合实际生产工艺要求，证明了改进的差分进化算法对烧结矿配料优化的有效性，从而指出了改进的差分进化算法在配料优化中的应用价值。 关键词：差分进化，停滞，烧结矿，配料优化 中图分类号：TF541 1．前言 钢铁企业中炼铁系统能耗占整个钢铁生产能耗的60% ～70% ，生产成本也占54% ～58%，所占比重都较大[1]。而烧结又是生产高炉炼铁精料的关键工序，烧结生产中，可以将不同原料，熔剂进行精确配料，以调整烧结矿化学成分，满足高炉对炉料成分的要求。烧结矿的优化配料是一项极其重要的工作，配料的目的在于：根据不同种类的铁矿石的化学成分，将原料矿进行合理的搭配，使混匀矿的化学成分符合烧结生产的要求。烧结矿配料优化从上个世纪80年代就开始研究，最初运用的是线性规划方法，优化对象也仅限于烧结矿的化学成分[2]。近几十年来，进化算法发展十分迅速，其应用也越来越广泛。其中由Rainer Storn 和Kenneth Price 提出的差分进化算法[3] (differential evolution ，简称DE)作为一种较新的全局优化算法，以其收敛性好，模型简单，容易实现，控制参数比较少得到广泛应用。在日本召开的第一届国际禁化优化计算竞赛(ICEO)中[6]，DE 表现突出，已经成为进化算法(EA)的一个重要分支。近几年来，DE 在约束优化计算，模糊控制器优化设计，神经网络优化，滤波器设计等方面得到了广泛应用。本文运用改进的差分进化算法对烧结矿配料进行优化。 2．差分进化算法 DE 作为一种较新的全局搜索算法与遗传算法，进化规划，进化策略不同，它是由父代个体差分矢量构成变异算子，然后按一定交叉概率，父代个体与变异个体进行交叉，生成试验体，最后在父代与试验体之间根据适应度选择个体。 2.1 差分进化原理 (1)选定种群规模N ，加权因子F ∈[0，2]最大进化代数MAX G ，杂交率CR ∈[0，1] (2)生成初始种群0W ：{w 0 i (i=1,2,…N)}，令进化代数G=0 (3)对G i w 执行(4)~(6)步，生成G+1代 (4)变异：1G i w +?=G i w +F(G j w -G k w )其中1≤j ，k ≤N ，且i ，j ，k 互异 (5)杂交：1G ij w +=1()() G ij G ij w random CR w random CR +?>??≤??? 其中G ij w 为第G 代第i 个个体的第j 个基因，CR 为 杂交率，random ∈[0，1] (6)选择：