7遗传算法与并行处理
第七章遗传算法与并行处理
7．1 遗传算法固有的并行性及其并行化的困难
自然界的进化过程本身就是一个并行过程。
遗传算法来源于自然进化，是对自然进化过程的机器模拟，很自然地也就继承了自然进化过程所固有的并行性。
Holland在最早提出遗传算法的理论和模型时就阐述了它所包含的固有的并行性。
遗传算法在并行实现上的因难：标准遗传算法在并行化的过程中会遇到通信量过大的困难。
必须对标准遗传算法进行改造，尽量减少巨量通信从而获得高效率。但是，任何对标准遗传算法的改造都必须以尽可能少地影响其进化效果为前提。
7．2 遗传算法的并行化途径
7．2．1 主从式（master-slave）并行化方法
当施行适应度评估时我们可以相互独立地评估群体内的每个个体的适应度，从通信量的角度来讲，这意味着在评估进程之间无需通信。
如单纯从减少通信量入手，也很自然地首先想到可将适应度评估等局部操作交给从处理器网络(slave)并行执行，而将选择、交叉等全局操作留给主处理器(master)串行执行、这就是所谓主从式并行化方法。
因为无论当哪个处理器运行主算法时都要有同步机制，所以像这样来开发存在于遗传算法中的并发性效率还是不高的。这是由于主进程忙而子进程空闲以及子进程忙而主进程空闲等情况(即负载不均衡)所造成的。
在上述算法的并行实现中，选择操作应该对整个群体的适应度有个全局的了解，这部分地决定了通信要求。主处理器必须知道每个个体的适应度值，所以必须支持多到一的通信。
放牧式(farming)：放牧式的思想或结构适用于有一组相互独立的工作可以并发完成的问题。控制进程，即运行在根节点上的牧场主(farmer)进程将任务划分为工作包，然后将它们“放牧”到一组相同的工人进程上。
用放牧式的思想来实现并行遗传算法是，让牧场主进程保存有整个群体的适应度值，它负责执行遗传操作，而适应度评估工作则交由工人网(workers)完成。接收到任务的第一个空闲的工人把它承担下来，完成它并将结果送回给牧场主。
通常，每个处理器上有一个工人进程，必须以一个合适的拓朴(如流水线)结构来连接处理器，并增加选路进程负责给空闲的工人进程送去工作包，给控制进程回送结果。
因为集中存储群体易造成瓶颈，所以任何基于放牧式的并行遗传算法的可扩放性都不好。
可能采用放牧式的理由如下：
(1)放牧式很通用且容易实现。
(2)如果个体评估需时相同，则放牧式效率很高且负载均衡
(3)可以用放牧式来模拟迁杉式和扩散式，
(4)放牧式将评估交给工人网络来完成，降低了对主处理器的内存要
求。
实现时，体系结构可以采用树而不是流水线，控制进程放在根节点上。
但是，这种方式也只有在交叉和评估比选择和传送费时很多的情况下才有效。因为它不是将进化过程并行化的“自然”方式，所以无法得到令人满意的结果。即使只用少量个处理器，放牧式的加速比也很小。
总的来说，主从式比较直观且容易实现，它并没有对标准遗传算法的框架结构作任何改动，所以不会影响其解决具体问题的效果。但是它不可避免地存在有负载不均衡的问题，而且通信量仍然很大，这使得它的效率不高，从而限制了它的实用性。
7．2．2 粗粒度模型
在自然界中，物种的群体是由一些个体组成。在处理器个数较少的情况下，我们可以将群体分为若干个子群体，每个子群体包含一些个体，每个子群体分配一个处理器，让它们互相独立地并行执行进化，每经过一定的间隔(即若干进化代)就把它们的最佳个体迁移到相邻的子群体中去。这种租粒度的并行遗传算法被称作迁移式(migration)或孤岛(islands)模型，可以描述如下：
begin
(1)产生一个初始群体并将它划分成p个子群体
(2)for i＝l to p par-do
(2.1)初始化
(2.2)评估第一代子群体的适应度
(2.3)while running do
(2.3.1)for j = 1 to n(generations) do
(a)select parents
(b)crossover
(c)mutation
(d)evaluate sub-population
endfor
(2.3.2) select emigrants /* 选择要迁移出去的个体 */
(2.3.3) do step (a) and (b) in parallel
(a)send emigrants /* 发送要迁移出
去的个体 */
(b)receive immigrants /* 接收迁入的个
体 */
endwhile
endfor
end
7．2．3 细粒度模型
如果并行系统中有足够多的处理器，则我们可以将每个个体分配一个处理器，让它们互相独立地并行执行进化，这样就能获得并行遗传算法的最大可能的并发性，相应地称这种模型为细粒度模型，它可以描述如下：
begin
（1）产生一个初始群体并将它分配到P=N个处理器上
（2）for i = 1 to N par-do
while running do
（2.1）do step（a）and（b）in parallel
（a）receive immigrants /* 接收迁入个体 */
（b）send self /* 发送本个体 */
（2.2）evaluate immigrants /* 对迁入N个体进行适应度评估
*/
（2.3）select mate from immigrants /* 从迁入的个体中选择对象 */
（2.4）reproduce /* 交叉 */
（2.5）mutate child /* 变异 */
（2.6）evaluate self and child /* 评估本个体及其后代 */
（2.7）replace self /* 用后代取代本个体*/
endwhile
endfor
end
在细粒度模型中，通常处理器被连接成平面网格（grid），每个处理器上仅分配一个个体，选择和交叉只在网格中相邻个体之间进行（根据一个预先定义的邻域结构来判定个体之间是否相邻）。这种细粒度的并行遗传算法被称作扩散式（diffusion）或邻域模型。
7．3 粗粒度的孤岛模型
在遗传算法的并行化过程中，为了减少通信量，可以降低全局评估和交叉的颇率，不是每代一次，而是迭代若干次以后再全局通信一次。
自然界并不服从随机交配原则，群体常常是广泛分布的，只有孤立地看各个子群体内部时才是随机支配的。
7．3．1 粗粒度模型的生物学依据
断续平衡理论的两个基本原则：孤立发生的物种形成（即当个体被从地理上与他们共同的祖先分开后新物种的迅速进化）和静态平衡即停滞（即在一个稳定的环境中达到平衡后，物种的基因组成维持不变）。
实际的观察导致如下假设：即若干个相互竞争的子群体，比起将所有个体都聚在一起的大群体，在搜索方面效率更高。
生物进化史表明，这种孤岛方式不仅没有妨碍正常的进化，反而促成了目前干变万他的适应性很强的物种群体。
粗粒度模型有几种变化形式：
可以对不同的子群体赋以不同的控制参数以获得能适应不同环境的进化过程。
在个体迁移方面也有一些不同的策略：（1）要迁移的个体可以选择适应度最佳的，（2）也可以只选择适应度不低于子群体内平均值的，（3）也可以是随机选择的。
两个有趣的结论：
一、随机选择迁出者所产生的效果至少不比任何其它方法差；
二、孤岛模型仅需最小的迁移率就足以获得比随机交配（即串行遗传算法）更好的性能。
7．3．3 孤岛模型在MIMD机器上的实现
Tanese等首先在—个超立方结构上实现了孤岛模型。n维的超立方是由N=2n 个处理器构成的n维二进制立方体。每个处理器作为立方体的节点拥有自己的CPU和局部内存，处理器间的通信方式是消息传递。每个处理器都和其它n个作为其邻域的处理器直接相连，这使得立方体中任何两个处理器间的距离最大为n。
结果：
（1）当保持群体大小不变，增加超立方的维数(即增加处理器个数)时我们发现，每个子群体迭代次数之和大致等同于一个串行实现要获得最佳结果所需的迭代次数。在恒定的迭代次数之内获得最大值，同时每代的
计算时间又相等，但又是分布在若干个处理器上，这意味着达到了线性加速比。
（2）采用不同的参数设置，所得结果与最佳设置下获得的结果差不多，这说明在参数设置方面分布式算法比串行算法有更好的鲁棒性。
（3）通过实验验证了这样一个经验主义的假设：即在每个处理器分配一个子群体的孤岛模型的实现中仍然保持着串行遗传算法中由模式定理保证的效果。
7．3．4 扩展的分布式遗传算法
粗粒度模型的不足：最佳个体的多次迁移仍然造成了一定的通信开销，这使得其加速比达不到线性。而且因为选择的局部性，获得的解有可能不是全局最优的。
Prahladah等提出的扩展分布式遗传算法(EDGA)是粗粒度模型的推广。它采用分布式子群体的概念去获取好的加速比，同时又采用全局搜索策略的概念去获取较好的最优解。
根处理器执行对整个群体的全局选择，而处理单元(PE)执行对相应子群体的局部搜索。经过一个预定的间隔，根处理器和PE上的经过进化的群体相互交换，此周期重复循环一定次数，或直到满足终止条件为止。
子群体的局部适应和整个群体的全局适应结合起来提供了一种在最佳搜索空间的快速搜索和找到更好的最佳解的能力。EDGA简单、高效，在现有的并行硬件系统上可以很容易地实现。这种算法可以获得很高的加速比，而且它还能使所有处理器达到负载平衡，从而保证并行系统能有好的性能。
1．EDGA的基本术语
总群体：放在根处理器上，其大小为PopSz。
子群体：总群体被分成大小为SubPopSz＝PopSz／PE.num的子群体，它们
被分配到各处理单元(PE)上，其中PE.num表示PE的数目。
归并子群体：进化后的子群体被从PE传送到根处理器上，归并形成新的总群体。
全局选择：从总群体中选择个体。
局部选择：从子群体中选择个体。
终止条件：已达到已知的最佳适应度值等。
2. EDGA的算法描述
Randomly generate an initial population P
of size PopSz
Divide the Population into PE.num subpopulatlons of size SubPopSz
Copy one subpopulatlon to each PE
Send the parameter values to all the PEs
for i＝1 to K do
On root run SGA on P
until all PEs Interrupt
for all PEs par-do
for generation=1 to G do
Run sequential GA on subpopulatlon
endfor
Send interrupt to the root processor
Send evolved subpopulatlon to root
endfor
Make population P
1
With evolved subpopulations
Make subpopulations with evolved P
Send one subpopulatlon to each PE
P
0 = P
1
Endfor
3．EDGA的性能分析
优点：
(1)在根处理器和处理单元(PE)之间达到负载平衡，提高了处理器的利用率。
(2)同时具备粗粒度模型的长处和主从式的全局选择的持点。
遗传算法并行化的研究 学号：SC02011036 姓名：黄鑫 摘要 本文是针对遗传算法并行化进行了研究，首先简要给出了基本遗传算法的形式化描述，然后做了并行性的分析，详细介绍了遗传算法的结构化并行模型：步进模型，岛屿模型，邻接模型，最后指出了进一步要研究的课题。 关键词：遗传算法，并行计算，结构化GA 1引言 遗传算法（GA）是根据达尔文进化论“优胜劣汰，适者生存”的一种启发式搜索算法。采用选择，交叉，变异等基本变化算子在解空间同时进行多点搜索，本身固有并行性。随着大规模并行机的迅速发展，将并行机的高速性与遗传算法并行性结合起来，从而促进遗传算法的发展。然而，仅仅将基本遗传算法硬件并行化伴随着大量通讯开销等问题，从而必须对标准GA的进行改进，使得并行遗传算法不单单是遗传算法硬件并行实现，更重要的是结构化的遗传算法。本文首先给出了GA形式化描述，对基本GA的可并行性做出分析，然后给出了并行GA的模型，最后指出了并行遗传算法还需要解决的问题。 2 基本遗传算法 在这里我们不对遗传算法做过多的介绍，只是给出基本遗传算法的形式化描述：begin (1)initialization (1.1)产生一个初始群体 (1.2)评估第一代整个群体的适应度值 （2）while running do (2.1)选择父代 (2.2)交叉操作 (2.3)子代变异 (2.4)评估子代的适应度 (2.5)子代取代父代，形成新的一带个体 endwhile end 3 遗传算法的并行性分析 从第一节对遗传算法的描述，我们可以看出基本遗传算法模型是一个反复迭代的进化计算过程，通过对一组表示候选解的个体进行评价、选择、交叉、变异等操作，来产生新一代的个体(候选解)，这个迭代过程直到满足某种结束条件为止。对应于基本遗传算法的运行过程，为实现其并行化要求，可以从下面四种并行性方面着手对其进行改进和发展。 并行性Ⅰ：个体适应度评价的并行性。 个体适应度的评价在遗传算法中占用的运行时间比较大。通过对适应度并行计算方法的研究，可提高个体适应度评价的计算效率。 并行性Ⅱ：整个群体各个个体适应度评价的并行性。
Windows下MATLAB分布式并行计算服务器配置和使用方 法 1MATLAB分布式并行计算服务器介绍 MATLAB Distributed Computing Server可以使并行计算工具箱应用程序得到扩展，从而可以使用运行在任意数量计算机上的任意数量的worker。MATLAB Distributed Computing Server还支持交互式和批处理工作流。此外，使用Parallel Computing Toolbox 函数的MATLAB 应用程序还可利用MATLAB Compiler （MATLAB 编译器）编入独立的可执行程序和共享软件组件，以进行免费特许分发。这些可执行应用程序和共享库可以连接至MATLAB Distributed Computing Server的worker，并在计算机集群上执行MATLAB同时计算，加快大型作业执行速度，节省运行时间。 MATLAB Distributed Computing Server 支持多个调度程序：MathWorks 作业管理器（随产品提供）或任何其他第三方调度程序，例如Platform LSF、Microsoft Windows Compute Cluster Server（CCS）、Altair PBS Pro，以及TORQUE。 使用工具箱中的Configurations Manager（配置管理器），可以维护指定的设置，例如调度程序类型、路径设置，以及集群使用政策。通常，仅需更改配置名称即可在集群间或调度程序间切换。 MATLAB Distributed Computing Server 会在应用程序运行时在基于用户配置文件的集群上动态启用所需的许可证。这样，管理员便只需在集群上管理一个服务器许可证，而无需针对每位集群用户在集群上管理单独的工具箱和模块集许可证。 作业（Job）是在MATLAB中大量的操作运算。一个作业可以分解不同的部分称为任务（Task），客户可以决定如何更好的划分任务，各任务可以相同也可以不同。MALAB中定义并建立作业及其任务的会话（Session）被称为客户端会话，通常这是在你用来编写程序那台机器上进行的。客户端用并行计算工具箱来定义和建立作业及其任务，MDCE通过计算各个任务来执行作业并负责把结果返
实验十遗传算法与优化问题 一、问题背景与实验目的 遗传算法(Genetic Algorithm —GA),就是模拟达尔文的遗传选择与自然淘汰的生物进化过程的计算模型，它就是由美国Michigan大学的J、Holla nd教授于1975 年首先提出的?遗传算法作为一种新的全局优化搜索算法，以其简单通用、鲁棒性强、适于并行处理及应用范围广等显著特点，奠定了它作为21世纪关键智能计算之一的地位. 本实验将首先介绍一下遗传算法的基本理论，然后用其解决几个简单的函数最值问题,使读者能够学会利用遗传算法进行初步的优化计算? 1. 遗传算法的基本原理 遗传算法的基本思想正就是基于模仿生物界遗传学的遗传过程?它把问题的参数用基因代表，把问题的解用染色体代表(在计算机里用二进制码表示),从而得到一个由具有不同染色体的个体组成的群体?这个群体在问题特定的环境里生存 竞争,适者有最好的机会生存与产生后代?后代随机化地继承了父代的最好特征，并也在生存环境的控制支配下继续这一过程.群体的染色体都将逐渐适应环境，不断进化,最后收敛到一族最适应环境的类似个体，即得到问题最优的解?值得注意的一点就是，现在的遗传算法就是受生物进化论学说的启发提出的，这种学说对我们用计算机解决复杂问题很有用，而它本身就是否完全正确并不重要(目前生物界对此学说尚有争议). (1)遗传算法中的生物遗传学概念 由于遗传算法就是由进化论与遗传学机理而产生的直接搜索优化方法；故而 在这个算法中要用到各种进化与遗传学的概念? 首先给出遗传学概念、遗传算法概念与相应的数学概念三者之间的对应关系这些概念
（2）遗传算法的步骤 遗传算法计算优化的操作过程就如同生物学上生物遗传进化的过程，主要有三个基本操作（或称为算子）:选择（Selection）、交叉（Crossover）、变异（Mutation）. 遗传算法基本步骤主要就是：先把问题的解表示成“染色体”，在算法中也就就是以二进制编码的串，在执行遗传算法之前，给出一群“染色体”，也就就是假设的可行解.然后，把这些假设的可行解置于问题的“环境”中,并按适者生存的原则从中选 择出较适应环境的“染色体”进行复制 ，再通过交叉、变异过程产生更适 应环境的新一代“染色体”群.经过这样的一代一代地进化，最后就会收敛到最适应环境的一个“染色体”上，它就就是问题的最优解. 下面给出遗传算法的具体步骤，流程图参见图1: 第一步:选择编码策略，把参数集合（可行解集合）转换染色体结构空间； 第二步:定义适应函数，便于计算适应值； 第三步:确定遗传策略，包括选择群体大小，选择、交叉、变异方法以及确定交叉概率、变异概率等遗传参数； 第四步:随机产生初始化群体； 第五步:计算群体中的个体或染色体解码后的适应值； 第六步:按照遗传策略，运用选择、交叉与变异算子作用于群体，形成下一代群体； 第七步:判断群体性能就是否满足某一指标、或者就是否已完成预定的迭代次数,不满足则返回第五步、或者修改遗传策略再返回第六步. 图1 一个遗传算法的具体步骤
1在并行机系统中，主流操作系统有UNIX/Linux，AIX(IBM)，HPUX(HP)，Solaris(SUN)，IRIX(SGI)等。 2 常用的并行算法设计的基本技术有划分，分治，倍增，流水域，破对称，平衡 树等设计技术。 3 Matlab并行程序编写过程分为创建对象，创建工作，指定工作任务，提交工作，等待和返回计算任务结果六步。 1. 云计算是对（ D ）技术的发展与运用 A. 并行计算 B网格计算 C分布式计算 D三个选项都是 2. IBM在2007年11月退出了“改进游戏规则”的（ A ）计算平台，为客户带来即买即用的云计算平台。 A. 蓝云 B. 蓝天 C. ARUZE D. EC2 3. 微软于2008年10月推出云计算操作系统是（ C ） A. Google App Engine B. 蓝云 C. Azure D. EC2 4. 2008年，（ A ）先后在无锡和北京建立了两个云计算中心 A. IBM B. Google C. Amazon D. 微软 5. 将平台作为服务的云计算服务类型是（ B ） A. IaaS B.PaaS C.SaaS D.三个选项都不是 6. 将基础设施作为服务的云计算服务类型是（ A ） A. IaaS B.PaaS C.SaaS D.三个选项都不是 7. IaaS计算实现机制中，系统管理模块的核心功能是（ A ） A. 负载均衡 B 监视节点的运行状态 C应用API D. 节点环境配置 8. 云计算体系结构的（ C ）负责资源管理、任务管理用户管理和安全管理等工作 A.物理资源层 B. 资源池层 C. 管理中间件层 D. SOA构建层 9. 下列不属于Google云计算平台技术架构的是（ D ） A. 并行数据处理MapReduce B.分布式锁Chubby C. 结构化数据表BigTable D.弹性云计算EC2 10. 在目前GFS集群中，每个集群包含（ B ）个存储节点 A.几百个 B. 几千个 C.几十个 D.几十万个 11. 下列选项中，哪条不是GFS选择在用户态下实现的原因（ D ） A.调试简单 B.不影响数据块服务器的稳定性 C. 降低实现难度，提高通用性 D. 容易扩展 12. GFS中主服务器节点存储的元数据包含这些信息（ BCD ） A.文件副本的位置信息 B.命名空间 C. Chunk与文件名的映射 D. Chunk副本的位置信息 13. 单一主服务器（Master）解决性能瓶颈的方法是（ ABCD ） A.减少其在数据存储中的参与程度 B. 不适用Master读取数据 C.客户端缓存元数据 D. 采用大尺寸的数据块 14. （ B ）是Google提出的用于处理海量数据的并行编程模式和大规模数据集的并行运算的软件 架构。 A. GFS B.MapReduce C.Chubby D.BitTable 15. Mapreduce适用于（ D ） A. 任意应用程序 B. 任意可在windows servet2008上运行的程序 C.可以串行处理的应用程序 D. 可以并行处理的应用程序
第1期作者简介：李红梅（1978-），女，湖南湘潭人，硕士，广东白云学院讲师，研究方向为演化计算。 1遗传算法的发展史 遗传算法（Genetic Algorithms ）研究的历史比较短，20世纪 60年代末期到70年代初期，主要由美国家Michigan 大学的John Holland 与其同事、学生们研究形成了一个较完整的理论 和方法，遗传算法作为具有系统优化、适应和学习的高性能计算和建模方法的研究渐趋成熟。我国对于GA 的研究起步较晚，不过从20世纪90年代以来一直处于不断上升中。 2遗传算法的基本思想 遗传算法是从代表问题可能潜在解集的一个种群（popu- lation ）开始的，而一个种群则由经过基因（gene ）编码（coding ） 的一定数目的个体（individual ）组成。每个个体实际上是染色体（chromosome ）带有特征的实体。染色体作为遗传物质的主要载体，即多个基因的集合，其内部表现是某种基因组合，它决定了个体的形状的外部表现。初代种群产生之后，按照适者生存和优胜劣汰的原理，逐代（generation ）演化产生出越来越好的近似解。在每一代中，根据问题域中个体的适应度（fitness ）、大小挑选（selection ）个体，借助于自然遗传学的遗传算子（genetic operators ）进行组合交叉（crossover ）和变异（mutation ），产生出代 表新的解集的种群。这个过程将导致后生代种群比前代更加适应环境，末代种群中的最优个体经过解码（decoding ），可以作为问题近似最优解。 3遗传算法的一般流程 （1）随机产生一定数目的初始种群，每个个体表示为染色 体的基因编码； （2）计算每个个体的适应度，并判断是否符合优化准则。若符合，输出最佳个体及其代表的最优解并结束计算，否则转向第3步； （3）依据适应度选择再生个体，适应度高的个体被选中的概率高，适应度低的个体可能被淘汰； （4）执行交叉和变异操作，生成新的个体；（5）得到新一代的种群，返回到第2步。 4遗传算法的特点 传统的优化方法主要有三种：枚举法、启发式算法和搜索 算法： （1）枚举法 可行解集合内的所有可行解，以求出精确最 优解。对于连续函数，该方法要求先对其进行离散化处理，这样就可能因离散处理而永远达不到最优解。此外，当枚举空间比较大时，该方法的求解效率比较低，有时甚至在目前先进计算机工具上无法求解。 （2）启发式算法 寻求一种能产生可行解的启发式规则， 以找到一个最优解或近似最优解。该方法的求解效率比较高，但对每一个需求解的问题必须找出其特有的启发式规则。这个启发式规则一般无通用性，不适合于其它问题。 （3）搜索算法 寻求一种搜索算法，该算法在可行解集合 的一个子集内进行搜索操作，以找到问题的最优解或者近似最优解。该方法虽然保证不了一定能够得到问题的最优解，但若适当地利用一些启发知识，就可在近似解的质量和效率上达到一种较好的平衡。 遗传算法不同于传统的搜索和优化方法。主要区别在于： ①遗传算法直接处理问题参数的适当编码而不是处理参数集 本身。②遗传算法按并行方式搜索一个种群数目的点，而不是 遗传算法概述 李红梅 （广东白云学院计算机系，广东广州510450） 摘要：遗传算法是一种全局优化的随机搜索算法。它是解决复杂优化问题的有力工具。在工程设计、演化硬件电路 设计以及人工智能等方面应用前景广阔。系统地介绍了遗传算法的发展史、基本思想、特点、主要应用领域等相关方 面。 关键词：遗传算法；搜索；进化；最优解；种群中图分类号：TP312 文献标识码：A 文章编号：1672-7800（2009）01-0067-02 第8卷第1期2009年1月 Vol.8No.1Jan.2009 软件导刊 Software Guide
并行计算技术及其应用简介 XX （XXX，XX，XXX） 摘要：并行计算是实现高性能计算的主要技术手段。在本文中从并行计算的发展历程开始介绍，总结了并行计算在发展过程中所面临的问题以及其发展历程中出现的重要技术。通过分析在当前比较常用的实现并行计算的框架和技术，来对并行计算的现状进行阐述。常用的并行架构分为SMP（多处理系统）、NUMA （非统一内存存储）、MPP（巨型并行处理）以及集群。涉及并行计算的编程模型有MPI、PVM、OpenMP、TBB及Cilk++等。并结合当前研究比较多的云计算和大数据来探讨并行计算的应用。最后通过MPI编程模型，进行了并行编程的简单实验。 关键词：并行计算；框架；编写模型；应用；实验 A Succinct Survey about Parallel Computing Technology and It’s Application Abstract:Parallel computing is the main technology to implement high performance computing. This paper starts from the history of the development of Parallel Computing. It summarizes the problems faced in the development of parallel computing and the important technologies in the course of its development. Through the analysis of framework and technology commonly used in parallel computing currently,to explain the current situation of parallel computing.Framework commonly used in parallel are SMP(multi processing system),NUMA(non uniform memory storage),MPP(massively parallel processing) and cluster.The programming models of parallel computing are MPI, PVM, OpenMP, TBB and Cilk++, etc.Explored the application of parallel computing combined with cloud computing and big data which are very popular in current research.Finally ,through the MPI programming model,a simple experiment of parallel programming is carried out. Key words:parallel computing; framework; programming model; application; experiment 1引言 近年来多核处理器的快速发展，使得当前软件技术面临巨大的挑战。单纯的提高单机性能，已经不能满足软件发展的需求，特别是在处理一些大的计算问题上，单机性能越发显得不足。在最近AlphaGo与李世石的围棋大战中，AlphaGo就使用了分布式并行计算技术，才能获得强大的搜索计算能力。并行计算正是在这种背景下，应运而生。并行计算或称平行计算时相对于串行计算来说的。它是一种一次可执行多个指令的算法，目的是提高计算速度，及通过扩大问题求解规模，解决大型而复杂的计算问题。可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。其中空间上的并行，也是本文主要的关注点。 并行计算（Parallel Computing）是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器来协同求解同一问题，即将被求解的问题分解成若干个部分，各部分均由一个独立的处理机来并行计算。并行计算系统既可以是专门设计的，含有多个处理器的超级计算机，也可以是以某种方式互联的若干台的独立计算机构成的集群。通过并行计算集群完成数据的处理，再将处理的结果返回给用户。 目前常用的并行计算技术中，有调用系统函数启动多线程以及利用多种并行编程语言开发并行程序，常用的并行模型有MPI、PVM、OpenMP、TBB、Cilk++等。利用这些并行技术可以充分利用多核资源适应目前快速发展的社会需求。并行技术不仅要提高并行效率，也要在一定程度上减轻软件开发人员负担，如近年来的TBB、Cilk++并行模型就在一定程度上减少了开发难度，提高了开发效率，使得并行软件开发人员把更多精力专注于如何提高算法本身效率，而非把时间和精力放在如何去并行一个算法。
华南理工大学分布式计算期末考试卷题整 理 第一章：分布式 1）并行计算与分布式计算区别？ （1）所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能 解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些 计算结果综合起来得到最终的结果。 与并行计算不同的是，并行计算是使用多个处理器并行执行单个计算。 2）分布式计算的核心技术是？ 进程间通信IPC！！！ 3）解决进程间通信死锁的两种方法？ 超时和多线程 4）分布式系统的CAP理论是什么？ 一致性，可用性，分区容忍性 第二章：范型 1)网络应用中使用的最多的分布式计算范型是？ 客户-服务器范型（简称CS范型） 2)消息传递范型与消息中间件范型异同？ 消息传递：一个进程发送代表请求的消息，该消息被传送到接受者；接受者处理该请求，并发送一条应答消息。随后，该应答可能触发下一个请求，并导致下一个应答消息。如 此不断反复传递消息，实现两个进程间的数据交换. 基于该范型的开发工具有Socket应用程序接口（Socket API）和信息传递接口（Message Passing Interface，MPI）等 消息系统模型可以进一步划分为两种子类型：点对点消息模型（Point- to-point message model）和发布订阅消息模型（Public/Subscribe message model）。 在这种模型中，消息系统将来自发送者的一条消息转发到接收者的消息 队列中。与基本的消息传递模型不同的是，这种中间件模型提供了消息 暂存的功能，从而可以将消息的发送和接受分离。与基本的消息传递模 型相比，点对点消息模型为实现异步消息操作提供了额外的一层抽象。 如果要在基本的消息传递模型中达到同样的结果，就必须借助于线程或 者子进程技术。 3)一个分布式应用能否使用多个分布式计算范型？ 可以，部分。
并行遗传算法及其应用 1、遗传算法（GA）概述 GA是一类基于自然选择和遗传学原理的有效搜索方法，它从一个种群开始，利用选择、交叉、变异等遗传算子对种群进行不断进化，最后得到全局最优解。生物遗传物质的主要载体是染色体，在GA中同样将问题的求解表示成“染色体Chromosome”，通常是二进制字符串表示，其本身不一定是解。首先，随机产生一定数据的初始染色体，这些随机产生的染色体组成一个种群（Population），种群中染色体的数目称为种群的大小或者种群规模。第二：用适值度函数来评价每一个染色体的优劣，即染色体对环境的适应程度，用来作为以后遗传操作的依据。第三：进行选择（Selection），选择过程的目的是为了从当前种群中选出优良的染色体，通过选择过程，产生一个新的种群。第四：对这个新的种群进行交叉操作，变异操作。交叉、变异操作的目的是挖掘种群中个体的多样性，避免有可能陷入局部解。经过上述运算产生的染色体称为后代。最后，对新的种群（即后代）重复进行选择、交叉和变异操作，经过给定次数的迭代处理以后，把最好的染色体作为优化问题的最优解。 GA通常包含5个基本要素：1、参数编码：GA是采用问题参数的编码集进行工作的，而不是采用问题参数本身，通常选择二进制编码。2、初始种群设定：GA随机产生一个由N个染色体组成的初始种群（Population），也可根据一定的限制条件来产生。种群规模是指种群中所含染色体的数目。3、适值度函数的设定：适值度函数是用来区分种群中个体好坏的标准，是进行选择的唯一依据。目前主要通过目标函数映射成适值度函数。4、遗传操作设计：遗传算子是模拟生物基因遗传的操作，遗传操作的任务是对种群的个体按照它们对环境的适应的程度施加一定的算子，从而实现优胜劣汰的进化过程。遗传基本算子包括：选择算子，交叉算子，变异算子和其他高级遗传算子。5、控制参数设定：在GA的应用中，要首先给定一组控制参数：种群规模，杂交率，变异率，进化代数等。 GA的优点是擅长全局搜索，一般来说，对于中小规模的应用问题，能够在许可的范围内获得满意解，对于大规模或超大规模的多变量求解任务则性能较差。另外，GA本身不要求对优化问题的性质做一些深入的数学分析，从而对那些不
遗 传 算 法 （基于遗传算法求函数最大值） 指导老师：刘建丽 学号：S201007156 姓名：杨平 班级：研10级1班
遗传算法 一、 遗传算法的基本描述 遗传算法（Genetic Algorithm ，GA ）是通过模拟自然界生物进化过程来求解优化问题的一类自组织、自适应的人工智能技术。它主要基于达尔文的自然进化论和孟德尔的遗传变异理论。多数遗传算法的应用是处理一个由许多个体组成的群体，其中每个个体表示问题的一个潜在解。对个体存在一个评估函数来评判其对环境的适应度。为反映适者生存的思想，算法中设计一个选择机制，使得：适应度好的个体有更多的机会生存。在种群的进化过程中，主要存在两种类型的遗传算子：杂交和变异。这些算子作用于个体对应的染色体，产生新的染色体，从而构成下一代种群中的个体。该过程不断进行，直到找到满足精度要求的解，或者达到设定的进化代数。显然，这样的思想适合于现实世界中的一大类问题，因而具有广泛的应用价值。遗传算法的每一次进化过程中的，各个体之间的操作大多可以并列进行，因此，一个非常自然的想法就是将遗传算法并行化，以提高计算速度。本报告中试图得到一个并行遗传算法的框架，并考察并行化之后的一些特性。为简单起见（本来应该考虑更复杂的问题，如TSP 。因时间有些紧张，做如TSP 等复杂问题怕时间不够，做不出来，请老师原谅），考虑的具有问题是：对给定的正整数n 、n 元函数f ，以及定义域D ，求函数f 在D 内的最大值。 二、 串行遗传算法 1． 染色体与适应度函数 对函数优化问题，一个潜在的解就是定义域D 中的一个点011(,,...,)n x x x -，因此，我们只需用一个长度为n 的实数数组来表示一个个体的染色体。由于问题中要求求函数f 的最大值，我们可以以个体所代表点011(,,...,)n x x x -在f 函数下的值来判断该个体的好坏。因此，我们直接用函数f 作为个体的适应度函数。 2． 选择机制 选择是遗传算法中最主要的机制，也是影响遗传算法性能最主要的因素。若选择过程中适应度好的个体生存的概率过大，会造成几个较好的可行解迅速占据种群，从而收敛于局部最优解；反之，若适应度对生存概率的影响过小，则会使算法呈现出纯粹的随机徘徊行为，算法无法收敛。下面我们介绍在实验中所使用的选择机制。
MapReduce求解物流配送单源最短路径研究 摘要: 针对物流配送路线优化，提出了将配送路线问题分解成若干可并行操作的子问题的云计算模式。详细论述了基于标色法的MapReduce广度优先算法并行化模型、节点数据结构、算法流程和伪代码程序，并通过将该算法应用于快递公司的实际配送，验证了该算法的可行性。关键词: 物流配送； MapReduce；并行计算；最短路径 随着电子商务的普及，人们网上购物的习惯逐渐形成。截止2012年11月30日，阿里巴巴集团旗下淘宝和天猫2012年总交易额已经突破一万亿。综合淘宝和天猫的交易数据来看，以快递员为主体的中国物流配送业对电子商务发展的促进起到了巨大作用。同时传统邮政担负的包裹配送业务比重也逐渐地倾斜于第三方物流配送公司。目前我国物流配送运输成本占整个物流成本的35%~50%左右[1]。由于网购物品用户分布在城市的不同地方,为了控制配送运输成本，改善配送秩序，需要优化配送路线。优化配送路线的求解有串行算法和并行算法。串行算法主要表现在基于算法本身以及其优化组合的方法,例如CLARK G和WRIGHT J的节约算法、GILLETT B E和MILLER L R的扫描算法、Christofides等人的k度中心树和相关算法、Gendrean的禁忌搜索方法、LAWRENCE J 的遗传算法、Dijkstra算法、Nordbeck提出的椭圆限制搜索区域改进算法[2]。随着计算数据的海量化以及摩尔定律的失效(晶体管电路已经接近了其物理改进的极限)，串行算法本身的改进和组合已不能适应需求。计算机科学领域出现了另一类并行最短路径分析算法设计，目前关于并行最短路径分析算法设计有基于MPI的主从Dijkstra并行算法[3]、MPI+open-MP混合算法[4]、社区分析的最短路径LC-2q并行算法[5]等。本文针对物流及时配送和成本控制需求，提出基于标色法的MapReduce广度优先算法并行化模型，并应用于配送线路优化问题。由于MapReduce本身封装了数据分割、负载均衡、容错处理等细节，用户只需要将实际应用问题分解成若干可并行操作的子问题，有效降低了求解难度，为解决物流配送运输路径优化问题提供了技术支持。1 MapReduce算法描述信息技术和网络技术的发展为云计算的产生提供了条件。MapReduce并行编程模型是云计算的核心技术之一。MapReduce是Google 实验室提出的一个分布式并行编程模型或框架, 主要用来处理和产生海量数据的并行编程模式，2004 年DEAN J和GHEMAWAT S第一次发表了这一新型分布式并行编程模型[6]。用户不必关注MapReduce 如何进行数据分割、负载均衡、容错处理等细节，只需要将实际应用问题分解成若干可并行操作的子问题，这种分解思路遵守主从架构模型。Mapreduce框架的主要程序分为Master、Map和Reduce。在Hadoop 中，MapReduce由一个主节点(Jobtracker,属于Master)和从节点(Tasktracker,属于Map和Reduce)组成[7]。1.1 基于标色法的MapReduce广度优先算法模型给定一个带权有向图,用G=(N，E，W)模型来表示，其中N={ni∣i=1,2，...，m}为完全图的点的集合；E={e(ni,nj)∣i≠j, ni,nj∈N}为弧段集；W={w(ni,nj)∣i≠j,ni,nj∈N}为权值集。一般向图的权值表示节点与节点之间的几何长度,记为w(ni,nj)=dij，dij表示节点ni到节点nj的距离。最短路径计算就是计算从起始点ni到终止点nj的最短几何长度之和为最小。在有向图起始点和终止点的最短路径计算中，MapReduce采用的是广度优先算法。MapReduce计算最短路径用邻接表来表示图，在邻接表中每一行数据构成Map和Reduce的一个数据内容。Map和Reduce的(key，value)中key为N，value值为与这个节点邻接的所有节点的 AdjacentList。在用标色法求解最短路径时，AdjacentList节点的信息包括源点到顶点的距离distance(除到本身的距离为0外，其余初始值皆为无穷大)；节点的颜色color(其值可分别取0、1、2，0表示未处理的顶点，1表示等待处理的顶点，2表示已处理的顶点，源点的初始值为1，其余顶点皆为0)；被访问顶点和边的权值记为N和W。顶点的数据结构如表1所示。
2016年第17期 科技创新科技创新与应用 遗传算法的应用研究 赵夫群 （咸阳师范学院，陕西咸阳712000） 1概述 遗传算法（Genetic Algorithms，GA）一词源于人们对自然进化系统所进行的计算机仿生模拟研究，是以达尔文的“进化论”和孟德尔的“遗传学原理”为基础的，是最早开发出来的模拟遗传系统的算法模型。遗传算法最早是由Fraser提出来的，后来Holland对其进行了推广，故认为遗传算法的奠基人是Holland。 随着遗传算法的不断完善和成熟，其应用范围也在不断扩大，应用领域非常广泛，主要包括工业控制、网络通讯、故障诊断、路径规划、最优控制等。近几年，出现了很多改进的遗传算法，改进方法主要包括：应用不同的交叉和变异算子；引入特殊算子；改进选择和复制方法等。但是，万变不离其宗，都是基于自然界生物进化，提出的这些改进方法。 2遗传算法的原理 遗传算法是从某一个初始种群开始，首先计算个体的适应度，然后通过选择、交叉、变异等基本操作，产生新一代的种群，重复这个过程，直到得到满足条件的种群或达到迭代次数后终止。通过这个过程，后代种群会更加适应环境，而末代种群中的最优个体，在经过解码之后，就可以作为问题的近似最优解了。 2.1遗传算法的四个组成部分 遗传算法主要由四个部分组成[1]：参数编码和初始群体、适应度函数、遗传操作和控制参数。编码方法中，最常用的是二进制编码，该方法操作简单、便于用模式定理分析。适应度函数是由目标函数变换而成的，主要用于评价个体适应环境的能力，是选择操作的依据。遗传操作主要包括了选择、交叉、变异等三种基本操作。控制参数主要有：串长Z，群体大小size，交叉概率Pc，变异概率Pm等。目前对遗传算法的研究主要集中在参数的调整中，很多文献建议的参数取值范围一般是：size取20~200之间，Pc取0.5~1.0之间，Pm取0~0.05之间。 2.2遗传算法的基本操作步骤 遗传算法的基本操作步骤为： （1）首先，对种群进行初始化；（2）对种群里的每个个体计算其适应度值；（3）根据（2）计算的适应度，按照规则，选择进入下一代的个体；（4）根据交叉概率Pc，进行交叉操作；（5）以Pm为概率，进行变异操作；（6）判断是否满足停止条件，若没有，则转第（2）步，否则进入（7）；（7）得到适应度值最优的染色体，并将其作为问题的满意解或最优解输出。 3遗传算法的应用 遗传算法的应用领域非常广泛，下面主要就遗传算法在优化问题、生产调度、自动控制、机器学习、图像处理、人工生命和数据挖掘等方面的应用进行介绍。 3.1优化问题 优化问题包括函数优化和组合优化两种。很多情况下，组合优化的搜索空间受问题规模的制约，因此很难寻找满意解。但是，遗传算法对于组合优化中的NP完全问题非常有效。朱莹等[2]提出了一种结合启发式算法和遗传算法的混合遗传算法来解决杂货船装载的优化问题中。潘欣等[3]在化工多目标优化问题中应用了并行遗传算法，实验结果表明该方法效果良好。王大东等[4]将遗传算法应用到了清运车辆路径的优化问题求解中，而且仿真结果表明算法可行有效。 3.2生产调度 在复杂生产调度方面，遗传算法也发挥了很大的作用。韦勇福等[5]将遗传算法应用到了车间生产调度系统的开发中，并建立了最小化完工时间目标模型，成功开发了车间生产调度系统模块，并用实例和仿真验证了该方法的可行性。张美凤等[6]将遗传算法和模拟退火算法相结合，提出了解决车间调度问题的混合遗传算法，并给出了一种编码方法以及建立了相应的解码规则。 3.3自动控制 在自动控制领域中，遗传算法主要用于求解的大多也是与优化相关的问题。其应用主要分为为两类，即离线设计分析和在线自适应调节。GA可为传统的综合设计方法提供优化参数。 3.4机器学习 目前，遗传算法已经在机器学习领域得到了较为广泛的应用。邢晓敏等[7]提出了将遗传算子与Michigan方法和基于Pitt法的两个机器学习方法相结合的机器学习方法。蒋培等[8]提出了一种基于共同进化遗传算法的机器学习方法，该方法克服了学习系统过分依赖于问题的背景知识的缺陷，使得学习者逐步探索新的知识。 3.5图像处理 图像处理是一个重要的研究领域。在图像处理过程中产生的误差会影响图像的效果，因此我们要尽可能地减小误差。目前，遗传算法已经在图像增强、图像恢复、图像重建、图像分形压缩、图像分割、图像匹配等方面应用广泛，详见参考文献[9]。 4结束语 遗传算法作为一种模拟自然演化的学习过程，原理简单，应用广泛，已经在许多领域解决了很多问题。但是，它在数学基础方面相对不够完善，还有待进一步研究和探讨。目前，针对遗传算法的众多缺点，也相继出现了许多改进的算法，并取得了一定的成果。可以预期，未来伴随着生物技术和计算机技术的进一步发展，遗传算法会在操作技术等方面更加有效，其发展前景一片光明。 参考文献 [1]周明，孙树栋.遗传算法原理及应用[M].国防工业出版社，1999，6. [2]朱莹，向先波，杨运桃.基于混合遗传算法的杂货船装载优化问题[J].中国船舰研究，2015：10（6）：126-132. [3]潘欣，等.种群分布式并行遗传算法解化工多目标优化问题[J].化工进展，2015：34（5）：1236-1240. [4]王大东，刘竞遥，王洪军.遗传算法求解清运车辆路径优化问题[J].吉林师范大学学报（自然科学版），2015（3）：132-134. [5]韦勇福，曾盛绰.基于遗传算法的车间生产调度系统研究[J].装备制造技术，2014（11）：205-207. [6]黄巍，张美凤.基于混合遗传算法的车间生产调度问题研究[J].计算机仿真，2009，26（10）：307-310. [7]邢晓敏.基于遗传算法的机器学习方法赋值理论研究[J].软件导刊[J].2009，8（11）：80-81. [8]蒋培.基于共同进化遗传算法的机器学习[J].湖南师范大学自然科学学报，2004，27（3）：33-38. [9]田莹，苑玮琦.遗传算法在图像处理中的应用[J].中国图象图形学报，2007，12（3）：389-396. [10]周剑利，马壮，陈贵清.基于遗传算法的人工生命演示系统的研究与实现[J].制造业自动化，2009，31（9）：38-40. [11]刘晓莉，戎海武.基于遗传算法与神经网络混合算法的数据挖掘技术综述[J].软件导刊，2013，12（12）：129-130. 作者简介：赵夫群（1982，8-），女，汉族，籍贯：山东临沂，咸阳师范学院讲师，西北大学在读博士，工作单位：咸阳师范学院教育科学学院，研究方向：三维模型安全技术。 摘要：遗传算法是一种非常重要的搜索算法，特别是在解决优化问题上，效果非常好。文章首先介绍了遗传算法的四个组成部分，以及算法的基本操作步骤，接着探讨了遗传算法的几个主要应用领域，包括优化、生产调度、机器学习、图像处理、人工生命和数据挖掘等。目前遗传算法以及在很多方面的应用中取得了较大的成功，但是它在数学基础方面相对还不够完善，因而需要进一步研究和完善。 关键词：遗传算法；优化问题；数据挖掘 67 --
LLB:A Fast and Effective Scheduling Algorithm for Distributed-Memory Systems Andrei R?a dulescu Arjan J.C.van Gemund Hai-Xiang Lin Faculty of Information Technology and Systems Delft University of Technology P.O.Box5031,2600GA Delft,The Netherlands Abstract This paper presents a new algorithm called List-based Load Balancing(LLB)for compile-time task scheduling on distributed-memory machines.LLB is intended as a cluster-mapping and task-ordering step in the multi-step class of scheduling algorithms.Unlike current multi- step approaches,LLB integrates cluster-mapping and task- ordering in a single step.The bene?ts of this integration are twofold.First,it allows dynamic load balancing in time, because only the ready tasks are considered in the mapping process.Second,communication is also considered,as op-posed to algorithms like WCM and GLB.The algorithm has a low time complexity of,where is the number of dependences,is the number of tasks and is the number of processors.Experimental results show that LLB outperforms known cluster-mapping algorithms of comparable complexity,improving the schedule lengths up to.Furthermore,compared with LCA,a much higher- complexity algorithm,LLB obtains comparable results for ?ne-grain graphs and yields improvements up to for coarse-grain graphs. 1Introduction The problem of ef?ciently scheduling programs is one of the most important and dif?cult issues in a parallel process-ing environment.The goal of the scheduling problem is to minimize the parallel execution time of a program.Except for very restricted cases,the scheduling problem has been shown to be NP-complete[3].For shared-memory systems, it has been proven that even a low-cost scheduling heuristic is guaranteed to produce acceptable performance[4].How-ever,for distributed-memory architectures,there is no such guarantee and the task scheduling problem remains a chal-lenge,especially for algorithms where low cost is of key interest. The heuristic algorithms used for compile-time task scheduling on distributed-memory systems can be divided into(a)scheduling algorithms for an unbounded num-ber of processors(e.g.,DSC[12],EZ[9],STDS[2]and DFRN[6])and(b)scheduling algorithms for a bounded number of processors(e.g.,MCP[10],ETF[5]and CPFD[1]).The problem in the unbounded case is easier, because the constraint on the number of processors need not be considered.Therefore,scheduling in the unbounded case can be performed with good results at a lower cost com-pared to the bounded case.However,in practical situations, the necessary number of processors requested by an algo-rithm for the unbounded case is rarely available. Recently,a multi-step approach has been proposed, which allows task scheduling at the low complexity of the scheduling algorithms for the unbounded case[9,11].In the?rst step,called clustering,scheduling without duplica-tion is performed for an unbounded number of processors, tasks being grouped in clusters which are placed on virtual processors.In the second step,called cluster-mapping,the clusters are mapped on the available processors.Finally,in the third step,called task-ordering,the mapped tasks are ordered on processors.Although the multi-step approach has a very low complexity,previous results have shown that their schedule lengths can be up to twice the length of a list scheduling algorithm such as MCP[7]. This paper presents a new algorithm,called List-based Load Balancing(LLB)for cluster-mapping and task-ordering.It signi?cantly improves the schedule lengths of the multi-step approach to a level almost comparable to the list scheduling algorithms,yet retaining the low complex-ity of the scheduling algorithms for an unbounded number of processors.The LLB algorithm combines the cluster-mapping and task-ordering steps into a single one,which allows a much more precise tuning of the cluster-mapping process. This paper is organized as follows:Next section de-scribes the scheduling problem and introduces some de?-nitions used in the paper.Section3brie?y reviews existing