粗粒度并行遗传算法的 MapReduce 并行化实现
- 格式：pdf
- 大小：1.08 MB
- 文档页数：6
文档推荐
-
遗传算法并行化的研究.doc页数:4
-
遗传算法与优化问题页数:17
-
并行遗传算法页数:8
-
遗传算法的并行实现页数:22
-
遗传算法页数:81
-
遗传算法的原理及MATLAB程序实现页数:15
-
并行遗传算法页数:5
下载文档原格式
合集下载
基于MapReduce的机器学习并行化研究与实现
分析 。
【 关键词 】 机 器学习算 法； ｋ Ｎ Ｎ ； 并行 化 ； Ｈ ａ ｄ ｏ ｏ ｐ 【 作者单位 】 陈薇 ， 湖北工业大学
一
、
引 言
布式存储系统 Ｈ Ｄ Ｆ Ｓ和一个并 行计 算框架 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ ， 使用 户无须具备并行化 的底层知识 ， 也 能直接 编写 程序并 在 Ｈ ａ — ｄ ｏ ｏ ｐ上运行 。目前 ， Ｈ ａ ｄ ｏ ｏ ｐ凭借 可靠性 高 、 扩展性 强等 优势
条件。在快堆服役工 况下 ， 动 导管 可 能会引 入裂 纹 ， 应 当 对 Ｈ ｅ 脆 问题 引起 重 视 。
被 国 内外 各 大 公 司广 泛 应 用 。
近年来 ， 在 国内外越来越受到重视 的机 器学 习技术 已经 深入 到人类的生 活 、 工作 中 。大 数据 时代 的 到来 ， 使 机器 学
习有 了 新 的 应 用 领 域 ， 从金 融 、 医 疗等 领域 ， 甚 至 是消 费 、 网
络行 为等数据 中发 现有 价值 的信 息 已经成 为机器 学 习研 究
ｘ１ ０ ～ｇ ， 引入的 Ｈ ｅ不 少 于 ０ ． ６ ａ ｐ ｐ ｍ。
将导致脆化 出现。通过 理论 公式 和 Ｏ ｒ ｉ ｇ ｅ ｎ ２程 序分别 计 算 ３ ０年服役寿期 内动导 管的产 Ｈ ｅ 量， 结 果显示一 致 。进一 步 分析发现 ， Ｈｅ 原子 的浓 度达到 了 １ ． ８ ３ ａ ｐ ｐ ｍ， 满 足产生 Ｈ ｅ脆
机器学习的快速发展也 同时面临着 问题 ： 一是 高维特 征 空 间与样 本数 的不足 。二是 大数 据量 的计 算 。数 据集 体 量
大， 导 致 时 间和 空 间 的 复 杂 性 过 大 。 此 外 ， 寻 找 最 优 解 的 困
【 关键词 】 机 器学习算 法； ｋ Ｎ Ｎ ； 并行 化 ； Ｈ ａ ｄ ｏ ｏ ｐ 【 作者单位 】 陈薇 ， 湖北工业大学
一
、
引 言
布式存储系统 Ｈ Ｄ Ｆ Ｓ和一个并 行计 算框架 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ ， 使用 户无须具备并行化 的底层知识 ， 也 能直接 编写 程序并 在 Ｈ ａ — ｄ ｏ ｏ ｐ上运行 。目前 ， Ｈ ａ ｄ ｏ ｏ ｐ凭借 可靠性 高 、 扩展性 强等 优势
条件。在快堆服役工 况下 ， 动 导管 可 能会引 入裂 纹 ， 应 当 对 Ｈ ｅ 脆 问题 引起 重 视 。
被 国 内外 各 大 公 司广 泛 应 用 。
近年来 ， 在 国内外越来越受到重视 的机 器学 习技术 已经 深入 到人类的生 活 、 工作 中 。大 数据 时代 的 到来 ， 使 机器 学
习有 了 新 的 应 用 领 域 ， 从金 融 、 医 疗等 领域 ， 甚 至 是消 费 、 网
络行 为等数据 中发 现有 价值 的信 息 已经成 为机器 学 习研 究
ｘ１ ０ ～ｇ ， 引入的 Ｈ ｅ不 少 于 ０ ． ６ ａ ｐ ｐ ｍ。
将导致脆化 出现。通过 理论 公式 和 Ｏ ｒ ｉ ｇ ｅ ｎ ２程 序分别 计 算 ３ ０年服役寿期 内动导 管的产 Ｈ ｅ 量， 结 果显示一 致 。进一 步 分析发现 ， Ｈｅ 原子 的浓 度达到 了 １ ． ８ ３ ａ ｐ ｐ ｍ， 满 足产生 Ｈ ｅ脆
机器学习的快速发展也 同时面临着 问题 ： 一是 高维特 征 空 间与样 本数 的不足 。二是 大数 据量 的计 算 。数 据集 体 量
大， 导 致 时 间和 空 间 的 复 杂 性 过 大 。 此 外 ， 寻 找 最 优 解 的 困
mapreduce并行编程原理 -回复
mapreduce并行编程原理-回复为什么需要并行编程？随着计算机系统的发展，数据量的爆炸性增长推动了对计算能力的巨大需求。
然而，传统的单线程编程模型已经无法满足这一需求，因为它们无法充分利用现代计算机系统中的多核处理器和分布式计算资源。
为了提高计算效率，人们开始使用并行编程来实现任务的并发执行。
并行编程是一种编程模式，它可以在多个处理单元或计算资源上同时执行不同的任务。
这种模式允许任务之间以并行方式协同工作，从而提高整体系统的处理能力。
并行编程的一个重要应用领域是数据处理，而MapReduce是一种常用的并行编程框架。
MapReduce是一种用于大规模数据处理的并行编程框架，它由Google 提出，并被广泛应用于分布式计算领域。
它提供了一种简单而有效的方式来处理大量的数据，无论是在单机还是分布式环境中。
MapReduce的核心原理是将任务分解为两个阶段：映射（Map）和归约（Reduce）。
在映射阶段中，系统将输入数据集分割为若干个小块，并对每个小块应用相同的映射函数。
映射函数将输入数据转换为键值对的形式，并输出中间结果。
在归约阶段中，系统将相同键的中间结果进行合并，并通过归约函数将它们转换为最终结果。
为了实现MapReduce，并行处理框架需要进行任务的分配和调度。
在分布式环境中，MapReduce框架可以自动将数据和任务分配到可用的计算资源上，从而实现任务的并行执行。
这种分布式任务调度可以大大提高数据处理的效率，充分利用了计算资源的并行性。
为了更好地理解MapReduce，并行编程的原理，我们可以通过一个例子来说明。
假设我们有一个包含1亿条日志记录的文件，我们希望统计每个IP地址出现的次数。
传统的单线程方法可能需要花费很长时间来处理这么大的数据集，而使用MapReduce并行编程框架可以有效地加快处理速度。
首先，我们需要将输入数据集分割为若干个小块，并将它们分发给不同的节点进行处理。
每个节点将接收到的数据块应用映射函数，将其中的IP 地址作为键，并将出现的次数作为值输出。
大数据分析领域中基于MapReduce技术的并行处理方法研究
大数据分析领域中基于MapReduce技术的并行处理方法研究一、引言大数据是当今社会中的重要问题之一，随着大数据的快速增长，对数据的处理和分析变得越来越困难。
因此，为了解决这一问题，大数据分析技术变得越来越重要和热门。
MapReduce技术是解决大数据分析的一种有效方法，它可以将大数据分成许多小数据块，这些小数据块可以并行处理。
因此，在此篇文章中，我们将详细介绍基于MapReduce技术的并行处理方法。
二、MapReduce技术的基本概念MapReduce技术是一种用于处理大数据的并行计算模型，它采用了两个不同的阶段：Map阶段和Reduce阶段。
Map阶段：该阶段的目的是将输入数据分成小块，并将其分成键-值对。
然后，计算节点将对每个键-值对进行操作，并生成一个临时的键-值对列表。
Reduce阶段：该阶段的目的是将Map阶段产生的临时键-值对列表合并到一个更小的列表，并产生一个最终的输出结果。
三、MapReduce技术的主要优点1. MapReduce技术可以在大规模数据处理中实现高度的扩展性和性能。
2. MapReduce技术采用分布式计算模型，允许在集群中的多个计算节点上并行处理数据。
3. MapReduce技术可以通过多次迭代和优化提高系统的效率和可靠性。
4. MapReduce技术可以在不消耗大量系统资源的情况下解决大规模数据处理和分析的问题。
四、基于MapReduce技术的并行计算模型基于MapReduce技术的并行计算模型包括以下几个步骤：1.数据划分：在MapReduce模型中，数据被分成多个数据块，每个数据块被分配给一个计算节点，以便并行处理。
2.映射函数：映射函数负责将输入的数据块转换成键-值对，生成一个键-值对的列表。
3.排序函数：排序函数将Map阶段产生的键-值对按照键进行排序，以便在Reduce阶段进行进一步的处理。
4.合并函数：合并函数负责将具有相同键的键-值对合并并生成减小的键-值对列表。
阐述mapreduce并行计算模式
阐述mapreduce并行计算模式MapReduce是一种并行计算模式，它被广泛应用于大规模数据处理和分析。
本文将阐述MapReduce的工作原理和并行计算模式，并探讨其在实际应用中的优缺点。
一、MapReduce的工作原理1.1 Map阶段Map阶段是MapReduce任务的第一阶段，其主要作用是将输入数据集中的每个数据项映射为一组键值对。
在这个阶段中，MapReduce 将输入数据集分成M个小的数据片段，并将这些数据片段交给多个Map任务并行处理。
每个Map任务会对其分配的数据片段进行处理，将其转化为一组键值对，并将这些键值对暂时存储在内存中。
1.2 Shuffle阶段Shuffle阶段是MapReduce任务的第二阶段，其主要作用是将Map 阶段产生的键值对按照键的值进行排序，并将相同键值的键值对分配到同一个Reduce任务中进行处理。
在这个阶段中，MapReduce会将所有Map任务产生的键值对进行合并，并按照键的值进行排序。
排序后的键值对会被分配到相应的Reduce任务中进行处理。
1.3 Reduce阶段Reduce阶段是MapReduce任务的第三阶段，其主要作用是对Shuffle阶段产生的键值对进行聚合计算。
在这个阶段中，每个Reduce任务会对其分配的键值对进行聚合计算，并将计算结果输出到磁盘上。
二、MapReduce的并行计算模式MapReduce的并行计算模式主要包括Map并行计算和Reduce并行计算两种模式。
2.1 Map并行计算Map并行计算是指将输入数据集中的每个数据项映射为一组键值对的过程。
在Map并行计算中，MapReduce将输入数据集分成M个小的数据片段，并将这些数据片段交给多个Map任务并行处理。
每个Map任务会对其分配的数据片段进行处理，将其转化为一组键值对，并将这些键值对暂时存储在内存中。
Map并行计算的优点是可以充分利用多核CPU的计算能力，提高计算效率。
mapreduce并行编程原理
mapreduce并行编程原理MapReduce并行编程是一种用于大规模数据处理的编程模型。
它的核心思想是将数据分成若干块，然后并行处理每一块数据，最后将结果合并起来。
MapReduce模型具有以下两个阶段：1. Map阶段：在这个阶段，输入数据被映射为一系列的键值对。
每个键值对由一个映射函数处理，这个函数可以是用户定义的。
映射函数接收输入数据作为参数，并根据需求将其转化为键值对。
映射函数执行的结果会生成一个中间键值对列表。
2. Reduce阶段：在这个阶段，中间键值对列表被合并为输出结果。
用户定义的归约函数（reduce函数）接收相同键的键值对列表，并输出归约结果。
MapReduce编程模型的核心特点是可扩展性和容错性。
它可以在一个集群中运行，将数据分布在多个节点上进行处理，并在需要时进行数据重新分配以实现负载均衡。
此外，当某个节点失败时，MapReduce能够自动将任务重新分配给其他可用的节点，从而保证任务的完成性。
MapReduce编程模型可以应用于各种各样的数据处理任务，包括文本分析、数据挖掘、网页排名等。
下面是MapReduce编程模型的一些关键原理：1.数据切片：MapReduce将输入数据分成若干块，并将每个块分配给不同的节点进行处理。
这样可以实现数据的并行处理，提高处理效率。
2.映射函数：映射函数将输入数据转换为一系列的键值对。
用户可以根据任务的需求自定义映射函数。
3.归约函数：归约函数将相同键的键值对列表合并为一个结果。
归约函数也是用户自定义的，它可以根据任务的需求来实现不同的合并逻辑。
4.分布式存储：MapReduce使用分布式文件系统来存储数据。
这样可以将数据分布在多个节点上，实现数据的可靠性和高效访问。
5.任务调度和分配：MapReduce使用主节点来进行任务的调度和分配。
主节点负责将输入数据分配给不同的节点，并协调它们的执行。
6.容错处理：MapReduce能够在节点失败时进行容错处理。
MapReduce并行化
mapreduce工作流程1.客户端启动一个job，并向job Tracker请求一个任务号。
系统将运行作业所需要的资源文件复制到HDFS上。
2.系统将文件拆分成splits(片)分发到多台机器上，（其中，splite包含若干条记录），然后将每个split按行分割形成<key,value>对（每个记录生成一个<key,value>对），其中key值为记录的偏移量（默认）。
可自定义INputFormat和RecodReader自定义key,value.继承类重写里面方法。
3.Mapper根据输入，经过逻辑处理生成想要的多个<key,value>对，并传递到Reduce4.Reduce根据输入，将相同key的value进行聚合，然后经过处理得到想要的结果。
5.其中，在map和reduce之间可以加一层combine,在每个map处进行聚合，在传递给reduce,以减少网络消耗。
combine作用：map和Reduce通过网络传送传递数据,为了减少网络I/O的消耗，在某些应用场景下在Mapper端本地进行数据合并，将合并后的数据通过网络传送给Reducer。
combine的过程是在每个机器上求出局部聚合求的最大值，然后reduce在聚合求的相同key的全局最大值。
Mapreduce,inputslite,recoder输入首先被分为很多InputSplit，每个InputSplit是输入的其中若干条数据，每个Mapper 处理一个InputSplit。
每个InputSplit被分成多条记录（record），每一个record就会产生一个key-value对。
InputFormat负责产生input split，并将input split分成一条条的record。
输入过程：客户端运行一个Job时，客户端会自动调用getSplits方法，然后将得到的InputSplit 列表发送给jobtracker。
遗传算法的并行实现
遗传算法的并行实现遗传算法（Genetic Algorithm，GA）是一种模拟自然进化过程的优化算法。
它模拟了生物进化的基本原理，通过迭代的方式不断优化空间中的解，以找到最优解或者接近最优解。
在遗传算法的实现中，可以采用并行计算的方式来提高算法的效率和性能。
并行计算将任务拆分成多个子任务，同时进行处理，并通过协同工作来加速计算过程。
并行实现遗传算法的主要思路有以下几种方式：1. 池式并行（Pool-Based Parallelism）：多个遗传算法进程同时运行，并且每个进程都具有自己的种群和繁殖操作。
这些进程可以根据需要交换信息，例如交换最佳个体，以进一步加速过程。
2. 岛模型并行（Island Model Parallelism）：将种群划分为多个子种群，每个子种群在独立的进程中进行演化。
定期地选择一些个体进行迁移，使得不同子种群的个体可以交流基因信息。
这种方式类似于地理上的岛屿，每个岛屿代表一个子种群，岛屿之间的迁移模拟了个体在不同岛屿之间的迁徙。
3. 数据并行（Data Parallelism）：将种群的每个个体划分成多个部分，每个部分在不同的处理器上进行计算。
这种方法将空间分割成多个子空间，以加速算法的收敛过程。
4. 任务并行（Task Parallelism）：将遗传算法的各个操作（例如选择、交叉、变异等）分解为多个任务，并行执行这些任务。
每个任务可以在不同的处理器上同时进行，从而加速算法的执行。
并行实现遗传算法的优势在于它可以通过利用多个处理单元，同时处理并行化的任务，使得算法的过程更加高效。
并行计算可以加速算法的收敛速度，减少空间中的局部最优解，并提供更好的全局能力。
然而，并行实现也会带来一些挑战和注意事项。
例如，如何划分任务以达到最佳的负载均衡，如何设计通信、同步和数据共享机制等等，都需要仔细考虑和解决。
总之，遗传算法的并行实现是一个非常广泛且复杂的课题，需要综合考虑问题的特性、硬件的条件和算法设计的需求。
人工智能基础(试卷编号1191)
人工智能基础(试卷编号1191)1.[单选题]以下不是贝叶斯回归的优点的是哪一项A)它能根据已有的数据进行改变B)它能在估计过程中引入正则项C)贝叶斯回归的推断速度快答案:C解析:2.[单选题]人工神经网络是一种模仿生物神经网络行为特征，进行信息处理的数学模型。
A、正确A)错误B)正确C)错误答案:A解析:3.[单选题]RNN作为图灵机使用时，需要一个（ ）序列作为输入，输出必须离散化以提供（ ）输出。
A)二进制B)八进制C)十进制D)十六进制答案:A解析:4.[单选题]Spark比MapReduce快的原因不包括（）。
A)Spark基于内存迭代,而MapReduce基于磁盘迭代B)DAG计算模型相比MapReduce更有效率C)Spark是粗粒度的资源调度，而MapReduce是细粒度的资源调度D)Spark支持交互式处理，MapReduce善于处理流计算答案:D解析:A、B、C是Spark比MapReduce快的原因。
MapReduce不善于处理除批处理计 算模式之外的其他计算模式，如流计算、交互式计算和图计算等。
5.[单选题]L1正则和L2正则的共同点是什么？A)都会让数据集中的特征数量减少B)都会增大模型的偏差C)都会增大模型方差D)没有正确选项答案:D解析:6.[单选题]无轨导航规划的主要研究内容不包括( )。
A)路径规划B)轨迹规划C)自主定位D)避障规划答案:C解析:7.[单选题]声码器是由编码器和( )组成。
A)解码器B)特征提取器C)预处理器D)滤波器答案:A解析:8.[单选题]pandas从CSV文件导入数据的方法是A)pd.read_csv()B)pd.read_table()C)pd.read_excel()D)pd.read_sql()答案:A解析:9.[单选题]平滑图像处理可以釆用RGB彩色（）模型。
A)直方图均衡化B)直方图均衡化C)加权均值滤波D)中值滤波答案:C解析:平滑图像处理可以采用RGB彩色加权均值滤波模型。
大数据挖掘中的MapReduce并行聚类优化算法研究
大数据挖掘中的MapReduce并行聚类优化算法研究吕国;肖瑞雪;白振荣;孟凡兴【摘要】针对传统数据挖掘算法只适用于小规模数据挖掘处理,由于数据规模不断增大,其存在计算效率低、内存不足等问题,文中将MapReduce用于数据挖掘领域,对大数据挖掘中的MapReduce进行了并行化改进,并设计相应的并行化实现模型,以期满足大数据分析需求,完成低成本、高性能的数据并行挖掘与处理.【期刊名称】《现代电子技术》【年(卷),期】2019(042)011【总页数】4页(P161-164)【关键词】大数据;MapReduce;并行化处理;聚类算法;数据挖掘;Map任务【作者】吕国;肖瑞雪;白振荣;孟凡兴【作者单位】河北建筑工程学院现代教育技术中心,河北张家口 075000;河北建筑工程学院现代教育技术中心,河北张家口 075000;河北建筑工程学院现代教育技术中心,河北张家口 075000;河北建筑工程学院现代教育技术中心,河北张家口075000【正文语种】中文【中图分类】TN911.1-34;TP311.140 引言随着大数据时代的来临，互联网的数据量正呈现出爆炸式的增长，采用传统数据分析法对其进行分析和研究，已经无法满足海量数据处理的需求。
基于此，数据挖掘技术随之产生。
数据挖掘就是从大量、随机、模糊、有噪声的数据内提取有价值的信息。
数据挖掘技术是指从大量数据中利用算法对隐藏信息进行搜索的过程，目前被广泛应用于金融、网络、决策及教育等行业中。
数据挖掘技术以统计学作为基础，增设模式识别、机器学习、数理统计、人工智能等多种技术，通过流数据及数据库完成工作[1]。
在数据技术不断发展的过程中，还融入了数据安全、数据结构算法、信息检索、信号处理、信息论等多种技术。
聚类分析则是一项比较实用的数据挖掘技术，因其能有效分析数据并发现其中的有用信息，被广泛用于文本搜索、人工智能、图像分析等领域[2]。
聚类分析把数据对象划分为多个簇，虽然同一个簇内的数据对象相似，但不同簇内的对象存在一定的差异。
mapreduce的实现机制
MapReduce是一种分布式计算框架，可以用于大规模数据处理，它的实现机制主要包括以下几个方面。
1. 数据分片在MapReduce中，数据会被分成多个数据块，并且这些数据块会被复制到不同的节点上。
这样做的目的是为了提高数据的可靠性，同时也可以避免单节点故障导致的数据丢失。
2. Map阶段在Map阶段中，每个节点会同时执行Map函数，将输入的数据块转换为键值对的形式。
Map函数的输出结果会被分配到不同的Reducer节点上，这里需要注意的是，Map函数的输出结果必须是无状态的，即输出结果只能依赖于输入参数，而不能依赖于其他状态信息。
3. Shuffle阶段在Shuffle阶段中，Map函数的输出结果按照键的哈希值进行排序，并将相同键的值归并到一起。
这个过程需要消耗大量的网络带宽和磁盘I/O，因此Shuffle阶段是整个MapReduce计算中的瓶颈之一。
4. Reduce阶段在Reduce阶段中，每个Reducer节点会对Map函数输出结果中相同键的数据进行聚合操作。
Reduce函数的输入参数由Map函数输出结果中相同键的数据组成，而Reduce函数的输出结果是最终结果，MapReduce框架会将所有Reducer节点的输出结果合并为一个最终结果。
5. 容错机制在分布式计算中，可能会出现节点故障、网络异常等问题，这些问题会导致数据丢失或者计算结果错误。
因此，MapReduce框架需要具备一定的容错机制，比如在Shuffle阶段中，如果某个节点的输出结果没有及时到达目标节点，MapReduce框架会自动重新发送数据。
6. 优化策略为了提高MapReduce计算的性能和效率，MapReduce框架还可以采用多种优化策略，比如合并小文件、增加Map和Reduce的任务并行度、调整数据分片大小等。
总的来说，MapReduce框架通过数据分片、Map函数、Shuffle 阶段、Reduce函数等组件的协同工作，实现了大规模数据的分布式处理。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
［3 ］
。 MapReduce 模
型是 Google 实验室提出的分布式并行编程模型或 框架， 它能在普通的 PC 机上构建集群来处理大规 模数据集， 成为云计算平台主流的并行数据处理 模型。Apache 开源社区的 Hadoop 项目用 Java 语 言实现了该模型， 同时 Hadoop 项目还设计了开放 源代码的云计算技术平台
Parallel Implementation of CoarseGrained Parallel Genetic Algorithm with MapReduce model
CHENG Xingguo，XIAO Nanfeng
（ School of Computer Science and Engineering， South China University of Technology，Guangzhou 510006 ，China） Abstract： According to the properties of CoarseGrained Parallel Genetic Algorithm，the article provides a method to implement it based on MapReduce programming model． Firstly，the initial population is divided into a few subpopulations，and each of these subpopulations is maintained by different Tasktracker in which the classical Genetic Algorithm （ GA ） ，such as fitness calculation，selection， crossover and mutation are executed in Map function，and then some excellent individuals are selected and migrated to other subpopulation in the Partition phase． The experiments on the Hadoop platform indicate this method can not only improve the efficiency of Genetic Algorithm thanks to the high Parallelism of MapReduce model， but also eliminate， to some extent， the problem of early convergence and local optima of classic GA． Key words： genetic algorithm （ GA） ； coarsegrained parallel genetic algorithm （ CGPGA） ； MapReduce
［6 ］
。 它将
随机生成的初始种群依处理器个数分割成若干个 较大的子种群， 各个子种群在不同的处理器上相 互独立地并发执行遗传操作， 每经过一定的进化 代数， 各子种群间再相互交换若干数量的个体， 以 实现各个子种群的共同进化。 对经典遗传算法进行粗粒度并行改进的主要 目的是： 在不增加适应度计算量的基础上， 通过提 高种群多样性来提高计算结果。 粗粒度并行遗传算法 （ CPGA ） 可以形式化地 定义为一个三元组： CPGA = （ T， G， SGA） 式中： T 是进行迁移操作的时间间隔 （ 频率 ） ； G 是 迁移操作所交换的个体和信息； SGA 是经典遗传 算法（ 单一种群 ） ， 它将根据子种群的数量多次重 复地执行。 粗粒度并行遗传算法的子种群间常用的环行 连接结构
基本流程如图 2 所示。
68 重庆理工大学学报
图3
子种群环形连接结构
3
图2 遗传算法流程
粗粒度并行遗传算法的 MapReduce 并
行化实现
粗粒度并行遗传算法进行 MapReduce 的基本 思路是： 把串行遗传算法的每一次迭代变为一次 MapReduce 操作。其中， 在 Map 中完成计算个体 适应值、 杂交、 变异的操作； Reduce 则判断是否满 “是” 足收敛条件， 若为 则输出结果， 否则进入下一 次 MapReduce 操作。与普通的 MapReduce 操作不 同， 在 Map 阶段结束后， 粗粒度并行遗传算法 MapReduce 通过 Partition 实现并行化， 在子种群间用 而其他大部分个体保持 环行算法迁移最优个体， 独立， 如图 4 所示。
传统的遗传算法有两个严重的不足： ① 容易 过早收敛； ② 在进化后期搜索效率较低， 使得最终 搜索得到的结果往往不是全局最优解而是局部最 优解， 并且该算法不能有效克服过早收敛现象
［5 ］
。
因此， 现有的大量研究集中于如何改进传统的遗 传进化思想。 目前各种改进思想层出不穷， 粗粒 度模型就是其中的一种。 粗 粒 度 模 型 又 称 分 布 式 模 型 （ distributed style） 或孤岛模型 （ islandbased model ） ， 是适应性 最强和应用最广的遗传算法并行化模型
法。将随机生成的初始种群分割 成 若干个 子种 群， 用 Map 方法 实 现 单 个 子种 群 的 传 统 遗 传 算 法。各个子种群在不同的 Node 上相互独立地并发执行个体适应值计算、 选择、 交叉 和 变异 等 操 作， 在 Partition 环节将每个子群所提取 的 最优 个 体 迁 移 到其他 子种 群 中， 以实 现 各 个 子种 群 的 共同进化。该方法充分利用了 MapReduce 的高度并 行 性， 提 高 了 算 法的 效 率， 同 时 在一 定 程 度 上克服了过早收敛和局部最优解问题。 关 键 词： 遗传算法; 粗粒度并行遗传算法; MapReduce 文献标识码： A 文章编号： 1674 － 8425 （ 2013 ） 10 － 0066 － 05 中图分类号： TP18
［1 ］
算法的 MapReduce 并行编程实现方法， 并进行了 相关实验。
1
MapReduce 编程模型
MapReduce 编程模型的基本思路是将大数据
集分解为成百上千的小数据集 splits， 每个 （ 或若 干个） 数据集分别由集群中的 1 个节点 （ 一般是 1 台普通计算机 ） 并行执行 Map 计算任务 （ 指定了 并生成中间结果， 然后这些中间结果 映射规则） ， 又由大量的节点并行执行 Reduce 计算任务 （ 指定 了归约规 则 ） ， 形 成 最 终 结 果。 图 1 描 述 了 MapReduce 的运行机制： 在数据输入阶段， JobTracker 获得待计算数据片在 NameNode 上的存储元信息； JobTracker 指派多个 TaskTracker 完 在 Map 阶段， 成 Map 运算任务并生成中间结果； 在 Partition 阶 段完成中间结果对 Reducer 的分派； 在 Shuffle 阶 段完成中间计算结果的混排交换； JobTracker 指派 TaskTracker 完成 Reduce 任务； Reduce 任务完成后 通知 JobTracker 与 NameNode 以产生最后的输出 结果。MapReduce 详细执行过程如图 1 所示
［7 ］
如图 3 所示。
图4
粗粒度并行遗传算法 MapReduce 的并行化实现
69 程兴国， 等: 粗粒度并行遗传算法的 MapReduce 并行化实现 Mapper 和 Re为了保证各个子群独自繁衍， ducer 的节点数量都为 n， 同时确保 Mapper i 的数 据在对应的 Reducer i 进行处理。 待处理的每个个 体给予一个子群 key， 在 Map 处理过程中， 最优个 体的 key = （ key + 1 ） mod n， 而 Partition 的操作是 key mod n， 从而实现最优个体的环形迁移。 3． 1 Map 函数的设计 Map 函数先对子群中的个体进行杂交 、 变异 操作， 然后遍历子群， 计算其适应值， 根据适应值 找出子群中的最优个体和最差个体， 最优个体用 于迁移到下一个子群（ key + 1 ） mod n， 而淘汰最差 个体。当然， 也可以实现迁移若干最优个体， 但数 量不宜过大， 否则会影响子群的差异性。 Map 函数伪代码清单
doi： 10． 3969 / j． issn． 1674－8425（ z） ． 2013． 10． 014
粗粒度并行遗传算法的 MapReduce 并行化实现
程兴国， 肖南峰
（ 华南理工大学 计算机科学与工程学院 ， 广州 510006 ） 摘 要： 针对粗粒度并行遗传算法的特 点， 给 出 了 MapReduce 编 程模 型 实 现 遗 传 算 法的方
［2 ］
。本文在基于 Hadoop
。
技术的云计算基础平台上研究了粗粒度并行遗传
图1
MapReduce 详细执行过程
相互结合渗透而成的算法， 是具有“生成 + 检测 ”
2
粗粒度并行遗传算法
遗传算法 （ GA ） 是自然遗传学和计算机科学
的迭代过程的搜索算法， 即产生、ቤተ መጻሕፍቲ ባይዱ选择优良个体、
［4 ］ 基因组合（ 变异） 、 再产生、 再选择、 再组合 … ， 其
收稿日期： 2013 － 05 － 21 基金项目： 国家自然科学基金资助项目（ 61171141 ） ； 广东省产学研省部合作专项资金资助项目（ 2012B091100448 ） 作者简介： 程兴国（ 1973 —） ， 男， 江西九江人， 博士研究生， 讲师， 主要从事智能算法研究； 肖南峰（ 1962 —） ， 男， 江西 南昌人， 博士， 博士生导师， 主要从事人工智能和仿人机器人研究 。
。 MapReduce 模
型是 Google 实验室提出的分布式并行编程模型或 框架， 它能在普通的 PC 机上构建集群来处理大规 模数据集， 成为云计算平台主流的并行数据处理 模型。Apache 开源社区的 Hadoop 项目用 Java 语 言实现了该模型， 同时 Hadoop 项目还设计了开放 源代码的云计算技术平台
Parallel Implementation of CoarseGrained Parallel Genetic Algorithm with MapReduce model
CHENG Xingguo，XIAO Nanfeng
（ School of Computer Science and Engineering， South China University of Technology，Guangzhou 510006 ，China） Abstract： According to the properties of CoarseGrained Parallel Genetic Algorithm，the article provides a method to implement it based on MapReduce programming model． Firstly，the initial population is divided into a few subpopulations，and each of these subpopulations is maintained by different Tasktracker in which the classical Genetic Algorithm （ GA ） ，such as fitness calculation，selection， crossover and mutation are executed in Map function，and then some excellent individuals are selected and migrated to other subpopulation in the Partition phase． The experiments on the Hadoop platform indicate this method can not only improve the efficiency of Genetic Algorithm thanks to the high Parallelism of MapReduce model， but also eliminate， to some extent， the problem of early convergence and local optima of classic GA． Key words： genetic algorithm （ GA） ； coarsegrained parallel genetic algorithm （ CGPGA） ； MapReduce
［6 ］
。 它将
随机生成的初始种群依处理器个数分割成若干个 较大的子种群， 各个子种群在不同的处理器上相 互独立地并发执行遗传操作， 每经过一定的进化 代数， 各子种群间再相互交换若干数量的个体， 以 实现各个子种群的共同进化。 对经典遗传算法进行粗粒度并行改进的主要 目的是： 在不增加适应度计算量的基础上， 通过提 高种群多样性来提高计算结果。 粗粒度并行遗传算法 （ CPGA ） 可以形式化地 定义为一个三元组： CPGA = （ T， G， SGA） 式中： T 是进行迁移操作的时间间隔 （ 频率 ） ； G 是 迁移操作所交换的个体和信息； SGA 是经典遗传 算法（ 单一种群 ） ， 它将根据子种群的数量多次重 复地执行。 粗粒度并行遗传算法的子种群间常用的环行 连接结构
基本流程如图 2 所示。
68 重庆理工大学学报
图3
子种群环形连接结构
3
图2 遗传算法流程
粗粒度并行遗传算法的 MapReduce 并
行化实现
粗粒度并行遗传算法进行 MapReduce 的基本 思路是： 把串行遗传算法的每一次迭代变为一次 MapReduce 操作。其中， 在 Map 中完成计算个体 适应值、 杂交、 变异的操作； Reduce 则判断是否满 “是” 足收敛条件， 若为 则输出结果， 否则进入下一 次 MapReduce 操作。与普通的 MapReduce 操作不 同， 在 Map 阶段结束后， 粗粒度并行遗传算法 MapReduce 通过 Partition 实现并行化， 在子种群间用 而其他大部分个体保持 环行算法迁移最优个体， 独立， 如图 4 所示。
传统的遗传算法有两个严重的不足： ① 容易 过早收敛； ② 在进化后期搜索效率较低， 使得最终 搜索得到的结果往往不是全局最优解而是局部最 优解， 并且该算法不能有效克服过早收敛现象
［5 ］
。
因此， 现有的大量研究集中于如何改进传统的遗 传进化思想。 目前各种改进思想层出不穷， 粗粒 度模型就是其中的一种。 粗 粒 度 模 型 又 称 分 布 式 模 型 （ distributed style） 或孤岛模型 （ islandbased model ） ， 是适应性 最强和应用最广的遗传算法并行化模型
法。将随机生成的初始种群分割 成 若干个 子种 群， 用 Map 方法 实 现 单 个 子种 群 的 传 统 遗 传 算 法。各个子种群在不同的 Node 上相互独立地并发执行个体适应值计算、 选择、 交叉 和 变异 等 操 作， 在 Partition 环节将每个子群所提取 的 最优 个 体 迁 移 到其他 子种 群 中， 以实 现 各 个 子种 群 的 共同进化。该方法充分利用了 MapReduce 的高度并 行 性， 提 高 了 算 法的 效 率， 同 时 在一 定 程 度 上克服了过早收敛和局部最优解问题。 关 键 词： 遗传算法; 粗粒度并行遗传算法; MapReduce 文献标识码： A 文章编号： 1674 － 8425 （ 2013 ） 10 － 0066 － 05 中图分类号： TP18
［1 ］
算法的 MapReduce 并行编程实现方法， 并进行了 相关实验。
1
MapReduce 编程模型
MapReduce 编程模型的基本思路是将大数据
集分解为成百上千的小数据集 splits， 每个 （ 或若 干个） 数据集分别由集群中的 1 个节点 （ 一般是 1 台普通计算机 ） 并行执行 Map 计算任务 （ 指定了 并生成中间结果， 然后这些中间结果 映射规则） ， 又由大量的节点并行执行 Reduce 计算任务 （ 指定 了归约规 则 ） ， 形 成 最 终 结 果。 图 1 描 述 了 MapReduce 的运行机制： 在数据输入阶段， JobTracker 获得待计算数据片在 NameNode 上的存储元信息； JobTracker 指派多个 TaskTracker 完 在 Map 阶段， 成 Map 运算任务并生成中间结果； 在 Partition 阶 段完成中间结果对 Reducer 的分派； 在 Shuffle 阶 段完成中间计算结果的混排交换； JobTracker 指派 TaskTracker 完成 Reduce 任务； Reduce 任务完成后 通知 JobTracker 与 NameNode 以产生最后的输出 结果。MapReduce 详细执行过程如图 1 所示
［7 ］
如图 3 所示。
图4
粗粒度并行遗传算法 MapReduce 的并行化实现
69 程兴国， 等: 粗粒度并行遗传算法的 MapReduce 并行化实现 Mapper 和 Re为了保证各个子群独自繁衍， ducer 的节点数量都为 n， 同时确保 Mapper i 的数 据在对应的 Reducer i 进行处理。 待处理的每个个 体给予一个子群 key， 在 Map 处理过程中， 最优个 体的 key = （ key + 1 ） mod n， 而 Partition 的操作是 key mod n， 从而实现最优个体的环形迁移。 3． 1 Map 函数的设计 Map 函数先对子群中的个体进行杂交 、 变异 操作， 然后遍历子群， 计算其适应值， 根据适应值 找出子群中的最优个体和最差个体， 最优个体用 于迁移到下一个子群（ key + 1 ） mod n， 而淘汰最差 个体。当然， 也可以实现迁移若干最优个体， 但数 量不宜过大， 否则会影响子群的差异性。 Map 函数伪代码清单
doi： 10． 3969 / j． issn． 1674－8425（ z） ． 2013． 10． 014
粗粒度并行遗传算法的 MapReduce 并行化实现
程兴国， 肖南峰
（ 华南理工大学 计算机科学与工程学院 ， 广州 510006 ） 摘 要： 针对粗粒度并行遗传算法的特 点， 给 出 了 MapReduce 编 程模 型 实 现 遗 传 算 法的方
［2 ］
。本文在基于 Hadoop
。
技术的云计算基础平台上研究了粗粒度并行遗传
图1
MapReduce 详细执行过程
相互结合渗透而成的算法， 是具有“生成 + 检测 ”
2
粗粒度并行遗传算法
遗传算法 （ GA ） 是自然遗传学和计算机科学
的迭代过程的搜索算法， 即产生、ቤተ መጻሕፍቲ ባይዱ选择优良个体、
［4 ］ 基因组合（ 变异） 、 再产生、 再选择、 再组合 … ， 其
收稿日期： 2013 － 05 － 21 基金项目： 国家自然科学基金资助项目（ 61171141 ） ； 广东省产学研省部合作专项资金资助项目（ 2012B091100448 ） 作者简介： 程兴国（ 1973 —） ， 男， 江西九江人， 博士研究生， 讲师， 主要从事智能算法研究； 肖南峰（ 1962 —） ， 男， 江西 南昌人， 博士， 博士生导师， 主要从事人工智能和仿人机器人研究 。