第７卷第４期 ２０１２年４月 中国科技论文 ＣＨＩＮＡ ＳＣＩＥＮＣＥＰＡＰＥＲ ＶＯＬ７ Ｎｏ．４ Ａｐｒ．２０１２
ＭａｐＲｅｄｕｃｅ中ｓｈｕｆｆｌｅ优化与重构
彭辅权 ，金苍宏 ，吴明晖２，应 晶 ，２
（１．浙江大学计算机学院，杭州３１００２７；２．浙江大学城市学院，杭州３１００１５）
摘 要：详细介绍￣ＭａｐＲｅｄｕｃｅ编程框架，具体分析了Ｍ印Ｒｅｄｕｃｅ中 ｅ阶段流程。分别从Ｍａｐ端数据压缩、重构 远程数据拷贝传输协议、Ｒｅｄｕｃｅ端内存分配优化三方面来优化和重构Ｓｈｕｆｆｌｅ。最后通过搭建Ｈａｄｏｏｐ集群，运用 ＭａｐＲｅｄｕｃｅ分布式算法测试实验数据。实验结果证明优化重构后的ｓｈ衄ｅ能显著提高ＭａｐＲｅｄｕｃｅ计算性能。 关键词：云计算；Ｈａｄｏｏｐ；ＭａｐＲｅｄｕｃｅ；ｓｈｕｆｆｌｅ 中图分类号：ＴＰ３１１．５ 文献标志码：Ａ 文章编号：２０９５—２７８３（２０１２）０４—０２４１—５
Ｏｐｔｉｍｉｚａｔｉｏｎ ａｎｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｓｈｕｆｆｌｅ ｉｎ ＭａｐＲｅｄｕｃｅ
Ｐｅｎｇ Ｆｕｑｕａｎ ，Ｊｉｎ Ｃａｎｇｈｏｎｇ ，Ｗｕ Ｍｉｎｇｈｕｉ ，Ｙｉｎｇ Ｊｉｎｇ ，
（１．ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，Ｚｈｅｊｉａｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｎｇｚｈｏｕ ３１００２７，Ｃｈｉｎａ；
２．Ｚｈｅｊｉａｎｇ Ｕｎｉｖｅｒｓｉｔｙ Ｃｉｔｙ Ｃｏｌｌｅｇｅ，Ｈａｎｇｚｈｏｕ ３１００１５，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｗｅ ｄｅｓｃｒｉｂｅ ｔｈｅ ＭａｐＲｅｄｕｃｅ ｐｒｏｇｒａｍｍｉｎｇ ｆｒａｍｅｗｏｒｋ ｉｎ ｄｅｔａｉｌ，ａｎｄ ａｎａｌｙｚｅ ｔｈｅ ｓｈｕｆｆｌｅ－ｓｔａｇｅ ｐｒｏｃｅｓｓ．Ｓｈｕｆｆｌｅ
ｉｎＭａｐＲｅｄｕｃｅｉｓ ｏｐｔｉｍｉｚｅｄａｎｄｒｅｃｏｎｓｔｒｕｃｔｅｄｔｈｒｏｕｇｈｔｈｅｆｏｌｌｏｗｉｎｇｔｈｒｅｅｍｅａｓｕｒｅｓ：ｃｏｍｐｒｅｓｓｉｎｇｔｈｅｏｕｔｐｕｔｏｆｔｈｅＭａｐ ｅｎｄ，
分布式数据处理技术mapreduce名词解释
MapReduce是一种分布式数据处理技术，它可以用于处理大规模数据集。下面是对MapReduce相关名词的解释：
1. Map阶段：Map阶段是MapReduce的第一个阶段，它将输入数据分割成小块，并将每个小块交给Map函数进行处理。Map函数将每个小块转换为一系列键值对，其中键表示数据的某个属性，值表示该属性的值。
2. Reduce阶段：Reduce阶段是MapReduce的第二个阶段，它将Map阶段输出的键值对进行合并和排序，并将相同键的值合并成一个列表。Reduce函数接收每个键和其对应的值列表，并将它们转换为输出键值对。
3. 分布式文件系统：分布式文件系统是一种可以在多台计算机上存储和访问文件的文件系统。MapReduce使用分布式文件系统来存储输入数据和输出结果。
4. Hadoop：Hadoop是一个开源的分布式计算框架，它实现了MapReduce算法和分布式文件系统。Hadoop可以在大规模集群上运行，处理PB级别的数据。
5. YARN：YARN是Hadoop的资源管理器，它负责管理集群中的资源，并将它们分配给不同的应用程序。YARN可以同时支持MapReduce和其他分布式计算框架。
6. Shuffle阶段：Shuffle阶段是MapReduce的一个重要阶段，它将Map阶段输出的键值对按照键进行分组，并将相同键的值发送到同一个Reduce任务中进行处理。
7. Combiner函数：Combiner函数是一个可选的函数，它可以在Map阶段输出的键值对进行本地合并，减少数据传输量和网络带宽的消耗。
8. Partitioner函数：Partitioner函数是一个可选的函数，它可以将Map阶段输出的键值对按照键进行分区，将相同键的值发送到同一个Reduce任务中进行处理。
9. JobTracker：JobTracker是Hadoop中的一个组件，它负责管理MapReduce任务的执行。JobTracker将任务分配给不同的TaskTracker进行执行，并监控任务的进度和状态。
计算机系统应用 ｈｔｔｐ：ｉ｜ ．ｃ－Ｓ－ａ．ｏｒｇ．ｃｎ ２０１３年第２２卷第２期
ＭａｐＲｅｄｕｃｅ框架下的朴素贝叶斯算法并行化研究①
幸莉仙，黄慧连
（华北电力大学大学经济管理系，保定０７１００３）
摘要：研究朴素贝叶斯算法ＭａｐＲｅｄｕｃｅ的并行实现方法，针对传统单点串行算法在面对大规模数据或者参与
分类的属性较多时效率低甚至无力承载大规模运算，以及难以满足人们处理海量数据的需求等问题，本文在朴
素贝叶斯基本理论和ＭａｐＲｅｄｕｃｅ框架的基础上，提出了一种基于ＭａｐＲｅｄｕｃｅ的高效、廉价的并行化方法．通过
实验表明这种方法在面对大规模数据时能有效提高算法的效率，满足人们处理海量数据的需求．
关键词：朴素贝叶斯；ＭａｐＲｅｄｕｃｅ；并行化；云计算
Ｐａｒａｌｌｅｌｉｚａｔｉｏｎ ｏｆ Ｎａｉｖｅ Ｂａｙｅｓ Ａｌｇｏｒｉｔｈｍ Ｕｎｄｅｒ ＭａｐＲｅｄｕｃｅ Ｆｒａｍｗｏｒｋ
ＸＩＮＧ Ｌｉ－Ｘｉａｎ，ＨＵＡＮＧ Ｈｕｉ—Ｌｉａｎ
（Ｓｃｈｏｏｌ ｏｆＢｕｓｉｎｅｓｓ ａｎｄ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ，Ｎｏｒｔｈ Ｃｈｉｎａ Ｅｌｅｃｔｒｉｃ Ｐｏｗｅｒ Ｕｎｉｖｅｒｓｉｔｙ，Ｂａｏｄｉｎｇ ０７１００３，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｔｈｉｓ ａｒｔｉｃｌｅ ｆｏｃｕｓｅｄ ｏｎ ｔｈｅ ｒｅａｌｉｚａｔｉｏｎ ｏｆ ｔｈｅ ｐａｒａｌｌｅｌｉｚａｔｉｏｎ ｏｆＮａｉｖｅ Ｂａｙｅｓ．Ｗｈｅｎ ｉｔ ｃｏｍｅｓ ｔｏ ｌａｒｇｅ－ｓｅａｌ ｄａｔａ
ｏｒ ｍｕｌｔｉ—ａｔｔｒｉｂｕｔｅｓ，ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｓｉｎｇａｌ ｎｏｄｅ ａｌｇｏｒｉｔｈｍ ｈａｓ ａ ｌｏｗ ｅｆｆｉｃｉｅｎｃｙ，ｏｒ ｅｖｅｎ ｉｓ ｕｎａｂｌｅ ｔｏ ｈｏｓｔ ｌａｒｇｅ－ｓｃａｌｅ
ｃｏｍｐｕｔｉｎｇ．Ａｌｌ ｏｆ ｔｈｅｓｅ ｍａｋｅ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ａｌｇｏｒｉｔｈｍ ｃａｎｎｏｔ ｆｉｔ ｔｈｅ ｎｅｅｄ ｔｏ ｄｅａｌ ｗｉｔｈ ｍａｓｓｉｖｅ ｄａｔａ．Ｔｈｅｒｅｆｏｒｅ．ｂａｓｅｄ ｏｎ
用 mapreduce 处置 Theta-joins
摘要
关于许多数据分析任务来讲，连接是大体的（job）,可是mapreduce 范式不直接支持它们。 在等值连接方面有进展，一样来讲，不能充分明白得mapreduce里的连接算法的实现。 咱们研究那个问题：任何吧任意连接条件 映射到 map 和 reduce 函数， 例如 ：一个只基于key-等值 的操纵数据库的并行的大体结构。 咱们提出的连接模型简化了
mapreduce里的连接的创建和 推理。 利用那个模型，咱们导出一个惊人的简单的随机算法，叫做 1-bucket-theta。那个算法是用来在一个单mapreduce job实现任意的连接的（theta-joins）.该算法仅仅需要最小的概率（输入基数）。咱们有证听说明，关于各类各样的连接问题，它或接近最优的，或是最正确的可能的选择。关于 1-bucket-theta 不是最正确选择的问题，咱们显示通过利用附加的输入概率若是来达到更好地性能。所有的算法被制作成 ‘memory-aware’， 它们都不需要对mapreduce 环境做任何的修改。 实验显示咱们的方式的高效性。
1.前沿
超级大的数据集在许多学科形成一个挑战。 英特网公司想分析TB级的应用日记和点击流量数据， 科学家必需处置大规模实验和传感器搜集的数据集（例如：大型强子碰撞型加速装置，国家虚拟天文台）零售商想找到顾客和销售数据里的模式。当处置那个分析，并行计算对确保合理的响应时刻是必要的。 Mapreduce已经显示作为最流行的用于并行处置的范式。Mapreduce 在数据治理研究方面已经有专门大的阻碍。Mapreduce成功的一个要紧的缘故是 免费 开源的实现的可用性，hadoop，和一个活跃的开发者集体。那个集体一直改良mapreduce 并添加特性。 最近，添加了 database-inspired high-level 语言（PigLatin）和对SQL查询的支持（Hive）。 Mapreduce 被设计用来处置单个的输入数据集， 因此不直接支持连接。 可是，最近的研究显示，等值连接已经通过利用mapreduce's key-equality 基于数据库治理 实现了。可是在许多应用中，更复杂的连接位置也不要被支持。关于空间数据，band-joins 和 空间连接很常见。 数据集间的关联分析也需要相似的连接。乃至，大伙儿很少关注传统的非等值连接谓词。 Map-reduce-merge 扩展支持各类连接位置，可是它需要对mapreduce做大体的改变。
