mapreduce知识点

MapReduce和YARN是大数据处理领域中非常重要的两个技术，它们作为Apache Hadoop框架的核心组件，对于大规模数据的处理和分析起着至关重要的作用。本文将对MapReduce和YARN的特点和作用进行总结，并对它们的未来发展进行展望。

一、MapReduce的特点和作用

1. MapReduce是一种分布式计算框架，可以将大规模数据分解成多个小任务并行处理，然后将处理结果进行合并得到最终的结果。它具有以下特点：

1）易于扩展：MapReduce可以很容易地在集裙中添加更多的计算节点，以处理更大规模的数据。

2）容错性：MapReduce框架在计算任务失败时能够自动重新启动失败的任务，保证计算任务的完成。

3）适用性广泛：MapReduce可以用于各种类型的数据处理和分析任务，包括数据清洗、统计分析、机器学习等。

2. MapReduce的作用

1）数据处理：MapReduce可以处理海量的结构化和非结构化数据，进行数据清洗、转换和分析。

2）并行计算：MapReduce能够利用集裙中的多个计算节点进行并行计算，大大提高数据处理的效率。

3）分布式存储：MapReduce可以与分布式存储系统如HDFS结合，实现数据的高效存储和读写。

二、YARN的特点和作用

1. YARN是Hadoop 2.0引入的新一代资源管理系统，它重新设计了Hadoop的资源管理和作业调度机制，具有以下特点：

1）多框架支持：YARN能够同时支持MapReduce、Spark、Flink等多种计算框架，使得Hadoop集裙可以更灵活地处理不同类型的计算任务。

2）资源动态调整：YARN支持动态地调整集裙中各个作业的资源分配，以适应不同作业的计算需求。

3）高可靠性：YARN具有高度的容错性和稳定性，能够保证集裙的稳定运行。

2. YARN的作用

1）作业调度：YARN负责对集裙中的作业进行调度和资源分配，保证作业能够按时完成。

分布式数据处理技术mapreduce名词解释

MapReduce是一种分布式数据处理技术，它可以用于处理大规模数据集。下面是对MapReduce相关名词的解释：

1. Map阶段：Map阶段是MapReduce的第一个阶段，它将输入数据分割成小块，并将每个小块交给Map函数进行处理。Map函数将每个小块转换为一系列键值对，其中键表示数据的某个属性，值表示该属性的值。

2. Reduce阶段：Reduce阶段是MapReduce的第二个阶段，它将Map阶段输出的键值对进行合并和排序，并将相同键的值合并成一个列表。Reduce函数接收每个键和其对应的值列表，并将它们转换为输出键值对。

3. 分布式文件系统：分布式文件系统是一种可以在多台计算机上存储和访问文件的文件系统。MapReduce使用分布式文件系统来存储输入数据和输出结果。

4. Hadoop：Hadoop是一个开源的分布式计算框架，它实现了MapReduce算法和分布式文件系统。Hadoop可以在大规模集群上运行，处理PB级别的数据。

5. YARN：YARN是Hadoop的资源管理器，它负责管理集群中的资源，并将它们分配给不同的应用程序。YARN可以同时支持MapReduce和其他分布式计算框架。

6. Shuffle阶段：Shuffle阶段是MapReduce的一个重要阶段，它将Map阶段输出的键值对按照键进行分组，并将相同键的值发送到同一个Reduce任务中进行处理。

7. Combiner函数：Combiner函数是一个可选的函数，它可以在Map阶段输出的键值对进行本地合并，减少数据传输量和网络带宽的消耗。

8. Partitioner函数：Partitioner函数是一个可选的函数，它可以将Map阶段输出的键值对按照键进行分区，将相同键的值发送到同一个Reduce任务中进行处理。

9. JobTracker：JobTracker是Hadoop中的一个组件，它负责管理MapReduce任务的执行。JobTracker将任务分配给不同的TaskTracker进行执行，并监控任务的进度和状态。

MapReduce学习总结

MapReduce计算过程全流程

⽂件读取阶段

MapReduce默认是Text读取⽅式，即⼀⾏⼀⾏读取⽂本内容，以读取数据的偏移量，每⾏⽂本内容组成”KEY-VALUE“键值对输送给下

⼀阶段。

PS：如果指定⼀个⽂件夹，则会读取⽂件夹下所有⽂件；如果指定⽂件，则只会读取此⽂件。

Map阶段

在Map阶段，我们可以获取每个MapTask任务⽂件读取所返回的“KEY-VALUE”键值对，我们可以根据不同的业务逻辑需求将其重新切

分组合，形成新的键值对写⼊上下⽂中，进⼊下⼀阶段。

此步需要继承Mapper，重写map⽅法进⾏业务逻辑的重写。

分区

我们可以⾃定义条件为每条数据打上TAG标记，将来进⾏Reduce操作时，不同的ReduceTask会拉取某⼀TAG标记的数据，进⾏数据

的聚合。

如果需要进⾏分区操作，继承Partitioner重写getPartition⽅法。

排序

排序步骤其实分为两次，⼀次是在Map阶段，在数据分区打上TAG标志之后，会进⾏⼀次局部排序；另⼀次是在Reduce阶段，数据汇

总之后，数据会进⾏⼀次全排序。

如果需要进⾏排序，则需要⾃⼰编写⼀个JAVABEAN类实现WritableComparable重写序列化⽅法（write、read）、排序⽅法

（compareTo）。排序⽅法返回的int值⼤于0则代表升序，⼩于0为降序。

PS：排序是根据KEY值进⾏排序的，所以Map阶段所输出的格式的KEY必须是需要进⾏⽐较数据（⼀般为⾃定义的BEAN类）。

规约

为了减少⽹络传输过程中的数据冗余，可以先在Map阶段向Reduce阶段传输之前，先进⾏⼀次Reduce操作，进⾏冗余数据的局部合

并。

如果需要进⾏规约操作，则需要继承Reduce重写reduce⽅法。

分组

判断是否将同⼀Reduce内的数据聚合在同⼀组。

如果需要进⾏进⾏分组操作，则需要继承WritableComparator并重写compare⽅法。

MapReduce中combine、partition、shuffle的作⽤是什么

概括：combine和partition都是函数。中间的步骤应该仅仅有shuffle！

bine

combine分为map端和reduce端，作⽤是把同⼀个key的键值对合并在⼀起，能够⾃⼰定义的。

combine函数把⼀个map函数产⽣的对（多个key,value）合并成⼀个新的.将新的作为输⼊到

reduce函数中

这个value2亦可称之为values，由于有多个。这个合并的⽬的是为了降低⽹络传输。

详细实现是由Combine类。

实现combine函数，该类的主要功能是合并同样的key键。通过job.setCombinerClass()⽅法设置。默觉得null，不合并中间结果。实现map

函数

详细调⽤：（下图是调⽤reduce，合并map的个数）

难点：不知道这个reduce和mapreduce中的reduce差别是什么?

以下简单说⼀下：后⾯慢慢琢磨：

在mapreduce中。map多，reduce少。

在reduce中因为数据量⽐較多。所以⼲脆。我们先把⾃⼰map⾥⾯的数据归类，这样到了reduce的时候就减轻了压⼒。

这⾥举个样例：map与reduce的样例

map理解为销售⼈员，reduce理解为销售经理。

每⼀个⼈（map）仅仅管销售,赚了多少钱销售⼈员不统计。也就是说这个销售⼈员没有Combine，那么这个销售经理就累垮了。由于每⼀个

⼈都没有统计，它须要统计全部⼈员卖了多少件。赚钱了多少钱。

这样是不⾏的。所以销售经理（reduce）为了减轻压⼒，每⼀个⼈（map）都必须统计⾃⼰卖了多少钱，赚了多少钱（Combine），然后经

理所做的事情就是统计每⼀个⼈统计之后的结果。这样经理就轻松多了。所以Combine在map所做的事情。减轻了reduce的事情。

（这就是为什么说map的Combine⼲reduce的事情。相信你应该明确了）