当前位置：文档之家 › MapReduce工作原理

MapReduce工作原理

  • 格式：doc
  • 大小：333.00 KB
  • 文档页数：16

Annotated Hadoop: 第一节 Hadoop是什么 Hadoop是什么 Hadoop原来是Apache Lucene下的一个子项目，它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。下面列举hadoop主要的一些特点：

1 扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。 2 成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。 3 高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速。 4 可靠性（Reliable）：hadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

Hadoop还实现了MapReduce分布式计算模型。MapReduce将应用程序的工作分解成很多小的工作小块(small blocks of work)。HDFS为了做到可靠性（reliability）创建了多份数据块（data blocks）的复制（replicas），并将它们放置在服务器群的计算节点中（compute nodes），MapReduce就可以在它们所在的节点上处理这些数据了。 如下图所示：

Hadoop API被分成（divide into）如下几种主要的包（package）

org.apache.hadoop.conf 定义了系统参数的配置文件处理API。 org.apache.hadoop.fs 定义了抽象的文件系统API。 org.apache.hadoop.dfs Hadoop分布式文件系统（HDFS）模块的实现。 org.apache.hadoop.io 定义了通用的I/O API，用于针对网络，数据库，文件等数据对象做读写操作。 org.apache.hadoop.ipc 用于网络服务端和客户端的工具，封装了网络异步I/O的基础模块。 org.apache.hadoop.mapred Hadoop分布式计算系统（MapReduce）模块的实现，包括任务的分发调度等。 org.apache.hadoop.metrics 定义了用于性能统计信息的API，主要用于mapred和dfs模块。 org.apache.hadoop.record 定义了针对记录的I/O API类以及一个记录描述语言翻译器，用于简化将记录序列化成语言中性的格式（language-neutral manner）。 org.apache.hadoop.tools 定义了一些通用的工具。 org.apache.hadoop.util 定义了一些公用的API。

下面逐个从源代码中剖析这几个主要模块的框架以及运作原理 Annotated Hadoop: 第二节 MapReduce框架结构

2 MapReduce框架结构

Map/Reduce是一个用于大规模数据处理的分布式计算模型，它最初是由Google工程师设计并实现的，Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是，Map/Reduce是一个编程模型（programming model），是一个用于处理和生成大规模数据集（processing and generating large data sets）的相关的实现。用户定义一个map函数来处理一个key/value对以生成一批中间的key/value对，再定义一个reduce函数将所有这些中间的有着相同key的values合并起来。很多现实世界中的任务都可用这个模型来表达。

Hadoop的Map/Reduce框架也是基于这个原理实现的，下面简要介绍一下Map/Reduce框架主要组成及相互的关系。

2.1 总体结构

2.1.1 Mapper和Reducer 运行于Hadoop的MapReduce应用程序最基本的组成部分包括一个Mapper和一个Reducer类，以及一个创建JobConf的执行程序，在一些应用中还可以包括一个Combiner类，它实际也是Reducer的实现。 2.1.2 JobTracker和TaskTracker 它们都是由一个master服务JobTracker和多个运行于多个节点的slaver服务TaskTracker两个类提供的服务调度的。master负责调度job的每一个子任务task运行于slave上，并监控它们，如果发现有失败的task就重新运行它，slave则负责直接执行每一个task。TaskTracker都需要运行在HDFS的DataNode上，而JobTracker则不需要，一般情况应该把JobTracker部署在单独的机器上。 2.1.3 JobClient 每一个job都会在用户端通过JobClient类将应用程序以及配置参数Configuration打包成jar文件存储在HDFS，并把路径提交到JobTracker的master服务，然后由master创建每一个Task（即MapTask和ReduceTask）将它们分发到各个TaskTracker服务中去执行。 2.1.4 JobInProgress JobClient提交job后，JobTracker会创建一个JobInProgress来跟踪和调度这个job，并把它添加到job队列里。JobInProgress会根据提交的job jar中定义的输入数据集（已分解成FileSplit）创建对应的一批TaskInProgress用于监控和调度MapTask，同时在创建指定数目的TaskInProgress用于监控和调度ReduceTask，缺省为1个ReduceTask。 2.1.5 TaskInProgress JobTracker启动任务时通过每一个TaskInProgress来launchTask，这时会把Task对象（即MapTask和ReduceTask）序列化写入相应的TaskTracker服务中，TaskTracker收到后会创建对应的TaskInProgress（此TaskInProgress实现非JobTracker中使用的TaskInProgress，作用类似）用于监控和调度该Task。启动具体的Task进程是通过TaskInProgress管理的TaskRunner对象来运行的。TaskRunner会自动装载job jar，并设置好环境变量后启动一个独立的java child进程来执行Task，即MapTask或者ReduceTask，但它们不一定运行在同一个TaskTracker中。 2.1.6 MapTask和ReduceTask 一个完整的job会自动依次执行Mapper、Combiner（在JobConf指定了Combiner时执行）和Reducer，其中Mapper和Combiner是由MapTask调用执行，Reducer则由ReduceTask调用，Combiner实际也是Reducer接口类的实现。Mapper会根据job jar中定义的输入数据集按对读入，处理完成生成临时的对，如果定义了Combiner，MapTask会在Mapper完成调用该Combiner将相同key的值做合并处理，以减少输出结果集。MapTask的任务全完成即交给ReduceTask进程调用Reducer处理，生成最终结果对。这个过程在下一部分再详细介绍。

下图描述了Map/Reduce框架中主要组成和它们之间的关系：

2.2 Job创建过程 2.2.1 JobClient.runJob() 开始运行job并分解输入数据集 一个MapReduce的Job会通过JobClient类根据用户在JobConf类中定义的InputFormat实现类来将输入的数据集分解成一批小的数据集，每一个小数据集会对应创建一个MapTask来处理。JobClient会使用缺省的FileInputFormat类调用FileInputFormat.getSplits()方法生成小数据集，如果判断数据文件是isSplitable()的话，会将大的文件分解成小的FileSplit，当然只是记录文件在HDFS里的路径及偏移量和Split大小。这些信息会统一打包到jobFile的jar中并存储在HDFS中，再将jobFile路径提交给JobTracker去调度和执行。 2.2.2 JobClient.submitJob() 提交job到JobTracker jobFile的提交过程是通过RPC模块（有单独一章来详细介绍）来实现的。大致过程是，JobClient类中通过RPC实现的Proxy接口调用JobTracker的submitJob()方法，而JobTracker必须实现JobSubmissionProtocol接口。JobTracker则根据获得的jobFile路径创建与job有关的一系列对象（即JobInProgress和TaskInProgress等）来调度并执行job。

JobTracker创建job成功后会给JobClient传回一个JobStatus对象用于记录job的状态信息，如执行时间、Map和Reduce任务完成的比例等。JobClient会根据这个JobStatus对象创建一个NetworkedJob的RunningJob对象，用于定时从JobTracker获得执行过程的统计数据来监控并打印到用户的控制台。

与创建Job过程相关的类和方法如下图所示

合集下载

简述mapreduce的工作流程

简述mapreduce的工作流程

简述mapreduce的工作流程
MapReduce是一种分布式数据处理模型，它由Google提出，用于处理海量的数据。

它由map和reduce两个阶段组成，是一种函数式编程模型。

MapReduce的工作流程如下：
1. Map阶段：
该阶段是分割数据的过程，它将大量的数据分隔成小块，并将每个数据块分发到不同的机器上进行处理；
2. Reduce阶段：
该阶段是合并数据的过程，它将map阶段产生的数据块组织成一个完整的结果。

3. JobTracker：
该阶段是调度map和reduce阶段的阶段。

它将map和reduce阶段按照用户给定的参数调度到不同的机器上执行。

4. TaskTracker：
该阶段是运行map和reduce阶段的阶段，它根据jobtracker调度的参数，在不同的机器上执行map和reduce阶段的任务。

5. HDFS：
HDFS是运行mapreduce任务所必须的Hadoop分布式文件系统，它可以把大量的数据存储在不同的机器上，以便mapreduce能更有效地处理数据。

6. Output：
mapreduce最后的输出是由reduce阶段产生的，它是mapreduce 处理的最终结果。

mapreducewordcount代码

mapreducewordcount代码

mapreducewordcount代码mapreducewordcount代码是利用MapReduce技术来实现单词计数的代码，能够将文本文件中每个单词出现的次数进行统计，通过统计每个单词出现的次数，可以进行文本分析。

它是一种比较常用的大数据处理技术，所以熟练掌握mapreducewordcount代码的技巧非常重要。

首先，我们从MapReduce的定义入手，MapReduce是一个分布式计算框架，能够将多个文件划分为不同的部分，并分发到集群中的多台机器上执行，然后将结果汇总到最终的结果中。

其次，它分为两个步骤，Map和Reduce，Map阶段会将文件中的每一行数据作为输入，然后利用map函数将输入数据分割为一个个单词，接着，Reduce阶段负责汇总，将输出的单词作为键，并累计相应的使用次数，形成最终的单词计数结果。

接下来就是具体的mapreducewordcount代码的分析，mapreducewordcount代码的实现需要用到如下函数：Mapper类、Reduce类、main函数等，首先，在Mapper类中，定义map函数，它主要负责分割文本文件，并将其映射到单词，比如：public void map(longWritable key, Text value, Context context) throws IOException, InterruptedException{// split the line into wordsString line = value.toString();StringTokenizer stringTokenizer = newStringTokenizer(line);while (stringTokenizer.hasMoreTokens()) {// get the key and the valuesString word = stringTokenizer.nextToken();IntWritable count = new IntWritable(1);// write the key and value to the contextcontext.write(new Text(word), count);}}其次，在Reduce类中，定义reduce函数，它主要负责累加每个单词的次数，比如：public void reduce(Text key, Iterator<IntWritable> values, Context context)throws IOException, InterruptedException{// get the key and add all the valuesint sum = 0;while(values.hasNext()){sum += values.next().get();}// write the key and the sum of values to the context context.write(key, new IntWritable(sum));}最后，调用main函数将Mapper类和Reducer类进行结合，即可完成mapreducewordcount代码的编写，比如：public static void main(String[] args) throws Exception { Configuration conf = new Configuration();// create a Job instanceJob job = Job.getInstance(conf, "word count");// set the Mapper and Reducer classjob.setMapperClass(WordCountMapper.class);job.setReducerClass(WordCountReducer.class);// set the output Key/Value typejob.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);// specify input and output directoryFileInputFormat.addInputPath(job, new Path(args[0]));FileOutputFormat.setOutputPath(job, new Path(args[1]));// submit the job and wait for it to finishSystem.exit(job.waitForCompletion(true) ? 0 : 1);}总之，mapreducewordcount代码是一种常用的大数据处理技术，它通过Map和Reduce步骤来实现单词计数的功能，并且可以通过MapReduce的分布式计算框架来提高处理效率，提高文本分析的效果。

第4章大数据技术教程-MapReduce

第4章大数据技术教程-MapReduce

第四章分布式计算框架MapReduce4.1初识MapReduceMapReduce是一种面向大规模数据并行处理的编程模型，也一种并行分布式计算框架。

在Hadoop流行之前，分布式框架虽然也有，但是实现比较复杂，基本都是大公司的专利，小公司没有能力和人力来实现分布式系统的开发。

Hadoop的出现，使用MapReduce框架让分布式编程变得简单。

如名称所示，MapReduce主要由两个处理阶段：Map阶段和Reduce 阶段，每个阶段都以键值对作为输入和输出，键值对类型可由用户定义。

程序员只需要实现Map和Reduce两个函数，便可实现分布式计算，而其余的部分，如分布式实现、资源协调、内部通信等，都是由平台底层实现，无需开发者关心。

基于Hadoop开发项目相对简单，小公司也可以轻松的开发分布式处理软件。

4.1.1 MapReduce基本过程MapReduce是一种编程模型，用户在这个模型框架下编写自己的Map函数和Reduce函数来实现分布式数据处理。

MapReduce程序的执行过程主要就是调用Map函数和Reduce函数，Hadoop把MapReduce程序的执行过程分为Map和Reduce两个大的阶段，如果细分可以为Map、Shuffle（洗牌）、Reduce三个阶段。

Map含义是映射，将要操作的每个元素映射成一对键和值，Reduce含义是归约，将要操作的元素按键做合并计算，Shuffle在第三节详细介绍。

下面以一个比较简单的示例，形象直观介绍一下Map、Reduce阶段是如何执行的。

有一组图形，包含三角形、圆形、正方形三种形状图形，要计算每种形状图形的个数，见下图4-1。

图：4-1 map/reduce计算不同形状的过程在Map阶段，将每个图形映射成形状（键Key）和数量（值Value），每个形状图形的数量值是“1”；Shuffle阶段的Combine（合并），相同的形状做归类；在Reduce阶段，对相同形状的值做求和计算。

云计算Mapreduce简介PPT课件

云计算Mapreduce简介PPT课件


google云计算的构成要素
• 谷歌文件系统GFS（海量的数据访问存储） • Chubby分布式锁服务（分布式环境下并发操作的同步） • MapReduce分布式编程模型的结构（并行数据处理） • BigTable结构化数据存储系统（管理组织海量的数据）
google云计算的构成要素
Google云计算应用
惊人，能容纳不计其数的网络数据拷贝，因此搜索速度能够更快，在眨眼之
间便能为数十亿的搜索提交答案。
• 向"云"规模的数据处理迈进标志着我们在信息处理方面发生了翻天覆地的转 变。从最基本的层面讲，"云"的发展就如同100年前人类用电的进程演变，当 时的农场和公司逐渐关闭了自己的发电机，转而从高效的发电厂购买电力。 Google的高管们很早前就开始展望这一转变并为之进行筹划准备。
强大的分布式处理能力
• 云计算：其概念是由Google提出的，这是一个美 丽的网络应用模式。
• 主要目的：它旨在通过网络把多个成本相对较低 的计算实体整合成一个具有强大计算能力的完美 系统。
强大的分布式处理能力
•
由几十万甚至大约100万台廉价的服务器所组成的网络。这些机器单个
而论的话，其性能并不比家用台式机强大多少。但是这个网络存储的数据量
过程5master通知分配了reduce作业的worker它负责的分区在什么位置当reduceworker把所有它负责的中间键值对都读过来后先对它们进行排序使得相同键的键值对聚集在一起
Google云计算的强 大处理能力
目录
• 1.为何云计算有强大的处理能力 • 2.云计算的构成要素 • 3.MapReduce分布式编程模型的结构 • 4.MapReduce对数据处理的流程 • 5.容错机制