风电场数据中心Hadoop云平台作业调度算法研究

Hadoop集群三种作业调度算法介绍Hadoop集群中有三种作业调度算法，分别为FIFO，公平调度算法和计算能⼒调度算法先来先服务（FIFO）Hadoop中默认的调度器FIFO，它先按照作业的优先级⾼低，再按照到达时间的先后选择被执⾏的作业。

FIFO⽐较简单，hadoop中只有⼀个作业队列，被提交的作业按照先后顺序在作业队列中排队，新来的作业插⼊到队尾。

⼀个作业运⾏完后，总是从队⾸取下⼀个作业运⾏。

这种调度策略的优点是简单、易于实现，同时也减轻了jobtracker的负担。

但是它的缺点也是显然的，它对所有的作业都⼀视同仁，没有考虑到作业的紧迫程度，另外对⼩作业的运⾏不利。

公平调度策略这种策略在系统中配置了任务槽，⼀个任务槽可以运⾏⼀个task任务，这些任务就是⼀个⼤的作业被切分后的⼩作业。

当⼀个⽤户提交多个作业时，每个作业可以分配到⼀定的任务槽以执⾏task任务（这⾥的任务槽可以理解为可以运⾏⼀个map任务或reduce任务）。

如果把整个hadoop集群作业调度跟操作系统的作业调度相⽐，第⼀种FIFO就相当于操作系统中早期的单道批处理系统，系统中每个时刻只有⼀道作业在运⾏，⽽公平调度相当于多道批处理系统，它实现了同⼀个时刻多道作业同时运⾏。

由于linux是多⽤户的，若有多个⽤户同时提交多个作业会怎样？在这种策略中给每个⽤户分配⼀个作业池，然后给每个作业池设置⼀个最⼩共享槽个数，什么是最⼩共享槽个数呢？先要理解⼀个最⼩什么意思，最⼩是指只要这个作业池需要，调度器应该确保能够满⾜这个作业池的最⼩任务槽数的需求，但是如何才能确保在它需要的时候就有空的任务槽，⼀种⽅法是固定分配⼀定数量的槽给作业池不动，这个数量⾄少是最⼩任务槽值，这样只要在作业池需要的时候就分配给它就⾏了，但是这样在这个作业池没有⽤到这么多任务槽的时候会造成浪费，这种策略实际上是这样做的，当作业池的需求没有达到最⼩任务槽数时，名义上是⾃⼰的剩余的任务槽会被分给其他有需要的作业池，当⼀个作业池需要申请任务槽的时候若系统中没有了，这时候不会去抢占别⼈的（也不知道抢谁的啊），只要当前⼀个空的任务槽释放会被⽴即分配给这个作业池。

Hadoop 云平台下基于资源预估的作业调度算法卢慧;高弘博;张丰满;王梅;肖震【期刊名称】《计算机应用研究》【年(卷),期】2016(33)8【摘要】为解决 Hadoop 云平台下作业无法满足时间约束的问题，提出一种基于资源预估的作业调度算法。

通过建立资源预估模型计算作业所需资源，结合作业间的资源竞争关系对完成时间进行判定，最后根据作业的数据本地性改进延迟调度策略。

实验结果表明，该算法能够满足作业对时间约束的需求，提升系统的资源利用率。

%In order to satisfy the deadline constraints in Hadoop,this paper proposed a job scheduling algorithm based on data-aware.This algorithm proposed a resource estimation model and computed job’s deadline,then optimized the delay strategy ac-cording to resource locality.Through analyzing the result of experiments,this algorithm can satisfy the deadline constraints and improve the efficient in Hadoop.【总页数】4页(P2311-2314)【作者】卢慧;高弘博;张丰满;王梅;肖震【作者单位】成都纺织高等专科学校软件测试中心，成都 611731;成都纺织高等专科学校软件测试中心，成都 611731;成都纺织高等专科学校软件测试中心，成都 611731;成都纺织高等专科学校软件测试中心，成都 611731;中国建设银行武汉数据中心，武汉 430070【正文语种】中文【中图分类】TP393【相关文献】1.风电场数据中心Hadoop云平台作业调度算法研究 [J], 罗贤缙;岳黎明;甄成刚2.Hadoop下资源匹配最大集作业调度算法 [J], 朱洁;李雯睿;赵红;李滢3.一种基于资源预取的Hadoop作业调度算法 [J], 万兵;黄梦醒;段茜4.Hadoop云平台下基于资源感知的作业调度算法研究 [J], 肖坚5.一种基于动态资源采集的Hadoop作业调度算法 [J], 彭志伟;谷建华因版权原因，仅展示原文概要，查看原文内容请购买。

Hadoop作业调度与任务管理技巧探秘随着大数据时代的到来，Hadoop已经成为了处理海量数据的重要工具。

然而，要想在Hadoop中高效地进行作业调度和任务管理并不是一件容易的事情。

本文将探讨一些Hadoop作业调度和任务管理的技巧，帮助读者更好地利用Hadoop处理数据。

一、作业调度的重要性作业调度是Hadoop集群中的关键环节，它决定了作业的执行顺序和资源分配。

一个好的作业调度策略可以提高作业的执行效率，减少资源的浪费。

在设计作业调度策略时，需要考虑以下几个方面：1. 作业的优先级：根据作业的重要性和紧急程度，设置不同的优先级。

优先级高的作业将被优先执行，确保重要的作业能够及时完成。

2. 作业的依赖关系：有些作业可能依赖于其他作业的结果，需要在前一作业完成后才能执行。

在作业调度时，需要考虑作业之间的依赖关系，合理安排执行顺序。

3. 资源的分配：Hadoop集群中的资源是有限的，作业调度时需要根据作业的需求和集群的资源情况，合理分配资源。

可以根据作业的大小和复杂度，调整作业的并发度，以充分利用集群资源。

二、任务管理的技巧除了作业调度，任务管理也是Hadoop中不可忽视的一环。

任务管理涉及到任务的启动、监控和失败处理等方面。

以下是一些任务管理的技巧：1. 启动任务的并发度：在启动任务时，可以设置适当的并发度。

过高的并发度可能导致资源竞争，影响任务的执行效率；过低的并发度则会导致资源浪费。

根据集群的资源情况和任务的需求，选择合适的并发度。

2. 监控任务的执行情况：在任务执行过程中，及时监控任务的执行情况是很重要的。

可以通过Hadoop的监控工具来查看任务的进度、资源使用情况和错误日志等。

及时发现问题并采取相应的措施，可以避免任务执行失败或资源浪费。

3. 失败处理策略：任务执行失败是不可避免的，需要有相应的处理策略。

可以设置任务重试次数，当任务执行失败时，自动重试。

同时，还可以将失败的任务重新分配给其他可用的节点，以提高任务的执行成功率。

摘要数据的指数级增长向世界互联网巨头Google、Yahoo、Amazon和Microsoft 等这些处于市场领导地位的公司提出了挑战，它们需要分析TB级和PB级的海量数据以发现有价值的信息推荐给那些有潜在需求的人群。

现有的工具正变得无力处理如此大的数据集，Google率先推出了MapReduce编程模型，这是Google 公司为了在廉价的计算机集群上来存储并处理PB级的数据而提出的一种解决方案。

这一解决方案引起了学术界和工业界的广泛关注，因为许多企业同样面临数据膨胀的挑战，一些开源软件诸如Hadoop等给这些企业带来了希望，使它们能够在廉价的计算机集群上存储海量数据，并能够运用MapReduce的思想并行处理这些海量数据，为它们节约了大量的计算以及存储成本。

由于现有的Hadoop集群中包含各种类型的作业，有些作业对完成时间没有要求，而某些作业的完成时间过长时有可能给企业带来损失，为此本文着重研究了集群中各种作业的调度执行流程，分析了MapReduce现有的调度机制，本文针对目前调度算法不能支持对时间紧迫性要求较高的作业的需求，对作业调度算法进行了相应的改进，设计并编写了一个双队列的作业调度器，并研究了集群中慢节点的判定方法、推测执行任务的选定方法，以将推测执行的任务尽量分配给快节点执行，最大化的减少集群中资源的浪费，更好地满足用户的需求。

最后，我们通过搭建Hadoop集群对编写的双队列调度器的性能进行测试，验证了改进后调度算法的正确性，在集群中有各种类型的作业时，该调度器能够优先执行一些紧迫性要求较高的作业，以使它们尽早地完成，提高了集群资源的使用率，从而满足各种用户的需求。

关键词：Hadoop；作业调度；云计算；推测执行任务AbstractThe giant companies of the Internet, such as Google, Yahoo, Amazon and Microsoft and so on, have large amounts of data. The exponential data bring out many problems, so they have to discover the new technologies to anaylyze TB and PB level mass data to achieve useful information. The message is useful to those companies to find the popular books and musics, and recommend the popular news and books to the potential customers. But, the existing tools are becoming unable to handle such large data sets. Google, the first company who provide the MapReduce programming model and the model is able to process the data of PB levels in inexpensive computer clusters parallelly. This solution has attracted many companies in academical and the industrial, because many companies face the same challenge of data expansion problems. The problem was that many companies didn’t have the ablity to develop theirs own tools. Some opensource software, such as Hadoop, OpenStack and so on, offer promising hope those companies, and the companies can store huge amounts of data on inexpensive computer clusters, and be able to use the idea of MapReduce parallel processing of these massive data , as they save a lot of computing and storage costs.As the existing Hadoop cluster contai ns various types of jobs, some jobs’ completion time is not required, but others must finish in the given time to reduce some losses of the company, for which this article focuses on the various operating cluster scheduling the execution flow, analyzed existing MapReduce scheduling technology, and the paper find that the current scheduling algorithms can not support the higher requirements for time-critical jobs, so the job scheduling algorithms have some room to improvement, so we designd and implemented a double queue job scheduler, and studied the slow node cluster determination method, besides, we study the slow tasks which influence the jobs’ finish time. The task will be setup a speculate task in other node to speed up the task. The purpose of the improvement is to reduce the waste of resources in the cluster, and fufill the needs of the users.And finally, we set up a Hadoop cluster with our double queue scheduler to verify the performance of the improved scheduling algorithm, there are various types of jobs in a cluster, the scheduler can perform better when the cluster has the deadline jobs, and it can speed up the job’s finish time so that they can improve the utilization of resources in the cluster to meet the needs of various users.Keywords: hadoop; job scheduling; cloud computing; specutive task目录摘要 (I)Abstract (II)第1章绪论 (5)1.1 选题背景 (5)1.2 国内外研究现状 (6)1.3 论文研究内容 (7)1.4 论文组织结构 (9)第2章Hadoop开源云计算平台 (6)2.1 Hadoop平台背景 (10)2.1.1 Hadoop简介 (10)2.1.2 应用场景 (11)2.2 Hadoop平台核心组件 (12)2.2.1 Hadoop分布式文件系统 (12)2.2.2 Hadoop分布式并行计算框架 (13)2.3 本章小结 (15)第3章Hadoop平台下作业执行流程的研究 (16)3.1 作业的提交及其初始化 (16)3.2 作业调度概述 (17)3.3 Hadoop平台现有作业调度器研究 (18)3.3.1 FIFO调度器 (18)3.3.2 计算能力调度器 (19)3.3.3 公平份额调度器 (19)3.4 本章小结 (20)第4章Hadoop平台下作业调度算法的分析与优化 (21)4.1 Hadoop集群中各种资源及其调度机制 (21)4.2 推测执行任务以及其优化 (21)4.2.1 现有推测执行任务选定标准的不足 (22)4.2.2 改进后推测执行任务选定标准 (23)4.3 集群中慢节点的选定方法 (23)4.4 作业调度的优化 (25)4.4.1 选择任务的策略 (25)4.4.2 支持软实时调度的双队列作业调度器 (26)4.4.3 作业初始化后的任务选择策略 (30)4.5 本章小结 (33)第5章实验与结果分析 (34)5.1 实验平台与配置 (34)5.1.1 SSH、JDK以及Hadoop的安装与配置 (34)5.1.2 Hadoop的完全分布式配置 (36)5.2 实验结果与分析 (38)第6章结论与展望 (40)6.1 本文总结 (40)6.2 工作展望 (42)参考文献........................................................................................ 错误!未定义书签。