大数据组件汇总

hadoop的生态体系及各组件的用途
Hadoop是一个生态体系，包括许多组件，以下是其核心组件和用途：
1. Hadoop Distributed File System (HDFS)：这是Hadoop的分布式文件系统，用于存储大规模数据集。

它设计为高可靠性和高吞吐量，并能在低成本的通用硬件上运行。

通过流式数据访问，它提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。

2. MapReduce：这是Hadoop的分布式计算框架，用于并行处理和分析大规模数据集。

MapReduce模型将数据处理任务分解为Map和Reduce两个阶段，从而在大量计算机组成的分布式并行环境中有效地处理数据。

3. YARN：这是Hadoop的资源管理和作业调度系统。

它负责管理集群资源、调度任务和监控应用程序。

4. Hive：这是一个基于Hadoop的数据仓库工具，提供SQL-like查询语言和数据仓库功能。

5. Kafka：这是一个高吞吐量的分布式消息队列系统，用于实时数据流的收集和传输。

6. Pig：这是一个用于大规模数据集的数据分析平台，提供类似SQL的查询语言和数据转换功能。

7. Ambari：这是一个Hadoop集群管理和监控工具，提供可视化界面和集群配置管理。

此外，HBase是一个分布式列存数据库，可以与Hadoop配合使用。

HBase 中保存的数据可以使用MapReduce来处理，它将数据存储和并行计算完美地结合在一起。

⼤数据相关组件介绍HDFS: ⽤于存放⼀切信息的分布式的⽂件系统。

⼤数据系统由于其涉及到的数据量较⼤所以往往需要仰赖于⼀个数据仓库系统，将所有的数据能够分门别类地存储起来，⽽HDFS就是这样⼀个仓库。

需要注意⼀点，HDFS并不是我们通常实际⽤来查询或者处理数据的数据仓库组件，其更像是仓库本⾝，是⼀个偏硬件，偏系统化的概念，⽤于将所有的信息都囊括进去。

MapReduce: 软件框架，编写程序。

⽤于实际进⾏计算数据的编程模型，其特质强调分布式与并⾏。

可以说，MapReduce是真正实现对⼤量数据进⾏操作和处理的⼯具。

ZooKeeper: 负责⼤数据系统中，统⼀管理调度整个仓库运作的⼯程班。

我们可以想象得到，⼀个复杂的系统想要能够稳定运作下去，其必须需要⼀个相应的⾓⾊，专职负责统⼀调度整个系统的资源，发布任务，协调各个组件之间的运⾏。

ZooKeeper就是这样⼀个⾓⾊，可以这样说，ZooKeeper的存在，使得分布式的系统在协调运作上得到的保证。

HBase: ⾮常适合⽤于⼤数据的实时查询。

存放数据的架⼦。

当我们有了存储和处理数据的仓库以后，我们肯定不能将数据杂乱的堆积到仓库中吧？HBase就是仓库中的架⼦，我们在拿到数据后，会将数据放到相应的架⼦中，这样以后当我们需要使⽤或者处理数据时，只需要去找到相应的架⼦就好了。

所以HBase具备⼀些数据库的功能，然⽽这⾥要强调⼀下，HBase是⼀个Nosql的数据库。

Hive: 数据仓库可以⽤SQL查询，可以运⾏Map/Reduce程序。

⽤来计算趋势或者⽹站⽇志，不应⽤于实时查询，需要很长时间返回结果。

查找数据的⼯具。

从前⾯这个定义可以看出来，Hive其实和HBase在功能上有很多相似的地⽅，它们都可以查找数据，然⽽Hive本质上只是查找数据的功能，其不能更新数据（但是可以写⼊）。

⽽HBase中，常⽤的增删改查都是⽀持的。

Pig: 处理数据的⼯具。

Pig是基于MapReduce的，所以当直接使⽤MapReduce开发相应的数据处理⽐较困难的话，Pig就是我们会想要使⽤的⼯具了。

⼤数据组件
⼀.⼤数据组件分类:
1.计算类: hadoop,spark,flink,hive
2.传输类:kafka,flume,redis
3.存储类:hbase,mongodb,Cassandra
4.调度类:zookeeper
5.配置类:mesos,yarn
⼆.流⾏的框架SMACK
Spark Mesos Akka Cassandra Kafka
三.Apache
Zookeeper 分布式调度
Spark 计算
Kafka 中⼼化传输整合数据,⾯向服务
Cassandra 线性增加容量,节省资源,consistency可调节
Mesos 分布式任务调度系统,智能调度硬件资源
四.⼤数据⼤数据对框架和⼯具的要求:
⾼可⽤性,⾼性能,⾼可扩展性
五.常见⼤数据架构包括:
数据注⼊层(webserver等)
数据存储层
数据处理层
六.⼤数据技术⼈员两个⼤⽅向
做⼤规模⾼并发的线上服务
做⼤数据分析
七.⼤数据指的是规模超过现有数据库⼯具获取、存储、管理和分析能⼒的数据集，并同时强调并不是超过某个特定数量级的数据集才是⼤数据
⼋.国际数据公司（IDC）⽤四个维度的特征来定义⼤数据，即数据集的规模（Volume）、数据流动的速度（Velocity）、数据类型的多少（Variety）和数据价值的⼤⼩（Value）。

常用技术组件分类技术组件可以根据其功能和应用领域进行分类。

以下是一些常见的分类方式：1.网络服务类：负载均衡：如Nginx、OpenResty、LVS、F5、HAproxy等，主要用于分发网络流量，提高系统的可用性和性能。

HTTP服务：如Nginx、Apache等，提供Web服务，处理HTTP 请求和响应。

Web容器：如Tomcat、Jetty等，用于运行Web应用程序。

2.存储访问类：数据库：如MySQL、MongoDB、Redis、PostgreSQL等，用于存储和检索数据。

缓存：如Redis、MemCached、EhCache等，用于提高数据访问速度，减轻数据库压力。

3.数据处理类：搜索引擎：如ElasticSearch、Solr等，用于处理大数据量的快速搜索和分析。

大数据组件：如Hadoop、Spark等，用于处理和分析大规模数据。

数据复制：用于实现数据同步，满足数据多级存储、交换和整合需求。

4.基础类：用户界面组件：如前端框架（React、Vue、Angular等）、UI库（Bootstrap、AntDesign等），用于构建用户界面。

通信组件：如消息队列（Kafka、RabbitMQ等）、RPC框架（Dubbo、Thrift等），用于实现系统间的通信。

日志组件：如ELK（Elasticsearch、Logstash、Kibana）等，用于记录和分析系统日志。

5.业务组件：工作流引擎：用于实现业务流程的自动化。

邮件发送：用于发送电子邮件。

文件上传下载：用于处理文件的上传和下载。

系统管理：用于管理和监控系统资源。

这些组件在软件开发中起着至关重要的作用，它们可以提高开发效率，降低维护成本，增强系统的稳定性和可扩展性。

同时，随着技术的不断发展，新的技术组件也在不断涌现，为软件开发提供更多的选择和可能性。

简述hadoop核心组件及功能应用Hadoop是一个开源的分布式计算系统，由Apache组织维护。

它可以处理大量的数据，支持数据的存储、处理和分析。

其核心组件包括HDFS（Hadoop分布式文件系统）、MapReduce计算框架、YARN（资源管理）。

以下是对每个核心组件的简要介绍：1. HDFSHDFS是Hadoop分布式文件系统，它是Hadoop最核心的组件之一。

HDFS是为大数据而设计的分布式文件系统，它可以存储大量的数据，支持高可靠性和高可扩展性。

HDFS的核心目标是以分布式方式存储海量数据，并为此提供高可靠性、高性能、高可扩展性和高容错性。

2. MapReduce计算框架MapReduce是Hadoop中的一种计算框架，它支持分布式计算，是Hadoop的核心技术之一。

MapReduce处理海量数据的方式是将数据拆分成小块，然后在多个计算节点上并行运行Map和Reduce任务，最终通过Shuffle将结果合并。

MapReduce框架大大降低了海量数据处理的难度，让分布式计算在商业应用中得以大规模应用。

3. YARNYARN是Hadoop 2.x引入的新一代资源管理器，它的作用是管理Hadoop集群中的资源。

它支持多种应用程序的并行执行，包括MapReduce和非MapReduce应用程序。

YARN的目标是提供一个灵活、高效和可扩展的资源管理器，以支持各种不同类型的应用程序。

除了以上三个核心组件，Hadoop还有其他一些重要组件和工具，例如Hive（数据仓库）、Pig（数据分析）、HBase（NoSQL数据库）等。

这些组件和工具都是Hadoop生态系统中的重要组成部分，可以帮助用户更方便地处理大数据。

总之，Hadoop是目前最流行的大数据处理框架之一，它的核心组件和工具都为用户提供了丰富的数据处理和分析功能。

大数据组件之间的关系
大数据组件之间的关系是相互依赖和相互配合的。

大数据组件通常由多个组件组成，每个组件负责不同的功能和任务。

以下是一些常见的大数据组件及其关系：
1. 数据采集和存储：数据采集和存储是大数据的第一步，通常使用的组件包括数据采集工具和数据存储系统，如Flume、Kafka和HDFS等。

这些组件负责将数据从各种来源收集起来，并存储在可供后续处理的地方。

2. 数据处理和分析：一旦数据被采集和存储，接下来需要对数据进行处理和分析。

常见的数据处理和分析组件包括MapReduce、Spark和Flink等。

这些组件负责将大规模的数据集拆分成小规模的任务，并分发给集群中的计算节点进行处理和分析。

3. 数据查询和分析：一旦数据经过处理和分析，通常需要进行查询和分析，以提取有价值的信息。

常见的组件包括Hive、Pig和Impala等。

这些组件提供了SQL或类SQL的查询语言，使用户可以轻松地对数据进行查询和分析。

4. 数据可视化和报告：将数据可视化和报告是将数据结果呈现给用户的重要一环。

常见的组件包括Tableau、PowerBI和
D3.js等。

这些组件可以将数据以图表、图形和报告的形式展
示给用户，使用户更容易理解和解释数据。

总的来说，大数据组件之间的关系是相互依赖和相互配合的。

每个组件负责不同的功能和任务，通过各种方式连接在一起，共同完成大数据处理和分析的工作。

hadoop各个组件功能及其原理Hadoop是一个大数据处理框架，由若干个组件组成。

这些组件各有不同的功能，可以协同工作，使得Hadoop具有处理大数据的能力。

HDFS（Hadoop Distributed File System）是Hadoop的分布式文件系统。

它的主要功能是存储和读取数据。

HDFS将数据分散存储在多个节点上，以实现高可靠性和高扩展性。

HDFS读取数据时会自动将数据从多个节点上获取，以提高效率。

MapReduce是Hadoop的计算框架。

MapReduce将大数据分成多个小数据块，在多个节点上并行执行数据处理任务，以实现快速计算。

MapReduce的执行过程分为两个阶段：Map阶段和Reduce阶段。

Map阶段对数据进行初步处理，将其转化为键值对的形式，而Reduce阶段对键值对进行汇总和计算，生成最终的结果。

YARN（Yet Another Resource Negotiator）是Hadoop的资源管理器。

它负责对集群中的资源进行分配和管理，为MapReduce任务提供必要的资源。

在YARN下，每个应用程序都有一个ApplicationMaster来协调资源的分配和任务的执行。

HBase是Hadoop中的分布式列存储数据库。

HBase支持海量数据的快速读取和写入，同时提供高可靠性和高可扩展性。

HBase将数据存储在HDFS中，可以提供实时访问和查询数据。

ZooKeeper是Hadoop中的分布式协调服务。

ZooKeeper为Hadoop集群提供服务发现、配置管理和同步协议等功能。

ZooKeeper可以用于协调多个节点之间的操作，防止出现并发问题。

总之，Hadoop各组件的功能各异，但在协同工作中，可以处理大数据和实时应用程序的需求。

Hadoop的成功在于它的可扩展性和弹性，可以简单地增加或减少节点，以应对不断变化的业务需求。

数据治理常用技术组件
以下是数据治理常用的技术组件：
1. 数据质量管理工具：用于监测和管理数据的质量，包括数据清洗、数据标准化、数据校验等功能。

2. 数据建模工具：用于创建和管理数据模型，包括概念模型、逻辑模型和物理模型等。

3. 数据仓库和数据集市工具：用于存储和管理数据，包括数据抽取、转换和加载（ETL）工具、数据存储和查询工具等。

4. 元数据管理工具：用于管理数据的元数据，包括数据字典、数据流程图、数据映射等。

5. 数据安全管理工具：用于保护数据的安全性，包括数据加密、数据脱敏、用户认证和授权等。

6. 数据治理平台：用于集中管理和监控数据治理活动，包括数据策略管理、数据标准管理、数据质量管理、数据安全管理等。

7. 数据分析工具：用于分析和可视化数据，包括数据挖掘工具、商业智能工具、数据可视化工具等。

8. 数据治理框架和标准：用于指导数据治理实践，包括 COBIT、DAMA 框架、ISO 38505 等。

这些技术组件可以帮助组织有效地管理和治理数据，提高数据质量、安全性和可靠性，促进数据的共享和利用。

⼤数据⽣态中的组件转载地址：/u010039929/article/details/70157376⼤数据⽣态⼯具种类繁多，不同模块有不同组件，下⾯简略的介绍⼀下模块的组件。

1、⽂件系统HDFS Hadoop Distributed File System，简称HDFS，是⼀个分布式⽂件系统。

HDFS是⼀个⾼度容错性的系统，适合部署在廉价的机器上。

HDFS能提供⾼吞吐量的数据访问，⾮常适合⼤规模数据集上的应⽤。

GlusterFS 是⼀个集群的⽂件系统，⽀持PB级的数据量。

GlusterFS 通过RDMA和TCP/IP⽅式将分布到不同服务器上的存储空间汇集成⼀个⼤的⽹络化并⾏⽂件系统。

Ceph 是新⼀代开源分布式⽂件系统，主要⽬标是设计成基于POSIX的没有单点故障的分布式⽂件系统，提⾼数据的容错性并实现⽆缝的复制。

Lustre 是⼀个⼤规模的、安全可靠的、具备⾼可⽤性的集群⽂件系统，它是由SUN公司开发和维护的。

该项⽬主要的⽬的就是开发下⼀代的集群⽂件系统，⽬前可以⽀持超过10000个节点，数以PB的数据存储量。

Alluxio 前⾝是Tachyon，是以内存为中⼼的分布式⽂件系统，拥有⾼性能和容错能⼒，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的⽂件共享服务。

PVFS 是⼀个⾼性能、开源的并⾏⽂件系统，主要⽤于并⾏计算环境中的应⽤。

PVFS特别为超⼤数量的客户端和服务器端所设计，它的模块化设计结构可轻松的添加新的硬件和算法⽀持。

2、数据存储MongoDB 是⼀个基于分布式⽂件存储的数据库。

由C++语⾔编写。

旨在为web应⽤提供可扩展的⾼性能数据存储解决⽅案。

介于关系数据库和⾮关系数据库之间的开源产品，是⾮关系数据库当中功能最丰富、最像关系数据库的产品。

Redis 是⼀个⾼性能的key-value存储系统，和Memcached类似，它⽀持存储的value类型相对更多，包括string（字符串）、list（链表）、set（集合）和zset（有序集合）。

Hadoop三大核心组件及应用场景分析Hadoop是一个开源的分布式计算平台，拥有良好的可扩展性和容错性，已成为大数据处理领域的领导者。

Hadoop的三大核心组件包括Hadoop分布式文件系统（HDFS）、MapReduce和YARN，本文将分别介绍它们的特点和应用场景。

一、HDFSHDFS是Hadoop分布式文件系统，是Hadoop的存储层。

它的设计灵感来源于Google的GFS（Google File System）。

HDFS将文件分割成块（Block）并存储在集群的不同节点上，块的大小通常为128MB。

这样，大文件可以并发地读取和写入，加快了数据处理的速度。

同时，HDFS具有高可靠性，它能够自动将数据复制到不同节点上，从而避免节点故障时数据的丢失。

HDFS常用于处理海量数据，例如日志分析、数据挖掘等。

在日志分析中，HDFS可以存储大量的日志数据，MapReduce处理日志数据并生成相应的统计结果。

在数据挖掘中，HDFS可以存储大量的原始数据，MapReduce处理数据并生成分析报告。

二、MapReduceMapReduce是Hadoop的计算框架，是Hadoop的处理层。

它的设计灵感来源于Google的MapReduce。

MapReduce将计算分解成两个过程：Map（映射）和Reduce（归约）。

Map过程将数据分割成小块并交给不同的节点处理，Reduce过程将不同节点处理的结果汇总起来生成最终的结果。

MapReduce适用于大规模的数据处理、批量处理和离线处理等场景。

例如，某电商公司需要对每个用户的操作行为进行分析，并生成商品推荐列表。

这种场景下，可以将用户的操作行为数据存储在HDFS中，通过MapReduce对数据进行分析和聚合，得到每个用户的偏好和行为模式，最终为用户生成相应的商品推荐列表。

三、YARNYARN（Yet Another Resource Negotiator）是Hadoop的资源管理框架，能够为分布式计算集群提供高效的资源管理和调度功能。

大数据组件是指在处理大数据时所使用的各种软件工具和技术，它们协同工作以解决数据存储、处理、分析和可视化等问题。

以下是一些常见的大数据组件及其原理：1. Hadoop:-原理：Hadoop 是一个开源框架，它允许分布式处理大规模数据集。

它依赖于HDFS（Hadoop Distributed File System）来存储数据，以及MapReduce 来进行数据处理。

2. Spark:-原理：Spark 是一个用于大规模数据处理的开源计算引擎，它提供了比Hadoop MapReduce 更快的数据处理能力。

Spark 使用RDD（Resilient Distributed Datasets）作为其基本数据结构，支持内存计算，可以显著提高数据处理速度。

3. Hive:-原理：Hive 是一个构建在Hadoop 之上的数据仓库工具，它允许用户使用类似SQL 的查询语言（HiveQL）来查询数据。

Hive 将SQL 查询转换为MapReduce 任务进行执行。

4. Pig:-原理：Pig 是另一个构建在Hadoop 上的高级数据处理工具，它使用Pig Latin 语言来简化MapReduce 编程。

Pig 将Pig Latin 脚本转换成一系列的MapReduce 任务。

5. Impala:-原理：Impala 是一个开源的大数据查询引擎，它允许用户快速执行SQL 查询against Hive 和HBase 数据。

Impala 直接在存储层上执行查询，避免了传统MapReduce 的开销。

6. HBase:-原理：HBase 是一个分布式的、面向列的开源数据库，它是Apache 软件基金会的一部分，运行在Hadoop 文件系统上。

HBase 适合于随机实时读/写访问大数据。

7. Kafka:-原理：Kafka 是一个分布式流处理平台，它用于构建实时数据管道和流应用程序。

Kafka 能够处理高速流动的大量数据，并支持数据持久化。

⼤数据常见⾯试题与参考答案总结技术⾯试题1.Hadoop中有哪些组件？Hadoop=HDFS+Yarn+MapReduce+Hive+Hbase+...1).HDFS:分布式⽂件存储系统主：namenode,secondarynamenode从：datanode2).Yarn:分布式资源管理系统，⽤于同⼀管理集群中的资源（内存等）主：ResourceManager从：NodeManager3).MapReduce:Hadoop的计算框架，⽤map和reduce⽅式实现数据的全局汇总4).Zookeeper：分布式协调服务，⽤于维护集群配置的⼀致性、任务提交的事物性、集群中服务的地址管理、集群管理等主：QuorumPeerMain从：QuorumPeerMain5).Hbase:Hadoop下的分布式数据库，类似于NoSQL主：HMaster,HRegionserver,Region7).Hive:分布式数据仓库，其实说⽩了就是⼀个数据分析⼯具，底层⽤的还是MapReduce8).Sqoop:⽤于将传统数据库中数据导⼊到hbase或者Hdfs中⼀个导⼊⼯具9).Spark:基于内存的分布式处理框架主：Master从：Worker2.Hdfs中⾓⾊有哪些？NameNode：管理元数据信息，给⼦节点分配任务（FSImage是主节点启动时对整个⽂件系统的快照，Edits是修改记录）DataNode：负责数据存储，实时上报⼼跳给主节点SecondaryNameNode：1）⾸先，它定时到NameNode去获取edit logs，并更新到fsimage上。

⼀旦它有了新的fsimage⽂件，它将其拷贝回 NameNode中。

2） NameNode在下次重启时会使⽤这个新的fsimage⽂件，从⽽减少重启的时间。

3.Hdfs和Yarn有什么区别？1）Hdfs是分布式⽂件存储系统，是⽤来存储⽂件的；2）Yarn是⼀个资源管理系统，可为上层应⽤提供统⼀的资源管理和调度，它的引⼊为集群在利⽤率、资源统⼀管理和数据共享等⽅⾯带来了巨⼤好处4.MapReduce的shuffle过程？从Map产⽣输出开始到Reduce取得数据作为输⼊之前的过程称作shuffle。

五种大数据架构简介随着互联网技术的飞速发展和数据量的爆炸式增长，大数据已经成为当今社会中不可忽视的一个重要领域。

在处理大数据时，选择合适的数据架构对于提高数据的效率和准确性至关重要。

本文将介绍五种常见的大数据架构，分别是集中式架构、分布式架构、Lambda架构、Kappa架构以及微服务架构。

1. 集中式架构集中式架构是最早出现的大数据架构之一。

它采用单一的中央服务器来处理和存储数据。

所有的数据都通过这个中央服务器进行处理和管理。

这种架构简单直观，易于控制和维护，但是在处理大规模数据时面临性能瓶颈和单点故障的问题。

2. 分布式架构为了解决集中式架构的问题，分布式架构应运而生。

分布式架构将数据分散存储在多个节点上，每个节点负责部分数据的处理和管理。

这种架构能够充分利用集群中的计算资源，提高数据处理的效率和容错性。

同时也引入了复杂的数据分片、数据同步和故障恢复等技术挑战。

3. Lambda架构Lambda架构是一种结合了实时处理和批量处理的大数据架构。

它将数据流分为两条路径：一条路径用于实时处理，另一条路径用于批量处理。

实时处理路径负责接收和处理实时数据，而批量处理路径则负责离线处理和存储大规模的历史数据。

最终，这两条路径的结果会被合并，提供给应用程序使用。

这种架构能够兼顾实时性和数据完整性，适用于需要实时数据分析的场景。

4. Kappa架构Kappa架构是对Lambda架构的一种改进和简化。

在Kappa架构中，实时处理和批量处理合并为一条路径。

它使用了流式处理引擎，能够实现实时数据处理和存储。

相比于Lambda架构，Kappa架构减少了系统的复杂性和延迟，但同时也限制了对历史数据的处理和分析能力。

5. 微服务架构微服务架构是一种将单一的大数据应用拆分成多个小型服务的架构。

每个服务都独立运行，可以根据不同的需求进行扩展和部署。

这种架构能够提高系统的灵活性和可扩展性，同时也降低了开发和维护的难度。

对于大数据应用来说，微服务架构可以将不同类型的数据处理服务进行解耦，提高整体的效率和可维护性。

⼤数据学习——三⼤组件总结
#解决海量数据的存储问题
分布式⽂件系统（HDFS）
1、具有分布式的集群结构我们把这样实际存储数据的节点叫做 datanode
2、具有⼀个统⼀对外提供查询存储搜索机器节点
对外跟客户端统⼀打交道
对内跟实际存储数据的节点打交道
3、具有备份的机制解决了机器挂掉时候数据丢失的问题
4、具有统⼀的API 对客户端来说不⽤操⼼你集群内部的事情只要我调⽤你的API，
我就可以进⾏⽂件的读取存储甚⾄是搜索
甚⾄我们希望可以提供⼀个分布式⽂件系统的引⽤ fs= new FileSystem()
fs.add .copy .rm
#解决分布式数据计算（处理）问题
分布式的编程模型（MapReduce）
思想分⽽治之：先局部再总体
map(映射) reduce(聚合)
整天上作为⼀个编程模型：需要给⽤户提供⼀个友好便捷的使⽤规范
⽐如：你要继承什么东西配置什么怎么去调⽤怎么去执⾏
1、继承我们的⼀个mapper 实现⾃⼰的业务逻辑
2、继承我们的⼀个reduce 实现⾃⼰的业务逻辑
3、最好可以提供可供⽤户进⾏相关配置的类或者配置⽂件
作为⼀个分布式计算框架最好我们还提供⼀个程序的总管（MrAppmater）⽤来管理这种分布式计算框架的内部问题：启动衔接等等#解决了分布式系统的资源管理问题
分布式资源管理（yarn）
为了更好的管理我们集群的资源最好设计成分布式的架构
1、需要⼀个统⼀对外提供服务的节点（某⼀机器或者机器上的⼀个进程⼀个服务）
叫做资源管理者 ResourceManager
2、需要在集群中的每台机器上有⼀个⾓⾊⽤来进⾏每台机器资源的管理汇报
叫做节点管理者 nodemanager。