下载文档原格式
Hadoop概述⼀、Hadoop概述Hadoop实现了⼀个分布式⽂件系统，简称HDFS。
Hadoop在数据提取、变形和加载（ETL）⽅⾯有着天然的优势。
Hadoop的HDFS实现了⽂件的⼤批量存储，Hadoop的MapReduce功能实现了将单个任务打碎，将碎⽚任务（Map）发送到多个节点上，之后再以单个数据集的形式加载（Reduce）到数据仓库⾥。
Hadoop的ETL可批量操作数据，使处理结果直接⾛向存储。
Hadoop有以下特点：1、⾼可靠性。
因为它假设计算元素和存储会失败，因此它维护多个⼯作数据副本，能够确保针对失败的节点重新分布处理。
2、⾼扩展性。
Hadoop是在可⽤的计算机集簇间分配数据并完成计算任务的，这些集簇可⽅便的扩展到数以千计的节点中。
3、⾼效性。
它以并⾏的⽅式⼯作，能够在节点之间动态移动数据，并保证各个节点动态平衡，因此处理速度⾮常快。
4、⾼容错性。
Hadoop能够⾃动保存数据的多个副本，能够⾃动将失败的任务重新分配。
5、可伸缩性。
Hadoop能够处理PB级数据。
6、低成本。
Hadoop是开源的，项⽬软件成本⼤⼤降低。
Hadoop的组成：1、最底部的是HDFS（Hadoop Distribute File System），它存储Hadoop集群中所有存储节点上的⽂件，是数据存储的主要载体。
它由Namenode和DataNode组成。
2、HDFS的上⼀层是MapReduce引擎，该引擎由JobTrackers和TaskTrackers组成。
它通过MapReduce过程实现了对数据的处理。
3、Yarn实现了任务分配和集群资源管理的任务。
它由ResourceManager、nodeManager和ApplicationMaster组成。
Hadoop由以上三个部分组成，下⾯我们就这三个组成部分详细介绍：1、HDFSHadoop HDFS 的架构是基于⼀组特定的节点构建的，（1）名称节点（NameNode仅⼀个）负责管理⽂件系统名称空间和控制外部客户机的访问。
Hadoop的体系结构1. 介绍Hadoop是一个开源的分布式计算框架，主要用于存储和处理大规模数据集。
它采用了一种适用于大规模集群的可扩展性设计，能够在廉价的硬件上运行并处理TB到PB级别的数据。
Hadoop的体系结构包括了多个模块和组件，下面将详细探讨每个模块的功能和相互关系。
2. Hadoop体系结构图Hadoop体系结构的主要组成部分如下所示：+------------------+| Hadoop |+------------------+/ | \/ | \+-----------+ +-----------+ +-----------+| HDFS | | MapReduce | | YARN |+-----------+ +-----------+ +-----------+| | || | |+---------+ +---------+ +---------+| Name | | Data | | Application || Node | | Node | | Master/Node |+---------+ +---------+ +---------+3. HDFS (Hadoop分布式文件系统)HDFS是Hadoop的分布式文件系统，它用于存储大规模数据集，并提供了高可靠性、高性能和高容错性。
HDFS的体系结构包括以下组件：3.1 NameNodeNameNode是HDFS的主节点，负责管理整个文件系统的命名空间和元数据。
它维护了文件和目录树的结构，并保存了文件的属性（如权限、所有者等）。
NameNode还负责将文件划分为数据块，并记录每个数据块所在的DataNode。
3.2 DataNodeDataNode是HDFS中的工作节点，负责实际存储数据。
它接收来自客户端或其他DataNode的数据写请求，并将数据块存储在本地磁盘上。
DataNode还负责提供数据读取服务，将数据块传输给客户端或其他DataNode。
hadoop项目结构及各部分具体内容Hadoop是一个开源的分布式计算框架，由Apache基金会管理。
它的核心是Hadoop分布式文件系统（HDFS）和MapReduce计算模型。
其项目结构包括以下几个部分：1. Hadoop Common：这是Hadoop项目的核心模块，包含文件系统、I/O操作、网络通信、安全性等基本功能的实现。
2. Hadoop HDFS：这是Hadoop的分布式文件系统，用于存储和管理大量数据。
它将数据分割成块，将这些块存储在不同的计算机上，以实现数据的可靠性和高可用性。
3. Hadoop YARN：这是Hadoop的资源管理器，用于管理集群中的资源，包括内存、CPU、磁盘等。
它可以将集群资源分配给运行在集群上的应用程序，从而提高资源利用率。
4. Hadoop MapReduce：这是Hadoop的计算模型，用于在分布式环境下执行大数据处理任务。
MapReduce将任务分成更小的子任务，然后在不同的计算机上并行执行这些子任务，最后将结果合并。
除了以上核心部分，Hadoop还包括一些其他功能模块：1. Hadoop Hive：这是一个基于Hadoop的数据仓库，提供了SQL 查询功能。
它可以将结构化数据映射到Hadoop HDFS上，从而实现大规模数据的查询和分析。
2. Hadoop Pig：这是一个基于Hadoop的数据流语言和平台，用于进行大规模数据处理和分析。
它支持多种数据源和处理方式，可以快速地进行数据的转换和操作。
3. Hadoop HBase：这是一个基于Hadoop的分布式数据库，用于存储大量的结构化数据。
它支持高可用性、可靠性和扩展性，并提供了快速查询和插入数据的功能。
总之，Hadoop是一个强大的大数据处理框架，它的各个部分提供了不同的功能和特性，可以轻松地处理大规模数据。
Hadoop 生态系统介绍Hadoop生态系统是一个开源的大数据处理平台，它由Apache基金会支持和维护，可以在大规模的数据集上实现分布式存储和处理。
Hadoop生态系统是由多个组件和工具构成的，包括Hadoop 核心，Hive、HBase、Pig、Spark等。
接下来，我们将对每个组件及其作用进行介绍。
一、Hadoop核心Hadoop核心是整个Hadoop生态系统的核心组件，它主要由两部分组成，一个是Hadoop分布式文件系统（HDFS），另一个是MapReduce编程模型。
HDFS是一个高可扩展性的分布式文件系统，可以将海量数据存储在数千台计算机上，实现数据的分散储存和高效访问。
MapReduce编程模型是基于Hadoop的针对大数据处理的一种模型，它能够对海量数据进行分布式处理，使大规模数据分析变得容易和快速。
二、HiveHive是一个开源的数据仓库系统，它使用Hadoop作为其计算和存储平台，提供了类似于SQL的查询语法，可以通过HiveQL 来查询和分析大规模的结构化数据。
Hive支持多种数据源，如文本、序列化文件等，同时也可以将结果导出到HDFS或本地文件系统。
三、HBaseHBase是一个开源的基于Hadoop的列式分布式数据库系统，它可以处理海量的非结构化数据，同时也具有高可用性和高性能的特性。
HBase的特点是可以支持快速的数据存储和检索，同时也支持分布式计算模型，提供了易于使用的API。
四、PigPig是一个基于Hadoop的大数据分析平台，提供了一种简单易用的数据分析语言（Pig Latin语言），通过Pig可以进行数据的清洗、管理和处理。
Pig将数据处理分为两个阶段：第一阶段使用Pig Latin语言将数据转换成中间数据，第二阶段使用集合行处理中间数据。
五、SparkSpark是一个快速、通用的大数据处理引擎，可以处理大规模的数据，支持SQL查询、流式数据处理、机器学习等多种数据处理方式。
hadoop概述
Hadoop是一个开源的分布式计算框架，它由Apache基金会开发和
维护。
Hadoop可以存储和处理大规模数据集，它的核心组件包括Hadoop Distributed File System（HDFS）和MapReduce。
HDFS是一个分布式文件系统，它可以将大型数据集分成多个块，并
将这些块存储在不同的计算机上。
这种方式可以提高数据的可靠性和
可扩展性。
同时，HDFS还有自动备份和恢复机制，确保数据的安全性。
MapReduce是一种编程模型，用于处理大规模数据集。
MapReduce 将任务分成两个阶段：map阶段和reduce阶段。
在map阶段中，输入数据被划分为多个小块，并由不同的计算机并行处理。
在reduce阶段中，结果被合并为最终输出。
除了核心组件之外，Hadoop还有许多其他组件来增强其功能。
例如：
1. YARN：资源管理器，用于管理计算资源并调度任务。
2. Hive：基于SQL语言的数据仓库工具。
3. Pig：高级脚本语言，用于执行复杂的数据流转换。
4. HBase：非关系型数据库，用于存储半结构化或非结构化数据。
5. ZooKeeper：分布式应用程序协调服务。
总之，Hadoop是一个强大的分布式计算框架，它可以存储和处理大规模数据集，并提供了许多组件来增强其功能。
Hadoop已经成为许多企业和组织的首选解决方案，用于处理大规模数据集。
第一章大数据概述1.互联网的发展分为______个阶段。
A．一 B.三 C.二 D.四2.下列不属于大数据特点的是（）。
A.种类和来源多样化B.数据量巨大C.分析处理速度快D.价值密度高3.互联网发展的第_____个时代为智能互联网。
A.3.0B.4.0C.1.0D.2.04.关于大数据叙述不正确的一项是（）。
A.大数据=“海量数据”+“复杂类型的数据”B.大数据是指在一定时间对内容抓取、管理和处理的数据集合C.大数据可以及时有效的分析海量的数据D.数据包括结构化数据、半结构化数据、结构化数据。
5.下列数据换算正确的一项为（）。
A.1YB=1024EBB.1TB=1024MBC.1PB==1024EBD.1024ZB=1EB6.结构化数据的表现形式为______。
A.文本B.视图C.二维表D.查询7.结构化的数据，先有________,再有_________.A.数据结构B.结构数据C.内容结构D.结构内容8.结构化的数据，先有________,再有_________.A.数据结构B.结构数据C.内容结构D.结构内容9.软件是大数据的_________。
A.核心B.部件C.引擎D.集合10.大数据技术不包括( )。
A.数据计算B.数据存储C.数据冗余D.数据采集11.大数据的特点不包括（）。
A.数量大B.类型少C.速度快D.价值高第二章Hadoop简介1.下列对云栈架构层数不正确的一项为________。
A.三层云栈架构B.四层云栈架构C.五层云栈架构D.六层云栈架构2.下列______不是云计算三层架构的概括。
A.IaaSB.PaaSC.SaaPD.SaaS3.IaaS基础设施及服务可以称为______。
A.弹性计算B.效用计算C.有效计算D.随需应用4.四层云栈模式，是将三层模式中的_________进行分解，分为两层，一层为硬件层，一层为虚拟资源层。
A.硬件部分B.虚拟化部分C.基础设施D.平台5.五层云栈模式，第五层为______。
hadoop基本架构和工作原理Hadoop是一个分布式开源框架，用于处理海量数据。
它能够使用廉价的硬件来搭建集群，同时还提供了高度可靠性和容错性。
Hadoop基本架构包括Hadoop Common、Hadoop Distributed File System （HDFS）和Hadoop MapReduce三个部分，下面将详细介绍Hadoop的工作原理。
1. Hadoop CommonHadoop Common是整个Hadoop架构的基础部分，是一个共享库，它包含了大量的Java类和应用程序接口。
Hadoop集群的每一台机器上都要安装Hadoop Common，并保持相同版本。
2. HDFSHadoop Distributed File System（HDFS）是Hadoop的分布式文件存储部分。
它的目的是将大型数据集分成多个块，并且将这些块在集群中的多个节点间分布式存储。
HDFS可以实现高度可靠性，因为它将每个块在存储节点之间备份。
HDFS可以在不同的节点中进行数据备份，这确保了数据发生故障时，可以轻松恢复。
3. MapReduceHadoop MapReduce是一种编程模型，用于处理大型数据集。
它将处理任务分成两个主要阶段，即Map阶段和Reduce阶段。
在Map阶段，MapReduce将数据集分成小块，并将每个块分配给不同的节点进行处理。
在Reduce阶段，结果被聚合，以生成最终的输出结果。
总的来说，MapReduce作为Hadoop的核心组件，负责对数据集进行处理和计算。
它充当的角色是一个调度员，它会将不同的任务分发到集群中的不同节点上，并尽力保证每个任务都可以获得足够的计算资源。
Hadoop采用多种技术来提供MapReduce的分布式计算能力，其中包括TaskTracker、JobTracker和心跳机制等。
TaskTracker是每个集群节点的一个守护程序，负责处理MapReduce任务的具体实现。
Hadoop知识点总结Hadoop知识点总结1.什么是hadoop?hadoop是⼀个开源软件框架，⽤于存储⼤量数据，并发处理/查询在具有多个商⽤硬件(即低成本硬件)节点的集群上的那些数据。
总之Hadoop包括⼀下内容：HDFS(Hadoop分布式⽂件系统)：允许以⼀种分布式和冗余的⽅式存储⼤量数据。
例如：1GB(即1024MB)⽂本⽂件可以拆分为16*128MB⽂件，并存储在Hadoop集群中的8个不同节点上。
每个分裂可以复制三次，以实现容错，以便如果⼀个节点出现错误的话，也有备份。
HDFS适⽤于顺序的"⼀次写⼊，多次读取"的类型访问。
MapReduce:⼀个计算框架。
它以分布式和并⾏的⽅式处理⼤量的数据，当你对所有年龄>18的⽤户在上述1GB⽂件上执⾏查询时，将会有"8个映射"函数并⾏运⾏，以在其128MB拆分⽂件中提取年龄>18的⽤户，然后"reduce"函数将将会运⾏以将所有单独的输出组合成单个最终结果。
YARN(⼜⼀资源定位器)：⽤于作业调度和集群资源管理的框架。
Hadoop⽣态系统，拥有15多种框架和⼯具，如Sqoop,Flume,Kafka,Pig,Hive,Spark,Impala等以便将数据摄⼊HDFS，在HDFS中转移数据(即变换、丰富、聚合等)，并查询来⾃HDFS的数据⽤于商业智能和分析。
某些⼯具(如Pig和Hive)是MapReduce上的抽象层，⽽Spark和Impala等其他⼯具则是来⾃MapReduce的改进架构/设计，⽤于显著提⾼延迟以⽀持近实时和实时处理2.为什么组织从传统的数据仓库⼯具转移到基于Hadoop⽣态系统的智能数据中⼼？1.现有数据基础设施：主要使⽤存储在⾼端和昂贵硬件中的"structured data，结构化数据"主要处理为ETL批处理作业，⽤于将数据提取到RDBMS和数据仓库系统中进⾏数据挖掘，分析和报告，以进⾏关键业务决策主要处理以千兆字节到兆字节为单位的数据量2.基于Hadoop的更加智能的数据基础设施，其中：结构化(例如RDBMS)，⾮结构化(例如images,PDF,docs)和半结构化(例如logs,XMLs)的数据可以以可扩展和容错的⽅式存储在⽐较便宜的商⽤机器中数据可以存储诸如Spark和Impala之类的⼯具以低延迟的能⼒查询可以存储以兆兆字节到千兆字节为单位的较⼤数据量3.基于Hadoop的数据中⼼的好处是什么？随着数据量和复杂性的增加，提⾼量整体服务⽔平协议。
一、选择题1。
云计算是对（D）技术的发展与运用A. 并行计算 B网格计算 C分布式计算 D三个选项都是2. 从研究现状上看，下面不属于云计算特点的是(C)A. 超大规模B. 虚拟化 C。
私有化 D。
高可靠性3. 与网络计算相比，不属于云计算特征的是（B）A。
资源高度共享 B.适合紧耦合科学计算 C。
支持虚拟机 D. 适用于商业领域4。
IBM在2007年11月退出了“改进游戏规则”的（A ）计算平台,为客户带来即买即用的云计算平台。
A. 蓝云 B。
蓝天 C. ARUZE D。
EC25. 微软于2008年10月推出云计算操作系统是(C）A. Google App EngineB. 蓝云 C。
Azure D。
EC26. 2008年，（A）先后在无锡和北京建立了两个云计算中心A. IBMB. GoogleC. Amazon D。
微软7. 亚马逊AWS提供的云计算服务类型是（D）A。
IaaS B。
PaaS C.SaaS D.三个选项都是8。
将平台作为服务的云计算服务类型是（B）A. IaaSB.PaaSC.SaaS D。
三个选项都不是9。
将基础设施作为服务的云计算服务类型是(A）A。
IaaS B.PaaS C.SaaS D。
三个选项都不是10. IaaS计算实现机制中,系统管理模块的核心功能是（A）A。
负载均衡 B 监视节点的运行状态 C应用API D. 节点环境配置11. 云计算体系结构的(C)负责资源管理、任务管理用户管理和安全管理等工作A.物理资源层B. 资源池层C. 管理中间件层D. SOA构建层12. 云计算技术的层次结构中包含(ABCD)下层A.物力资源层 B。
资源池层 C.管理中间件 D。
SOA构建层13。
云计算体系结构中，最关键的两层是(BC）A。
物力资源层 B。
资源池层 C。
管理中间件 D.SOA构建层14。
云计算按照服务类型大致可分为以下类(ABC）A。
IaaS B。
PaaS C。
基于Hadoop的大数据平台架构设计随着互联网的普及和各种数字化设备的普及，现代社会已经进入了信息时代。
数据普及了每个角落，数据正在成为信息化时代的核心资源。
数据的速度、容量和多样性已经远远超出了人类处理的极限，人们需要采用更加高效和智能的方式来处理庞大的数据，这时候大数据技术就应运而生了。
而Hadoop的出现，正是为了解决大数据存储和处理的问题，它是目前使用最广泛的大数据平台之一。
本文将介绍如何基于Hadoop构建一个高效的大数据平台，以满足组织和企业的不同需求。
一、Hadoop架构Hadoop由HDFS（分布式文件系统）和MapReduce（分布式计算）构成，其架构如下图所示。
图一：Hadoop架构HDFS是Hadoop的存储组件，它将文件拆分成块（block），并将它们存储在集群的不同节点上。
MapReduce是Hadoop的计算组件，其中Map任务和Reduce任务是将大数据拆分成小块并进行分布式计算的核心算法。
二、大数据平台构建流程1.架构设计在构建大数据平台时，首先应该根据数据的特征、业务需求以及架构要求来设计架构。
根据Hadoop的架构特点，大数据平台的架构可以概括为以下几个层次：（1）数据层：数据是大数据平台的核心，数据层是大数据平台的基础，它包括数据采集、存储、清洗、预处理等环节；在Hadoop中，该层的实现可以通过HDFS、Sqoop、Flume等工具来完成。
（2）计算层：计算层是处理大数据的核心，它可以根据业务需求来编写MapReduce、Hive、Pig等计算框架，以实现对数据的处理。
（3）服务层：服务层是将计算结果整合为可视化、操作性强的服务。
比如通过HBase实现实时查询、通过Impala进行SQL分析等。
（4）接口层：接口层是大数据平台和外部系统进行交互的入口。
通过接口层，外部系统可以调用大数据平台提供的服务，通过数据的交换来实现信息的共享。
（5）安全层：安全层是保障大数据平台安全和合法性的重要保障，它可以通过Kerberos、Apache Ranger、Apache Sentry等工具来实现。
海量数据处理技术——Hadoop介绍如今，在数字化时代，数据已经成为企业和组织中最重要的资产之一，因为巨大量的数据给企业和组织带来了更多的挑战，比如如何存储、管理和分析数据。
随着数据越来越庞大，传统方法已经无法胜任。
这正是Hadoop出现的原因——Hadoop是一个开源的、可扩展的海量数据处理工具。
本文将介绍什么是Hadoop、它的架构和基本概念、以及使用的应用场景。
一、什么是HadoopHadoop是一种基于Java的开源框架，它可以将大量数据分布式分割存储在许多不同的服务器中，并能够对这些数据进行处理。
Hadoop最初是由Apache软件基金会开发的，旨在解决海量数据存储和处理的难题。
Hadoop采用了一种分布式存储和处理模式，能够高效地处理PB级别甚至EB级别的数据，使得企业和组织能够在这些大量数据中更快地发现价值，并利用它带来的价值。
二、 Hadoop架构和基本概念Hadoop架构由两个核心组成部分构成：分布式文件系统Hadoop Distributed File System（HDFS）和MapReduce的执行框架。
1. HDFSHDFS以可扩展性为前提，其存储处理是在上面构建的，它在集群内将数据分成块（Block），每个块的大小通常为64MB或128MB，然后将这些块存储在相应的数据节点上。
HDFS架构包含两类节点：一个是namenode，另一个是datanode。
namenode是文件系统的管理节点，负责存储所有文件和块的元数据，这些元数据不包括实际数据本身。
datanode是存储节点，负责存储实际的数据块，并向namenode报告其状态。
2. MapReduceMapReduce是一个处理数据的编程模型，它基于两个核心操作：map和reduce。
Map负责将输入数据划分为一些独立的小片段，再把每个小片段映射为一个元组作为输出。
Reduce将Map输出的元组进行合并和过滤，生成最终输出。
hadoop介绍讲解Hadoop是一个由Apache软件基金会开发的开源分布式系统。
它的目标是处理大规模数据集。
Hadoop可以更好地利用一组连接的计算机和硬件来存储和处理海量数据集。
Hadoop主要由Hadoop分布式文件系统（HDFS）和MapReduce两部分组成。
以下是hadoop的详细介绍。
1. Hadoop分布式文件系统（HDFS）HDFS是Hadoop的分布式文件系统。
HDFS将大量数据分成小块并在多个机器上进行存储，从而使数据更容易地管理和处理。
HDFS适合在大规模集群上存储和处理数据。
它被设计为高可靠性，高可用性，并且容错性强。
2. MapReduceMapReduce是Hadoop中的计算框架。
它分为两个阶段：Map和Reduce。
Map阶段将数据分为不同的片段，并将这些片段映射到不同的机器上进行并行处理，Reduce阶段将结果从Map阶段中得到，并将其组合在一起生成最终的结果。
MapReduce框架根据数据的并行处理进行拆分，而输出结果则由Reduce阶段组装而成。
3. Hadoop生态系统Hadoop是一个开放的生态系统，其包含了许多与其相关的项目。
这些项目包括Hive，Pig，Spark等等。
Hive是一个SQL on Hadoop工具，用于将SQL语句转换为MapReduce作业。
Pig是另一个SQL on Hadoop工具，它是一个基于Pig Latin脚本语言的高级并行运算系统，可以用于处理大量数据。
Spark是一个快速通用的大数据处理引擎，它减少了MapReduce 的延迟并提供了更高的数据处理效率。
4. Hadoop的优点Hadoop是一个灵活的、可扩展的与成本优势的平台，它可以高效地处理大规模的数据集。
同时，它的开放式和Modular的体系结构使得其在大数据环境下无论是对数据的处理还是与其他开发者的协作都非常便利。
5. 总结Hadoop是一个很好的大数据处理工具，并且在行业中得到了广泛的应用。
Hadoop生态圈的技术架构解析Hadoop是一个开源的分布式计算框架，它可以处理大规模数据集并且具有可靠性和可扩展性。
Hadoop生态圈是一个由众多基于Hadoop技术的开源项目组成的体系结构。
这些项目包括Hadoop 组件以及其他与Hadoop相关的组件，例如Apache Spark、Apache Storm、Apache Flink等。
这些组件提供了不同的功能和服务，使得Hadoop生态圈可以满足各种不同的需求。
Hadoop生态圈的技术架构可以分为以下几层：1.基础设施层基础设施层是Hadoop生态圈的底层技术架构。
这一层包括操作系统、集群管理器、分布式文件系统等。
在这一层中，Hadoop 的核心技术——分布式文件系统HDFS（Hadoop Distributed File System）占据了重要位置。
HDFS是一种高度可靠、可扩展的分布式文件系统，它可以存储大规模数据集，通过将数据划分成多个块并存储在不同的机器上，实现数据的分布式存储和处理。
此外，Hadoop生态圈还使用了一些其他的分布式存储系统，例如Apache Cassandra、Apache HBase等。
这些系统提供了高可用性、可扩展性和高性能的数据存储和访问服务。
2.数据管理层数据管理层是Hadoop生态圈的中间层技术架构。
这一层提供了数据管理和数据处理的服务。
在这一层中，MapReduce框架是Hadoop生态圈最为重要的组件之一。
MapReduce框架是一种用于大规模数据处理的程序模型和软件框架，它可以将数据分解成多个小任务进行计算，并在分布式环境下执行。
MapReduce框架提供了自动管理任务调度、数据分片、容错等功能，可以处理大规模的数据集。
除了MapReduce框架，Hadoop生态圈中还有其他一些数据管理和数据处理技术，例如Apache Pig、Apache Hive、Apache Sqoop等。
这些组件提供了从数据提取、清洗和转换到数据分析和报告等各个方面的服务。
hadoop3工作原理Hadoop 3 的工作原理涉及多个组件和过程。
下面我会概括其主要组件和其工作原理。
Hadoop 3 的核心组件是 NameNode，它负责管理文件系统的元数据。
NameNode 在 Hadoop 集群中有两个节点：一个主节点和一个备节点。
主节点处理所有的写请求，并将元数据的变化异步地复制到备节点。
当主节点出现故障时，备节点会接管主节点的角色。
这种故障转移是通过 Hadoop 的 NameNode 高可用性（HA）机制实现的。
Hadoop NameNode HA 的工作原理主要依赖于三个组件：ZKFailoverController、HealthMonitor 和 ActiveStandbyElector。
ZKFailoverController 是一个独立的进程，在 NameNode 机器上启动。
它会创建HealthMonitor 和ActiveStandbyElector 这两个主要的内部组件。
ZKFailoverController 在创建这两个组件的同时，也会向它们注册相应的回调方法。
HealthMonitor 负责监控 NameNode 的健康状况。
如果主 NameNode出现故障，HealthMonitor 会检测到这一点并向 ZKFailoverController 报告。
ActiveStandbyElector 是用于处理节点间的心跳和协调故障转移的组件。
当主节点出现故障时，ActiveStandbyElector 会触发故障转移，使备节点接管主节点的角色。
在数据存储方面，Hadoop 3 使用 HDFS（Hadoop Distributed FileSystem）作为其分布式文件系统。
HDFS 将数据分成块，并将这些块分布在集群中的不同节点上以实现容错和负载均衡。
MapReduce 是 Hadoop 的编程模型，用于处理和生成大数据集。
MapReduce 程序将大数据集分解成小数据集，然后在集群中的节点上并行处理这些小数据集，最后将结果汇总并输出。
hadoop体系架构1.1 Hadoop概念：hadoop是⼀个由Apache基⾦会所开发的分布式系统基础架构。
是根据google发表的GFS(Google File System)论⽂产⽣过来的。
优点： 1. 它是⼀个能够对⼤量数据进⾏分布式处理的软件框架。
以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。
2. ⾼可靠性，因为它假设计算元素和存储会失败，因此它维护多个⼯作数据副本，确保能够针对失败的节点重新分布处理。
3. ⾼效性，因为它以并⾏的⽅式⼯作，通过并⾏处理加快处理速度。
4. 可伸缩的，能够处理 PB 级数据。
此外，Hadoop 依赖于社区服务，因此它的成本⽐较低，任何⼈都可以使⽤。
Hadoop是⼀个能够让⽤户轻松架构和使⽤的分布式计算平台。
⽤户可以轻松地在Hadoop上开发和运⾏处理海量数据的应⽤程序。
它主要有以下⼏个优点： 1.⾼可靠性。
Hadoop按位存储和处理数据的能⼒值得⼈们信赖。
2.⾼扩展性。
Hadoop是在可⽤的计算机集簇间分配数据并完成计算任务的，这些集簇可以⽅便地扩展到数以千计的节点中。
3.⾼效性。
Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度⾮常快。
4.⾼容错性。
Hadoop能够⾃动保存数据的多个副本，并且能够⾃动将失败的任务重新分配。
5.低成本。
与⼀体机、商⽤数据仓库以及QlikView、Yonghong Z-Suite等数据集市相⽐，hadoop是开源的，项⽬的软件成本因此会⼤⼤降低。
Hadoop组成：主要由两部分组成，⼀个是HDFS,⼀个是MapReduce。
1)什么是HDFS（分布式⽂件系统）？HDFS 即 Hadoop Distributed File System。
⾸先他是⼀个开源系统，同时他是⼀个能够⾯向⼤规模数据使⽤的，可进⾏扩展的⽂件存储与传递系统。
是⼀种允许⽂件通过⽹络在多台主机上分享的⽂件系统，可让多机器上的多⽤户分享⽂件和存储空间。
