hadoop介绍

Hadoop概述⼀、Hadoop概述Hadoop实现了⼀个分布式⽂件系统，简称HDFS。

Hadoop在数据提取、变形和加载（ETL）⽅⾯有着天然的优势。

Hadoop的HDFS实现了⽂件的⼤批量存储，Hadoop的MapReduce功能实现了将单个任务打碎，将碎⽚任务（Map）发送到多个节点上，之后再以单个数据集的形式加载（Reduce）到数据仓库⾥。

Hadoop的ETL可批量操作数据，使处理结果直接⾛向存储。

Hadoop有以下特点：1、⾼可靠性。

因为它假设计算元素和存储会失败，因此它维护多个⼯作数据副本，能够确保针对失败的节点重新分布处理。

2、⾼扩展性。

Hadoop是在可⽤的计算机集簇间分配数据并完成计算任务的，这些集簇可⽅便的扩展到数以千计的节点中。

3、⾼效性。

它以并⾏的⽅式⼯作，能够在节点之间动态移动数据，并保证各个节点动态平衡，因此处理速度⾮常快。

4、⾼容错性。

Hadoop能够⾃动保存数据的多个副本，能够⾃动将失败的任务重新分配。

5、可伸缩性。

Hadoop能够处理PB级数据。

6、低成本。

Hadoop是开源的，项⽬软件成本⼤⼤降低。

Hadoop的组成：1、最底部的是HDFS（Hadoop Distribute File System），它存储Hadoop集群中所有存储节点上的⽂件，是数据存储的主要载体。

它由Namenode和DataNode组成。

2、HDFS的上⼀层是MapReduce引擎，该引擎由JobTrackers和TaskTrackers组成。

它通过MapReduce过程实现了对数据的处理。

3、Yarn实现了任务分配和集群资源管理的任务。

它由ResourceManager、nodeManager和ApplicationMaster组成。

Hadoop由以上三个部分组成，下⾯我们就这三个组成部分详细介绍：1、HDFSHadoop HDFS 的架构是基于⼀组特定的节点构建的，（1）名称节点（NameNode仅⼀个）负责管理⽂件系统名称空间和控制外部客户机的访问。

Hadoop的体系结构1. 介绍Hadoop是一个开源的分布式计算框架，主要用于存储和处理大规模数据集。

它采用了一种适用于大规模集群的可扩展性设计，能够在廉价的硬件上运行并处理TB到PB级别的数据。

Hadoop的体系结构包括了多个模块和组件，下面将详细探讨每个模块的功能和相互关系。

2. Hadoop体系结构图Hadoop体系结构的主要组成部分如下所示：+------------------+| Hadoop |+------------------+/ | \/ | \+-----------+ +-----------+ +-----------+| HDFS | | MapReduce | | YARN |+-----------+ +-----------+ +-----------+| | || | |+---------+ +---------+ +---------+| Name | | Data | | Application || Node | | Node | | Master/Node |+---------+ +---------+ +---------+3. HDFS (Hadoop分布式文件系统)HDFS是Hadoop的分布式文件系统，它用于存储大规模数据集，并提供了高可靠性、高性能和高容错性。

HDFS的体系结构包括以下组件：3.1 NameNodeNameNode是HDFS的主节点，负责管理整个文件系统的命名空间和元数据。

它维护了文件和目录树的结构，并保存了文件的属性（如权限、所有者等）。

NameNode还负责将文件划分为数据块，并记录每个数据块所在的DataNode。

3.2 DataNodeDataNode是HDFS中的工作节点，负责实际存储数据。

它接收来自客户端或其他DataNode的数据写请求，并将数据块存储在本地磁盘上。

DataNode还负责提供数据读取服务，将数据块传输给客户端或其他DataNode。

FS/namespace/meta ops
Clint
NameNode
Second NameNode
Namespace backup
Heartbeats,balancing,replication etc
DataNode
Data serving
DataNode
DataNode
DataNode
DataNode
Google 云计算
MapReduce BigTable Chubby
GFS
Hadoop可以做什么？
案例1：我想知道过去100年中每年的最高温 度分别是多少？
这是一个非常典型的代表，该问题里边包含了大量的信息数据。
针对于气象数据来说，全球会有非常多的数据采集点，每个采 集点在24小时中会以不同的频率进行采样，并且以每年持续365 天这样的过程，一直要收集 100年的数据信息。然后在这 100年 的所有数据中，抽取出每年最高的温度值，最终生成结果。该 过程会伴随着大量的数据分析工作，并且会有大量的半结构化 数据作为基础研究对象。如果使用高配大型主机（ Unix环境） 计算，完成时间是以几十分钟或小时为单位的数量级，而通过 Hadoop完成，在合理的节点和架构下，只需要“秒”级。
HIVE
ODBC Command Line JDBC Thrift Server Metastore Driver （Compiler,Optimizer,Executor ） Hive 包括
元数据存储（Metastore） 驱动（Driver）
查询编译器（Query Compiler）
1. HDFS（Hadoop分布式文件系统）
HDFS：源自于Google的GFS论文，发表于2003年10月， HDFS是GFS克隆版。是Hadoop体系中数据存储管理的 基础。它是一个高度容错的系统，能检测和应对硬件 故障，用于在低成本的通用硬件上运行。HDFS简化 了文件的一致性模型，通过流式数据访问，提供高吞 吐量应用程序数据访问功能，适合带有大型数据集的 应用程序。 Client：切分文件；访问HDFS；与NameNode交互， 获取文件位置信息；与DataNode交互，读取和写入数 据。 NameNode：Master节点，在hadoop1.X中只有一个， 管理HDFS的名称空间和数据块映射信息，配置副本 策略，处理客户端请求。 DataNode：Slave节点，存储实际的数据，汇报存储信 息给NameNode。 Secondary NameNode：辅助NameNode，分担其工作 量；定期合并fsimage和fsedits，推送给NameNode；紧 急情况下，可辅助恢复NameNode，但Secondary NameNode并非NameNode的热备。

Hadoop介绍适用问题范围Hadoop是一个大规模分布式批处理架构，虽然它在单台计算机上也能使用，但它的真正能力是在成百上千计算机上运行时才显现出来，Hadoop可以高效地将大量工作高效地分布到一组计算机上。

它能处理多大量的工作？Hadoop面对的处理工作比许多现在系统处理要高几个数量级，几百G的数据，只不过在Hadoop眼里不过是小数据量。

实际上Hadoop是设计来对付“We级的”的数据，“Web级”数据大小范围在几百G到T级，甚至P级。

在这种规模下，输入数据很可能甚至不能存入单个计算机的磁盘中，更不用说内在了，所以Hadoop中包括一个分布式文件系统，它将输入文件分成块，将这些块传输到你的集群中的计算机上保存，这样，原问题可以使用集群中所有计算机并行处理，那么得到计算结果的效率也就最高。

大规模的挑战进行大规模计算是很困难的，要处理大规模数据需要将数据分布到多台机器上并行处理，第当多台机器之间需要协作时，失败的几率就很升高。

在单台机器环境中，失败并不是设计者经常关心的问题，因为机器崩溃了，反正是无法将程序恢复的。

但在分布式环境中，局部失败是经常会发生的，比如网络会因为交换机和路由器崩溃局部失败或全部失败；数据有可能因为意外的网络阻塞没有按时到达特定结点；运算结点可能因为过热导致磁盘崩溃或用完了内存或磁盘空间；数据可能出错，也可能传输时发生错误；不同实现或不同版本软件在使用协议时有细微的差别；时钟可能变的不同步；锁文件可能没释放；可能在分布式不可打断的传输时受到干扰，导致网络连接中途断开，等等。

在上述每一种情况下，分布式系统的正常工作部分应该可以从失败中恢复，或使用户不需要关心这些错误，也可以继续正常工作。

显然，提供这种弹性是软件工程的巨大挑战。

不同的分布式系统会着重处理不同的几种失败，而不太关注另外的失败类型。

Hadoop没有提供安全模型，也没有防止恶意插入数据的安全机制，比如它无法控制一个在结点间的攻击，然而，它在硬件失败和数据阻塞方面的设计非常健壮，其它的分布式系统数据它们所要处理的问题(比如，高安全性)需求做出了不同的权衡。