hadoop的生态体系及各组件的用途

Hadoop的体系结构

1. 介绍

Hadoop是一个开源的分布式计算框架，主要用于存储和处理大规模数据集。它采用了一种适用于大规模集群的可扩展性设计，能够在廉价的硬件上运行并处理TB到PB级别的数据。Hadoop的体系结构包括了多个模块和组件，下面将详细探讨每个模块的功能和相互关系。

2. Hadoop体系结构图

Hadoop体系结构的主要组成部分如下所示：

+------------------+

| Hadoop |

+------------------+

/ | \

/ | \

+-----------+ +-----------+ +-----------+

| HDFS | | MapReduce | | YARN |

+-----------+ +-----------+ +-----------+

| | |

| | |

+---------+ +---------+ +---------+

| Name | | Data | | Application |

| Node | | Node | | Master/Node |

+---------+ +---------+ +---------+

3. HDFS (Hadoop分布式文件系统)

HDFS是Hadoop的分布式文件系统，它用于存储大规模数据集，并提供了高可靠性、高性能和高容错性。HDFS的体系结构包括以下组件：

Hadoop⽣态圈各个组件简介

Hadoop是⼀个能够对⼤量数据进⾏分布式处理的软件框架。具有可靠、⾼效、可伸缩的特点。

Hadoop的核⼼是HDFS和MapReduce,HDFS还包括YARN。

1.HDFS(hadoop分布式⽂件系统)

是hadoop体系中数据存储管理的他是⼀个基础。它是⼀个⾼度容错的的系统，能检测和应对硬件故障。client:切分⽂件，访问HDFS，与之交互，获取⽂件位置信息，与DataNode交互，读取和写⼊数据。

namenode:master节点，在hadoop1.x中只有⼀个，管理HDFS的名称空间和数据块映射信息，配置副本策略，处理客户端请求。

DataNode：slave节点，存储实际的数据，汇报存储信息给namenode.

secondary namenode:辅助namenode,分担其⼯作量：定期合并fsimage和fsedits,推送给namenode;紧急情况下和辅助恢复namenode,但其并⾮namenode的热备。2.mapreduce(分布式计算框架)

mapreduce是⼀种计算模型，⽤于处理⼤数据量的计算。其中map对应数据集上的独⽴元素进⾏指定的操作，⽣成键-值对形式中间，reduce则对中间结果中相同的键的所有的值进⾏规约，以得到最终结果。jobtracker：master节点，只有⼀个管理所有作业，任务/作业的监控，错误处理等，将任务分解成⼀系列任务，并分派给tasktracker.

tacktracker:slave节点，运⾏map task和reducetask;并与jobtracker交互，汇报任务状态。

map task:解析每条数据记录，传递给⽤户编写的map()执⾏，将输出结果写⼊到本地磁盘（如果为map-only作业，则直接写⼊HDFS）。

reduce task:从map的执⾏结果中，远程读取输⼊数据，对数据进⾏排序，将数据分组传递给⽤户编写的reduce函数执⾏。

揭秘Hadoop生态系统技术架构

Hadoop是一个广泛应用于海量数据处理的开源平台。其生态系统包含多个组件和技术，架构复杂，本文将从技术架构的角度解析Hadoop生态系统。

1. Hadoop技术架构概览

Hadoop生态系统包含多个组件，其中最为重要的是Hadoop分布式文件系统(HDFS)和MapReduce。HDFS是一种分布式文件系统，可在多个计算机之间共享文件，并提供数据存储和访问服务。MapReduce则是一种分布式计算模型，用于将海量数据分成多个小块进行并行计算。

除了HDFS和MapReduce，Hadoop还包含多个组件，如HBase、ZooKeeper、Hive、Pig等。这些组件共同构成了一个完整的Hadoop生态系统。

2. HDFS技术架构

HDFS是Hadoop生态系统的核心部分之一，它提供了分布式文件存储和访问功能。HDFS的技术架构包括以下三个部分：

（1）NameNode

NameNode是HDFS的中央管理节点，它负责处理客户端请求和管理HDFS文件系统的元数据。所有数据块的信息和位置信息都存储在NameNode中，因此，NameNode是HDFS中最重要的组件之一。

（2）DataNode

DataNode是存储实际数据块的节点。当客户端上传数据时，DataNode将数据块存储到本地磁盘，并向NameNode注册该数据块的位置信息。

（3）Secondary NameNode

Secondary NameNode不是NameNode的备份节点，而是NameNode的辅助节点。它可以定期备份NameNode的元数据，以便在NameNode的故障情况下恢复文件系统。

3. MapReduce技术架构

MapReduce是Hadoop中用于分布式计算的核心组件，它的技术架构包括以下三个部分：

（1）JobTracker

JobTracker是MapReduce计算集群的中央节点，它负责管理计算任务、调度Map和Reduce任务、监控任务执行状态等。

hadoop组件及其作⽤

1.hadoop有三个主要的核⼼组件：HDFS（分布式⽂件存储）、MAPREDUCE（分布式的计算）、YARN（资源调度），现在云计算包括

⼤数据和虚拟化进⾏⽀撑。

在HADOOP（hdfs、MAPREDUCE、yarn）⼤数据处理技术框架，擅长离线数据分析.

Zookeeper 分布式协调服务基础组件，Hbase 分布式海量数据库，离线分析和在线业务处理。

Hive sql 数据仓库⼯具，使⽤⽅便，功能丰富，基于MR延迟⼤，可以⽅便对数据的分析，并且数据的处理可以⾃定义⽅法进⾏操作，

简单⽅便。

Sqoop数据导⼊导出⼯具，将数据从数据导⼊Hive，将Hive导⼊数据库等操作。

Flume数据采集框架，可以从多种源读取数据。

Azkaban对操作进⾏管理，⽐如定时脚本执⾏，有图形化界⾯，上传job简单，只需要将脚本打成bao，可直接上传。

2.hadoop的可以做离散⽇志分析，⼀般流程是:

将web中的数据取过来【通过flume】，然后通过预处理【mapreduce,⼀般只是使⽤map就可以了】，就是将数据中没有⽤处的数据去

除掉，将数据转换【⽐如说时间的格式，Agent的组合】，并将数据进⾏处理之后以固定格式输出，由Hive处理，Hive是作⽤是将数据转换

出⼀个表，RTL就是写SQL的⼀个过程，将数据进⾏分析，然后将数据报表统计，这个时候使⽤的是pig数据分析【hive⼀般作为库，pig做

分析，我没有使⽤pig，因为感觉还没有hive的HQL处理⽅便】，最后将含⾦量最⼤的数据放⼊到mysql中，然后将mysql中的数据变为可视

图化的⼯具。

推荐的使⽤：当我们浏览⼀各⽹页的时候，将数据的值值传递给后台保存到log中，后台将数据收集起来，hadoop中的fiume可以将数据

拿到放⼊到HDFS中，原始的数据进⾏预处理，然后使⽤HIVE将数据变为表，进⾏数据的分析，将有价值的数据放⼊到mysql，作为推荐使