hadoop概述

Hadoop概述及生态组件简介

Hadoop是Apache软件基金会的顶级开源项目，是一套靠得住的，可扩展的，支持散布式计算的开源软件，由原雅虎公司Doug Cutting依照Google发布的学术论文（Google File System、MapReduce、BigTable）而创建的开源项目。Doug Cutting被称为Hadoop之父。而Hadoop是一个虚构的名字，Doug Cutting说明Hadoop的得名：“那个名字是我小孩给一个棕黄色的大象玩具命名的。我的命名标准确实是简短、容易发音和拼写，没有太多的意义，而且可不能被用于别处，小小孩恰正是这方面的高手”。因此Hadoop的logo确实是一只奔跑的棕黄色小象。

Hadoop是一个基础框架，许诺用简单的编程模型在运算机集群对大型数据集进行散布式处置。它的设计规模从单一效劳器到数千台机械，每一个都提供本地计算和存储，框架本身提供运算机集群高可用的效劳而不是依托硬件来提供高可用性。用户能够在不了解散布式底层细节的情形下，轻松地在Hadoop上开发和运行处置海量数据的应用程序，低本钱、高靠得住、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统。

Hadoop的特点

Hadoop是一个能够对大量数据进行散布式处置的软件框架，它是以一种靠得住、高效、可伸缩的方式进行数据处置。 高靠得住性：Hadoop按位存储和处置数据的能力值得人们信任。

高扩展性：Hadoop是在可用的运算机集群间分派数据并完成计算任务的，这些集群能够方便地扩展到数以千计的节点中。

高效性：Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平稳，因此处置速度超级快。

高容错性：Hadoop能够自动保留数据的多个副本，而且能够自动将失败的任务从头分派。

低本钱：Hadoop 依托于社区效劳，它的本钱比较低。

Hadoop版本演进

当前Hadoop已进展到第二代版本，最新稳固版本是。

Hadoop概述

⼀、Hadoop概述 Hadoop实现了⼀个分布式⽂件系统，简称HDFS。Hadoop在数据提取、变形和加载（ETL）⽅⾯有着天然的优势。Hadoop的HDFS实现了⽂件的⼤批量存储，Hadoop的MapReduce功能实现了将单个任务打碎，将碎⽚任务（Map）发送到多个节点上，之后再以单个数据集的形式加载（Reduce）到数据仓库⾥。Hadoop的ETL可批量操作数据，使处理结果直接⾛向存储。 Hadoop有以下特点：

1、⾼可靠性。因为它假设计算元素和存储会失败，因此它维护多个⼯作数据副本，能够确保针对失败的节点重新分布处理。

2、⾼扩展性。Hadoop是在可⽤的计算机集簇间分配数据并完成计算任务的，这些集簇可⽅便的扩展到数以千计的节点中。

3、⾼效性。它以并⾏的⽅式⼯作，能够在节点之间动态移动数据，并保证各个节点动态平衡，因此处理速度⾮常快。

4、⾼容错性。Hadoop能够⾃动保存数据的多个副本，能够⾃动将失败的任务重新分配。

5、可伸缩性。Hadoop能够处理PB级数据。

6、低成本。Hadoop是开源的，项⽬软件成本⼤⼤降低。

Hadoop的组成：

1、最底部的是HDFS（Hadoop Distribute File System），它存储Hadoop集群中所有存储节点上的⽂件，是数据存储的主要载体。它由Namenode和DataNode组成。

2、HDFS的上⼀层是MapReduce引擎，该引擎由JobTrackers和TaskTrackers组成。它通过MapReduce过程实现了对数据的处理。

3、Yarn实现了任务分配和集群资源管理的任务。它由ResourceManager、nodeManager和ApplicationMaster组成。

Hadoop由以上三个部分组成，下⾯我们就这三个组成部分详细介绍：

1、HDFSHadoop HDFS 的架构是基于⼀组特定的节点构建的，（1）名称节点（NameNode仅⼀个）负责管理⽂件系统名称空间和控制外部客户机的访问。NameNode决定是否将⽂件映射到DataNode上的复制块上。对于常见的三个复制块，第⼀个复制块存储在同⼀台机架的不同节点上，最后⼀个复制块存储在不通机架的某个节点上。（2）数据节点（DataNode⼤量）响应来⾃HDFS客户机的读写请求，还响应NameNode的创建、删除和复制块的命令。名称节点依赖来⾃每个数据节点的定期⼼跳消息，名称节点可以根据这个报告验证块映射和其他⽂件系统元数据。（3）第⼆名称节点（Secondary NameNode）为名称节点提供⼀个CheckPoint，他只是名称节点的⼀个助⼿节点，第⼆名称节点会定时到NameNode去获取名称节点的edits,并及时更新到⾃⼰fsimage上，这样，如果NameNode宕机，我们也可以使⽤Secondary NameNode的信息来恢复NameNode，从⽽防⽌丢失信息，减少重启时间。HDFS的⼯作原理：（1）客户端将要上传的⽂件按128M的⼤⼩分块。（2）客户端向名称节点发送写数据请求。（3）名称节点记录各个DataNode信息，并返回可⽤的DataNode列表。（4）客户端直接向DataNode发送分割后的⽂件块，发送过程以流式写⼊。（5）写⼊完成后，DataNode向NameNode发送消息，跟新元数据。注意：（1）写⼊1T⽂件，需要3T的存储，3T的⽹络流量。（2）在执⾏读或写的过程中，NameNode和DataNode通过HeartBeat保持通信，确定DataNode活着，如果发现DataNode死掉了，就将DataNode上的数据放到其他节点。（3）宕掉⼀个节点没关系，还有其他节点可以备份，甚⾄宕掉⼀个机架也没关系，其他机架上也有备份。2、MapREduce

第一章 大数据概述

1.互联网的发展分为______个阶段。

A．一 B.三 C.二 D.四

2.下列不属于大数据特点的是（ ）。

A.种类和来源多样化 B.数据量巨大 C.分析处理速度快 D.价值密度高

3.互联网发展的第_____个时代为智能互联网。

A.3.0 B.4.0 C.1.0 D.2.0

4.关于大数据叙述不正确的一项是（ ）。

A.大数据=“海量数据”+“复杂类型的数据”

B.大数据是指在一定时间对内容抓取、管理和处理的数据集合

C.大数据可以及时有效的分析海量的数据

D.数据包括结构化数据、半结构化数据、结构化数据。

5.下列数据换算正确的一项为（ ）。

A.1YB=1024EB

B.1TB=1024MB

C.1PB==1024EB

D.1024ZB=1EB

6.结构化数据的表现形式为______。

A.文本 B.视图 C.二维表 D.查询

7.结构化的数据，先有________,再有_________.

A.数据 结构

B.结构 数据

C.内容 结构

D.结构 内容

8.结构化的数据，先有________,再有_________.

A.数据 结构

B.结构 数据

C.内容 结构

D.结构 内容

9.软件是大数据的_________。

A.核心 B.部件 C.引擎 D.集合

10.大数据技术不包括( )。

A.数据计算 B.数据存储 C.数据冗余 D.数据采集

11.大数据的特点不包括（ ）。

A.数量大 B.类型少 C.速度快 D.价值高

第二章 Hadoop简介

1.下列对云栈架构层数不正确的一项为________。

A.三层云栈架构

B.四层云栈架构

C.五层云栈架构

D.六层云栈架构

2.下列______不是云计算三层架构的概括。 A.IaaS B.PaaS C.SaaP D.SaaS

3.IaaS基础设施及服务可以称为______。

hadoop核⼼组件概述及hadoop集群的搭建

什么是hadoop？

Hadoop 是 Apache 旗下的⼀个⽤ java 语⾔实现开源软件框架，是⼀个开发和运⾏处理⼤规模数据的软件平台。允许使⽤简单的编程模型在⼤量计算机集群上对⼤型数据集进⾏分布式处理。

hadoop提供的功能：利⽤服务器集群，根据⽤户的⾃定义业务逻辑，对海量数据进⾏分布式处理。

狭义上来说hadoop 指 Apache 这款开源框架，它的核⼼组件有：

1. hdfs（分布式⽂件系统）（负责⽂件读写）

2. yarn（运算资源调度系统）(负责为MapReduce程序分配运算硬件资源)

3. MapReduce（分布式运算编程框架）

扩展：

关于hdfs集群： hdfs集群有⼀个name node(名称节点)，类似zookeeper的leader(领导者)，namenode记录了⽤户上传的⼀些⽂件分别在哪

些DataNode上，记录了⽂件的源信息(就是记录了⽂件的名称和实际对应的物理地址)，name node有⼀个公共端⼝默认是9000，这个端⼝

是针对客户端访问的时候的，其他的⼩弟(跟随者)叫data node，namenode和datanode会通过rpc进⾏远程通讯。

Yarn集群： yarn集群⾥的⼩弟叫做node manager，MapReduce程序发给node manager来启动，MapReduce读数据的时候去找

hdfs(datanode)去读。(注：hdfs集群和yarn集群最好放在同⼀台机器⾥)，yarn集群的⽼⼤主节点resource manager负责资源调度，应(最好)

单独放在⼀台机器。

⼴义上来说，hadoop通常指更⼴泛的概念--------hadoop⽣态圈 。

当下的 Hadoop 已经成长为⼀个庞⼤的体系，随着⽣态系统的成长，新出现的项⽬越来越多，其中不乏⼀些⾮ Apache 主管的项⽬，这

些项⽬对 HADOOP 是很好的补充或者更⾼层的抽象。⽐如：