当前位置：文档之家 › Hadoop 总体概述

Hadoop 总体概述

  • 格式：docx
  • 大小：502.19 KB
  • 文档页数：5

Hadoop总体概述
Hadoop是一个分布式系统基础架构，由Apache基金会开发。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。

充分利用集群的威力高速运算和存储
Hadoop起源于Google的集群系统， Google的数据中心使用廉价Linux PC机组成集群，在上面运行各种应用。

即使是分布式开发的新手也可以迅速使用Google的基础设施。

其核心组件有3个：第一个就是，GFS（Google File System），一个分布式文件系统，隐藏下层负载均衡，冗余复制等细节，对上层程序提供一个统一的文件系统API接口；第二个是 MapReduce，Google发现大多数分布式运算可以抽象为MapReduce操作。

Map是把输入Input分解成中间的Key/Value 对，Reduce把Key/Value合成最终输出Output。

这两个函数由程序员提供给系统，下层设施把Map和Reduce操作分布在集群上运行，并把结果存储在GFS上；第三个，BigTable，一个大型的分布式数据库，这个数据库不是关系式的数据库，而是一个巨大的表格，用来存储结构化的数据。

而Hadoop就是Google集群系统的一个开源实现，是一个项目总称。

主要是由HDFS、MapReduce和Hbase 组成。

其中HDFS是Google File System（GFS）的开源实现； MapReduce是Google MapReduce的开源实现； HBase是Google BigTable的开源实现。

这个分布式框架很有创造性，而且有极大的扩展性，使得Google在系统吞吐量上有很大的竞争力。

因此Apache基金会用Java实现了一个开源版本，支持Fedora、Ubuntu等Linux平台。

目前Hadoop受到Yahoo的支持，有Yahoo员工长期工作在项目上，而且Yahoo内部也准备使用Hadoop代替原来的的分布式系统。

Hadoop实现了HDFS文件系统和MapRecue，使Hadoop成为了一个分布式的计算平台。

用户只要MapReduceBase，提供分别实现Map和Reduce的两个类，并注册Job即可自动分布式运行。

因此，Hadoop并不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。

Hadoop核心配置文件
1. 在conf/hadoop-env.sh文件中增加：export JAVA_HOME=/home/Java/jdk1.6
2. 在conf/core-site.xml文件中增加如下内容：
<!-- - 这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号)，集群里面的每一台机器都需要知道NameNode的地址。

DataNode结点会先在
NameNode上注册，这样它们的数据才可以被使用。

独立的客户端程序通过这个URI跟DataNode 交互，以取得文件的块列表。

-->
<property>
<name></name>
<value>hdfs://localhost:9000</value>
</property>
<!—hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。

如果hdfs-
site.xml中不配置namenode和datanode的存放位置，默认就放在这个路径中--> <property>
<name>hadoop.tmp.dir</name>
<value>/home/hdfs/tmp</value>
</property>
3. 在conf/hdfs-site.xml中增加如下内容：
<!-- dfs.replication -它决定着系统里面的文件块的数据备份个数。

对于一个实际的应用，
它应该被设为3（这个数字并没有上限，但更多的备份可能并没有作用，而且会占用更多的空间）。

少于三个的备份，可能会影响到数据的可靠性(系统故障时，也许会造成数据丢失)-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- dfs.data.dir- 这是DataNode结点被指定要存储数据的本地文件系统路径。

DataNode结点上的这个路径没有必要完全相同，因为每台机器的环境很可能是不一样的。

但如果每台机器上的这个路径都是统一配置的话，会使工作变得简单一些。

默认的情况下，它的值h adoop.tmp.dir, 这个路径只能用于测试的目的，因为，它很可能会丢失掉一些数据。

所以，这个值最好还是被覆盖。

.dir- 这是NameNode结点存储hadoop文件系统信息的本地系统路径。

这个值只对NameNode 有效，DataNode并不需要使用到它。

上面对于/temp类型的警告，同样也适用于这里。

在实际应用中，它最好被覆盖掉。

-->
<property>
<name>.dir</name>
<value>/home/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hdfs/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
4. 在conf/mapred-site.xml中增加如下内容：
<!--mapred.job.tracker -JobTracker的主机（或者IP）和端口。

-->
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
Hadoop核心进程
一般如果正常启动hadoop，我们可以在master上通过jps命令看到以下5个daemons:
[root@master ~]# jps
31144 Jps
19803 SecondaryNameNode
19994 TaskTracker
19571 NameNode
19672 DataNode
19887 JobTracker
下面依次介绍这些进程：
1. NameNode
它是Hadoop 中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问。

2. SecondaryNameNode
它不是 namenode 的冗余守护进程，而是提供周期检查点和清理任务。

出于对可扩展性和容错性等考虑，我们一般将SecondaryNameNode运行在一台非NameNode的机器上。

3. DataNode
它负责管理连接到节点的存储（一个集群中可以有多个节点）。

每个存储数据的节点运行一个 datanode 守护进程。

4. JobTracker和TaskTracker
JobTracker负责调度DataNode上的工作。

每个DataNode有一个TaskTracker，它们执行实际工作。

JobTracker和TaskTracker采用主-从形式，JobTracker跨DataNode分发工作，而TaskTracker执行任务。

JobTracker还检查请求的工作，如果一个DataNode由于某种原因失败，JobTracker会重新调度以前的任务。

合集下载

hadoop 基本介绍

hadoop 基本介绍

hadoop 基本介绍Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和处理。

它基于Google的MapReduce和Google文件系统（GFS）的研究论文提出，并得到Apache软件基金会的支持和维护。

Hadoop通过将大规模数据集分布式存储在集群中的多个节点上，然后在节点上并行处理数据，大大加快了数据处理的速度。

Hadoop的核心组件包括：1. Hadoop分布式文件系统（HDFS）：用于存储大规模数据集的分布式文件系统，可以将数据分布式存储在多个节点上，并提供高容错性和可靠性。

2. MapReduce：用于并行处理存储在HDFS中的数据。

它将作业分成若干个Map和Reduce阶段，并在多个节点上并行执行，最后将结果汇总。

3. YARN（Yet Another Resource Negotiator）：用于资源管理和作业调度的框架。

它可以将集群的计算和存储资源分配给MapReduce作业，并管理作业的执行。

Hadoop具有以下特点：1. 可扩展性：Hadoop可以在大规模的集群环境中存储和处理大量的数据。

2. 高容错性：Hadoop通过将数据复制到多个节点上实现高容错性，即使某个节点发生故障，数据仍然可以可靠地访问。

3. 高可靠性：Hadoop使用复制机制来确保数据的可靠性，即使某个节点丢失数据，仍然可以从其他节点上找回数据。

4. 低成本：Hadoop通过使用廉价的硬件和开源软件，降低了存储和处理大数据集的成本。

总而言之，Hadoop是一个强大的分布式计算框架，适用于存储和处理大规模数据集。

它的可扩展性、高容错性和低成本使其成为处理大数据的首选框架之一。

Hadoop概述

Hadoop概述

Hadoop概述⼀、Hadoop概述Hadoop实现了⼀个分布式⽂件系统，简称HDFS。

Hadoop在数据提取、变形和加载（ETL）⽅⾯有着天然的优势。

Hadoop的HDFS实现了⽂件的⼤批量存储，Hadoop的MapReduce功能实现了将单个任务打碎，将碎⽚任务（Map）发送到多个节点上，之后再以单个数据集的形式加载（Reduce）到数据仓库⾥。

Hadoop的ETL可批量操作数据，使处理结果直接⾛向存储。

Hadoop有以下特点：1、⾼可靠性。

因为它假设计算元素和存储会失败，因此它维护多个⼯作数据副本，能够确保针对失败的节点重新分布处理。

2、⾼扩展性。

Hadoop是在可⽤的计算机集簇间分配数据并完成计算任务的，这些集簇可⽅便的扩展到数以千计的节点中。

3、⾼效性。

它以并⾏的⽅式⼯作，能够在节点之间动态移动数据，并保证各个节点动态平衡，因此处理速度⾮常快。

4、⾼容错性。

Hadoop能够⾃动保存数据的多个副本，能够⾃动将失败的任务重新分配。

5、可伸缩性。

Hadoop能够处理PB级数据。

6、低成本。

Hadoop是开源的，项⽬软件成本⼤⼤降低。

Hadoop的组成：1、最底部的是HDFS（Hadoop Distribute File System），它存储Hadoop集群中所有存储节点上的⽂件，是数据存储的主要载体。

它由Namenode和DataNode组成。

2、HDFS的上⼀层是MapReduce引擎，该引擎由JobTrackers和TaskTrackers组成。

它通过MapReduce过程实现了对数据的处理。

3、Yarn实现了任务分配和集群资源管理的任务。

它由ResourceManager、nodeManager和ApplicationMaster组成。

Hadoop由以上三个部分组成，下⾯我们就这三个组成部分详细介绍：1、HDFSHadoop HDFS 的架构是基于⼀组特定的节点构建的，（1）名称节点（NameNode仅⼀个）负责管理⽂件系统名称空间和控制外部客户机的访问。

Hadoop 生态系统介绍

Hadoop 生态系统介绍

Hadoop 生态系统介绍Hadoop生态系统是一个开源的大数据处理平台，它由Apache基金会支持和维护，可以在大规模的数据集上实现分布式存储和处理。

Hadoop生态系统是由多个组件和工具构成的，包括Hadoop 核心，Hive、HBase、Pig、Spark等。

接下来，我们将对每个组件及其作用进行介绍。

一、Hadoop核心Hadoop核心是整个Hadoop生态系统的核心组件，它主要由两部分组成，一个是Hadoop分布式文件系统（HDFS），另一个是MapReduce编程模型。

HDFS是一个高可扩展性的分布式文件系统，可以将海量数据存储在数千台计算机上，实现数据的分散储存和高效访问。

MapReduce编程模型是基于Hadoop的针对大数据处理的一种模型，它能够对海量数据进行分布式处理，使大规模数据分析变得容易和快速。

二、HiveHive是一个开源的数据仓库系统，它使用Hadoop作为其计算和存储平台，提供了类似于SQL的查询语法，可以通过HiveQL 来查询和分析大规模的结构化数据。

Hive支持多种数据源，如文本、序列化文件等，同时也可以将结果导出到HDFS或本地文件系统。

三、HBaseHBase是一个开源的基于Hadoop的列式分布式数据库系统，它可以处理海量的非结构化数据，同时也具有高可用性和高性能的特性。

HBase的特点是可以支持快速的数据存储和检索，同时也支持分布式计算模型，提供了易于使用的API。

四、PigPig是一个基于Hadoop的大数据分析平台，提供了一种简单易用的数据分析语言（Pig Latin语言），通过Pig可以进行数据的清洗、管理和处理。

Pig将数据处理分为两个阶段：第一阶段使用Pig Latin语言将数据转换成中间数据，第二阶段使用集合行处理中间数据。

五、SparkSpark是一个快速、通用的大数据处理引擎，可以处理大规模的数据，支持SQL查询、流式数据处理、机器学习等多种数据处理方式。

hadoop通俗讲解

hadoop通俗讲解

hadoop通俗讲解Hadoop通俗讲解大数据时代已经来临，海量的数据涌入各行各业，如何高效地处理和分析这些数据成为了一项重要的任务。

而Hadoop作为一种分布式计算框架，正在成为处理大数据的首选工具，下面我们就来通俗地介绍一下Hadoop是什么以及它的工作原理。

Hadoop最初是由Apache基金会作为一个开源项目开发的，它的目标是解决传统关系型数据库无法处理的大规模数据的存储和分析问题。

Hadoop主要由两部分组成：Hadoop分布式文件系统（HDFS）和Hadoop分布式计算框架（MapReduce）。

HDFS是Hadoop的存储层，它将大文件分割成多个小文件，并将这些小文件存储在不同的计算机节点上。

这样做的好处是可以将数据分散存储在多个计算机上，实现数据的冗余备份和高可靠性。

同时，HDFS还具备高吞吐量的特点，可以快速地读取和写入大量的数据。

而MapReduce则是Hadoop的计算层，它采用了分布式计算的思想，将数据分成多个小块，分发到不同的计算机节点上进行并行计算。

MapReduce将计算任务分为两个阶段：Map阶段和Reduce 阶段。

在Map阶段，每个计算机节点都会对数据进行处理，并生成中间结果。

而在Reduce阶段，所有中间结果会被汇总起来，最终得到最终的计算结果。

通过这种方式，Hadoop可以高效地处理大规模数据的计算任务。

Hadoop的工作原理可以用以下几个步骤来概括：1. 数据切分：Hadoop将大文件切分成多个小文件，每个小文件都会被分发到不同的计算机节点上进行处理。

2. Map阶段：在Map阶段，每个计算机节点都会对自己所负责的数据进行处理，并生成中间结果。

这些中间结果会被保存到本地磁盘上。

3. Shuffle阶段：在Shuffle阶段，Hadoop会将相同的中间结果收集到一起，并按照某种规则进行排序和分组，以便后续的Reduce阶段进行处理。

4. Reduce阶段：在Reduce阶段，Hadoop会对Shuffle阶段得到的中间结果进行汇总和计算，得到最终的计算结果。