当前位置：文档之家 › Hadoop2.2.0集群安装

Hadoop2.2.0集群安装

  • 格式：docx
  • 大小：881.26 KB
  • 文档页数：14

Hadoop最新安装手册

一、Hadoop2.2.0完全分布式集群平台安装设置：

HDFS HA架构：

在一个典型的 HDFS HA 场景中，通常由两个 NameNode 组成，一个处于 active 状态，另一个处于 standby 状态。Active NameNode 对外提供服务，比如处理来自客户端的 RPC 请求，而 Standby

NameNode 则不对外提供服务，仅同步 active namenode 的状态，以便能够在它失败时快速进行切换。

为了能够实时同步 Active 和 Standby 两个 NameNode 的元数据信息（实际上 editlog），需提供一个共享存储系统，可以是 NFS、QJM（Quorum Journal Manager）或者 Bookeeper，Active Namenode 将数据写入共享存储系统，而 Standby 监听该系统，一旦发现有新数据写入，则读取这些数据，并加载到自己内存中，以保证自己内存状态与 Active NameNode 保持基本一致，如此这般，在紧急情况下 standby 便可快速切为 active namenode。

注意，在 Hadoop 2.0 中，不再需要 secondary namenode 或者 backup namenode，它们的工作由

Standby namenode 承担。

本文将重点介绍基于 QJM 的 HA 解决方案。在该方案中，主备 NameNode 之间通过一组

JournalNode 同步元数据信息，一条数据只要成功写入多数 JournalNode 即认为写入成功。通常配置奇数个（2N+1）个 JournalNode，这样，只要 N+1 个写入成功就认为数据写入成功，此时最多容忍 N-1 个

JournalNode 挂掉，比如 3 个 JournalNode 时，最多允许 1 个 JournalNode挂掉，5 个 JournalNode 时，最多允许 2 个 JournalNode 挂掉。基于 QJM 的 HDFS 架构如下

前提条件：

1、首先在每台Linux电脑上面安装好JDK6或其以上版本，并设置好JAVA_HOME等，测试一下java、javac、jps等命令是否可以在终端使用，如何配置JDK这里就不说了；

2、在每台Linux上安装好SSH，如何安装请参加《Linux平台下安装SSH》。后面会说如何配置SSH无密码登录。

有了上面的前提条件之后，我们接下来就可以进行安装Hadoop分布式平台了。步骤如下：

1、先设定电脑的IP为静态地址：

CentOS下设置IP的方式：

在里面添加下面语句：

里面的IPADDR地址设置你想要的，我这里是10.10.141.14。

设置好后，需要让IP地址生效，运行下面命令：

然后运行ifconfig检验一下设置是否生效：

可见IP地址已经设置为10.10.141.14了。

2、设置各个主机的hostname

CentOS设置hostname步骤如下：

将里面的HOSTNAME修改为你想要的hostname，我这里是取hadoop-active

HOSTNAME=hadoop-active

查看设置是否生效，运行下面命令

3、在所有电脑的/etc/hosts添加以下配置：

其实就是所有电脑的静态IP地址和其hostname的对应关系。

检验所有机器配置是否修改生效，可以用ping来查看

如果上面的命令可以ping通，说明配置成功。

4、设置SSH无密码登陆

终端中执行：

[hadoop@hadoop ~]$ ssh-keygen -t rsa

Generating public/private rsa key pair.

Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): //使用默认位置

Enter passphrase (empty for no passphrase): //直接回车

Enter same passphrase again:

Your identification has been saved in /home/hadoop/.ssh/id_rsa.

Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.

The key fingerprint is:

5b:47:52:a7:1e:1c:4d:98:d7:04:eb:d9:0e:5f:dd:3d hadoop@hadoop

The key's randomart image is:

+--[ RSA 2048]----+

| o=++.|

| o+o..|

| . =.. |

| + o o+|

| S . o +E*|

| o . +o|

| o|

| |

| |

+-----------------+

[hadoop@hadoop ~]$

cp /home/hadoop/.ssh/id_rsa.pub /home/hadoop/.ssh/authorized_keys

[hadoop@hadoop ~]$chmod 644 /home/hadoop/.ssh/authorized_keys

[hadoop@hadoop ~]$ ssh localhost //测试是否成功

Last login: Thu Dec 8 14:23:46 2011 from localhost.localdomain

[hadoop@hadoop ~]$ exit

logout

Connection to localhost closed.

cat id_rsa.pub >> .ssh/authorized_keys 5、下载解压hadoop-2.2.0.tar.gz：

下载方式不再赘述，可以直接

运行完上面的命令之后，hadoop-2.2.0.tar.gz文件将会保存在/home/$user/Downloads/hadoop里面，然后解压：

之后将会在hadoop文件夹下面生成hadoop-2.2.0文件夹

6、配置Hadoop的环境变量

在/etc/profile文件的末尾加上以下配置

在终端输入hadoop命令查看Hadoop的环境变量是否生效：

7、编译Hadoop Native包

WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for

your platform… using builtin-java classes where applicable

在网上查了一下发现Apache官网提供的是32位编译的，在64位服务器上会有问题。而且官方竟然没有提供64位版本，要使用得自己编译。

7.1、编译环境准备

经过一次次编译失败，翻遍了谷歌、百度之后终于凑齐了下面这些包。

下面的服务器环境都基于Centos的，其它发行版Linux可能会有不同。

1、GCC、CMake、openssl、JDK。

2、hadoop-2.2.0-src.tar.gz（/releases.html#Download）

3、apache-ant-1.9.2-bin.tar.gz（/bindownload.cgi） 4、apache-maven-3.0.5-bin.tar.gz（/download.cgi）

注意：此处最新的3.1.1版有Bug，缺少依赖包。详细说明如下所示：

https:///confluence/display/MAVEN/AetherClassNotFound

5、findbugs-2.0.2.tar.gz（http://sourceforge.jp/projects/sfnet_findbugs/releases/）

注意：被墙，只能进sourceforge.jp

6、protobuf-2.5.0.tar.gz（https:///p/protobuf/downloads/list）

7、zlib-devel-1.2.3-3.x86_64.rpm

/index.php3/stat/4/idpl/8192688/dir/startcom_5/com/zlib-devel-1.2.3-3.x86_64.rpm.html

7.2、依赖环境配置

安装没啥好说的了，大部分都是tar包，解开就能用。只有protobuf需要make一下。

配置好环境后不要忘了source/etc/profile一下，否则不会生效。

下面的图是环境变量配置明细：

7.3、编译

安装好了上面的依赖后就可以编译了。

mvn package -Pdist,native,docs -DskipTests -Dtar

然后就是漫长的等待，真的很漫长（用小时来做单位的）。当你看到一串SUCCESS的时候，那么恭喜你成功了。

7.4、生成打包文件

到这一步就简单了，在/data/java/tools/hadoop-2.2.0-src/hadoop-dist/target/目录下，可以看到编译好的hadoop-2.2.0.tar.gz包静静的趴在那里，现在你可以进行安装了。 8、修改Hadoop的配置文件

7.1、修改Hadoop的hadoop-env.sh配置文件，设置jdk所在的路径：

找到JAVA_HOME，并设置为服务器JDK所在的绝对路径。

同时配置HADOOP_HOME，设置为服务器hadoop所在的绝对路径。

7.2、依次修改core-site.xml、yarn-site.xml、mapred-site.xml和hdfs-site.xml配置文件，主要分析core-site.xml与hdfs-site.xml配置信息。

Core-site.xml配置如下：

Hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多配置都依赖它。它默认的位置是在/tmp/{$user}下面，但是在/tmp路径下的存储是不安全的，因为linux一次重启，文件就可能被删除。所以建议配置该路径到持久化目录。

fs.defaultFS整个Federation集群对外提供服务的NS逻辑名称，这里的协议不再是hdfs，而是新引入的viewfs，这个逻辑名称会在下面的挂载表中用到。缺省文件服务的协议和NS逻辑名称，和hdfs-site里的对应，此配置替代了1.0里的。

Ha.zookeeper.quorum:”A list of ZooKeeper server addresses, separated by commas, that are to be

used by the ZKFailoverController in automatic failover.”。配置三个Zookper节点，用于ZKFC故障转移。

合集下载

集群的配置步骤

集群的配置步骤

集群的配置步骤

一、搭建集群环境的准备工作

在开始配置集群之前，我们需要先进行一些准备工作。首先，确保所有服务器都已经正确连接到网络，并且能够相互通信。其次，确保每台服务器上已经安装了操作系统，并且操作系统版本一致。最后，确保每台服务器上已经安装了必要的软件和工具，例如SSH、Java等。

二、创建集群的主节点

1.选择一台服务器作为集群的主节点，将其IP地址记录下来。

2.登录到主节点服务器上，安装并配置集群管理软件，例如Hadoop、Kubernetes等。

3.根据集群管理软件的要求，配置主节点的相关参数，例如集群名称、端口号等。

4.启动集群管理软件，确保主节点能够正常运行。

三、添加集群的工作节点

1.选择一台或多台服务器作为集群的工作节点，将其IP地址记录下来。

2.登录到工作节点服务器上，安装并配置集群管理软件，确保与主节点的版本一致。

3.根据集群管理软件的要求，配置工作节点的相关参数，例如主节点的IP地址、端口号等。 4.启动集群管理软件，确保工作节点能够正常连接到主节点。

四、测试集群的连接和通信

1.在主节点服务器上，使用集群管理软件提供的命令行工具，测试与工作节点的连接和通信。例如，可以使用Hadoop的hdfs命令测试与工作节点的文件系统的连接。

2.确保主节点能够正确访问工作节点的资源，并且能够将任务分配给工作节点进行处理。

五、配置集群的资源管理

1.根据集群管理软件的要求，配置集群的资源管理策略。例如，可以设置工作节点的CPU和内存的分配比例，以及任务的调度算法等。

2.确保集群能够合理分配资源，并且能够根据需要动态调整资源的分配。

六、监控和管理集群

1.安装并配置集群的监控和管理工具，例如Ganglia、Zabbix等。

2.确保监控和管理工具能够正常运行，并能够及时发现和处理集群中的故障和问题。

3.定期对集群进行巡检和维护，确保集群的稳定和可靠性。

七、优化集群的性能

Hadoop集群的三种方式

Hadoop集群的三种方式

Hadoop集群的三种⽅式

1,Local(Standalone) Mode 单机模式

$ mkdir input

$ cp etc/hadoop/*.xml input

$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep input output 'dfs[a-z.]+'

$ cat output/*

解析$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep input output 'dfs[a-z.]+'

input 夹下⾯的⽂件 ：capacity-scheduler.xml core-site.xml hadoop-policy.xml hdfs-site.xml httpfs-site.xml yarn-site.xml

bin/hadoop hadoop 命令

jar 这个命令在jar包⾥⾯

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar 具体位置

grep grep 函数

input grep 函数的⽬标⽂件夹

output grep 函数结果的输出⽂件夹

'dfs[a-z.]+' grep 函数的匹配正则条件

直译：将input⽂件下⾯的⽂件中包含 'dfs[a-z.]+' 的字符串给输出到output ⽂件夹中

输出结果：part-r-00000 _SUCCESS

cat part-r-00000：1 dfsadmin

在hadoop-policy.xml 存在此字符串

2,Pseudo-Distributed Operation 伪分布式

在 etc/hadoop/core.site.xml 添加以下属性

hadoop核心组件概述及hadoop集群的搭建

hadoop核心组件概述及hadoop集群的搭建

hadoop核⼼组件概述及hadoop集群的搭建

什么是hadoop？

Hadoop 是 Apache 旗下的⼀个⽤ java 语⾔实现开源软件框架，是⼀个开发和运⾏处理⼤规模数据的软件平台。允许使⽤简单的编程模型在⼤量计算机集群上对⼤型数据集进⾏分布式处理。

hadoop提供的功能：利⽤服务器集群，根据⽤户的⾃定义业务逻辑，对海量数据进⾏分布式处理。

狭义上来说hadoop 指 Apache 这款开源框架，它的核⼼组件有：

1. hdfs（分布式⽂件系统）（负责⽂件读写）

2. yarn（运算资源调度系统）(负责为MapReduce程序分配运算硬件资源)

3. MapReduce（分布式运算编程框架）

扩展：

关于hdfs集群： hdfs集群有⼀个name node(名称节点)，类似zookeeper的leader(领导者)，namenode记录了⽤户上传的⼀些⽂件分别在哪

些DataNode上，记录了⽂件的源信息(就是记录了⽂件的名称和实际对应的物理地址)，name node有⼀个公共端⼝默认是9000，这个端⼝

是针对客户端访问的时候的，其他的⼩弟(跟随者)叫data node，namenode和datanode会通过rpc进⾏远程通讯。

Yarn集群： yarn集群⾥的⼩弟叫做node manager，MapReduce程序发给node manager来启动，MapReduce读数据的时候去找

hdfs(datanode)去读。(注：hdfs集群和yarn集群最好放在同⼀台机器⾥)，yarn集群的⽼⼤主节点resource manager负责资源调度，应(最好)

单独放在⼀台机器。

⼴义上来说，hadoop通常指更⼴泛的概念--------hadoop⽣态圈 。

当下的 Hadoop 已经成长为⼀个庞⼤的体系，随着⽣态系统的成长，新出现的项⽬越来越多，其中不乏⼀些⾮ Apache 主管的项⽬，这

些项⽬对 HADOOP 是很好的补充或者更⾼层的抽象。⽐如：

Hadoop集群部署有几种模式？Hadoop集群部署方法介绍

Hadoop集群部署有几种模式？Hadoop集群部署方法介绍

1 Hadoop集群的部署分为三种，分别独立模式（Standalonemode）、伪分布式模式（Pseudo-Distributedmode）、完全分布式模式（Clustermode），具体介绍如下。

（1）独立模式：又称为单机模式，在该模式下，无需运行任何守护进程，所有的程序都在单个JVM上执行。独立模式下调试Hadoop集群的MapReduce程序非常方便，所以一般情况下，该模式在学习或者发阶段调试使用。

（2）伪分布式模式：Hadoop程序的守护进程运行在一台节上，通常使用伪分布式模式用来调试Hadoop分布式程序的代码，以及程序执行否正确，伪分布式模式完全分布式模式的一个特例。

（3）完全分布式模式：Hadoop的守护进程分别运行在由多个主机搭建的集群上，不同节担任不同的角色，在实际工作应用发中，通常使用该模式构建级Hadoop系统。

在Hadoop环境中，所有器节仅划分为两种角色，分别master（主节，1个）和slave（从节，多个）。因此，伪分布模式集群模式的特例，只将主节和从节合二为一罢了。

接下来，本书将以前面的三台虚拟机为例，阐述完全分布模式Hadoop集群的与配置方法，具体集群规划如图1所示。

图1Hadoop集群规划

从图1可以看出，当前规划的Hadoop集群包含一台master节和两台slave节。这里，将前面的Hadoop01作为Master节，Hadoop02和Hadoop03作为Slave节。