当前位置：文档之家 › Hadoop的安装与配置

Hadoop的安装与配置

  • 格式：doc
  • 大小：35.50 KB
  • 文档页数：13

Hadoop的安装与配置

建立一个三台电脑的群组，操作系统均为Ubuntu，三个主机名分别为wjs1、wjs2、wjs3。

1、环境准备：

所需要的软件及我使用的版本分别为：Hadoop版本为0.19.2，JDK版本为jdk-6u13-linux-i586.bin。

由于Hadoop要求所有机器上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户。所以在三台主机上都设置一个用户名为“wjs”的账户，主目录为/home/wjs。

a、配置三台机器的网络文件

分别在三台机器上执行：sudo gedit /etc/network/interfaces

wjs1机器上执行：在文件尾添加：

auto eth0

iface eth0 inet static

address 192.168.137.2

gateway 192.168.137.1

netmask 255.255.255.0

wjs2和wjs3机器上分别执行：在文件尾添加：

auto eth1

iface eth1 inet static

address 192.168.137.3（wjs3上是address 192.168.137.4）

gateway 192.168.137.1

netmask 255.255.255.0

b、重启网络：sudo /etc/init.d/networking restart

查看ip是否配置成功：ifconfig

{注：为了便于“wjs”用户能够修改系统设置访问系统文件，最好把“wjs”用户设为sudoers（有root权限的用户），具体做法：用已有的sudoer登录系统，执行sudo visudo -f /etc/sudoers,并在此文件中添加以下一行：wjs

ALL=(ALL)ALL,保存并退出。}

c、修改三台机器的/etc/hosts,让彼此的主机名称和ip都能顺利解析，在/etc/hosts中添加：

192.168.137.2 wjs1

192.168.137.3 wjs2

192.168.137.4 wjs3

d、由于Hadoop需要通过ssh服务在各个节点之间登陆并运行服务，因此必须确保安装Hadoop的各个节点之间网络的畅通，网络畅通的标准是每台机器的主机名和IP地址能够被所有机器正确解析（包括它自己）。测试方法就是PING主机名。

主机名 IP地址 功能

wjs1 192.168.137.2 NameNode,JobTracker

wjs2 192.168.137.3 DataNode,TaskTracker

wjs3 192.168.137.4 DataNode,TaskTracker

2、安装JDK：

步骤1.根据自己机器的配置下载JDK，我下载的是jdk-6u13-linux-i586.bin；

步骤2.点击桌面“应用程序”-->“附件”-->“终端”，进入终端窗口；

步骤3.在主目录下新建子目录software—JDK，并将下载的jdk-6u13-linux-i586.bin拷贝到该目录下；

步骤4.转到/home/wjs/software/JDK目录下，开始安装jdk，在终端输入命令：

#cd /home/wjs/software/JDK

#./jdk-6u13-linux-i586.bin

安装程序将询问你是否尊守许可协议页面，回车、空格都可以，看完协议。

出现一行字：Do you aggree to the above license terms? [yes or no]

输入yes后，jdk被解压到usr/java/jdk1.6.0_13目录下。

步骤5.修改环境变量，设置PATH,JAVA_HOME,CLASSPATH,用gedit编辑器来修改profile文件，这个文件的修改会对所有的用户起作用。

#sudo gedit /etc/profile

在弹出的profile文件的末尾，umask 022之前加上以下设置的语句

export JAVA_HOME=/home/wjs/software/JDK/jdk1.6.0_13

export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

umask 022//原文件里的，不动它

保存退出。

步骤6.测试jdk是否安装成功

退出终端，注销一下，再次进入终端，输入java -version,可查到jdk版本信息，

java version "1.6.0_13"

Java(TM) SE Runtime Environment (build 1.6.0_13-b03)

Java HotSpot(TM) Client VM (build 11.3-b02, mixed mode,sharing)

说明安装成功。

3、安装ssh

SSH分客户端openssh-client和服务器端openssh-server。

如果只是想登陆别的机器的SSH只需要安装openssh-client（ubuntu有默认安装，如果没有则sudo apt-get install openssh-client），如果要使本机开放SSH服务就需要安装openssh-server。

sudo apt-get install openssh-server

然后确认sshserver是否启动了：

ps -e |grep ssh

如果只有ssh-agent那ssh-server还没有启动，需要/etc/init.d/ssh

start，如果看到sshd那说明ssh-server已经启动了。

ssh-server配置文件位于/ etc/ssh/sshd_config，在这里可以定义SSH的服务端口，默认端口是22，你可以自己定义成其他端口号，如222。然后重启SSH服务：

sudo /etc/init.d/ssh stop

sudo /etc/init.d/ssh start

或者：

sudo /etc/init.d/ssh restart

确认ssh-server已经正常工作：

netstat -tlp

tcp6 0 0

*:ssh *:* LISTEN

-

看到上面这一行输出说明ssh-server已经在运行了。

4、安装Hadoop：

以wjs帐号登录到每个节点上，在wjs主目录中为Hadoop创建目录Hadoop，我创建的是/home/wjs/software/Hadoop/，所有的Hadoop版本放在这个目录中

把hadoop-0.19.2压缩包解压到/Hadoop中，为了便于以后升级，一种值得推荐的做法是建议一个链接指向当前所用的Hadoop版本，不妨就设为hadoop：

cd /home/wjs/software/Hadoop

tar -zxvf hadoop-0.19.2.tar.gz

ln -s hadoop-0.19.2 hadoop

按照以上步骤完成设置之后，所有的配置文件都在/hadoop-0.19.2/conf/目录中，所有的可执行程序都在/hadoop-0.19.2/bin目录中，但是hadoop的配置文件和hadoop的安装目录是放在一起的，这样一旦日后升级，所有的配置文件都会被覆盖，因此建议将配置文件与安装目录分离，一种比较好的方法就是建立一个存放配置文件的目录，例如/home/wjs/software/Hadoop/hadoop-config/，然后将/hadoop-0.19.2/conf/目录中的hadoop-site.xml，masters，slaves，hadoop-env.sh四个文件拷贝到hadoop-config/目录中

设置环境变量$Hadoop_CONF_DIR指向存放配置文件的目录，为保证用户每次登录到系统中都自动设置此环境变量，需要在/home/wjs/.bashrc和/etc/profile两个文件中都添加一行命令：

export Hadoop_CONF_DIR=/home/wjs/software/Hadoop/hadoop-config/

这种配置方法使得hadoop的配置文件与安装目录分离，并通过设定一个链接指向当前使用的Hadoop版本，大大降低了人工部署和维护Hadoop的复杂度和工作量

4、配置Hadoop：

Hadoop是master/slave结构，在一个Hadoop集群中，有一个Namenode（相当于master）和若干个Datanode（相当于slave），其中Namenode通过ssh服务来启动和停止各个Datanode上的各种守护进程。因此ssh的设置是Hadoop部署中很重要的一环。显然，不可能要求用户每次在节点之间执行指令时输入密码，因此我们需要配置ssh使之采用无密码公钥认证的方式来登录。

首先保证所有的机器都安装了ssh服务器，并启动了ssh服务。我设定wjs1为主节点（Namenode），wjs2和wjs3是从节点（Datanode），wjs1要调度wjs2和wjs3上的程序，需要主动发起ssh连接到wjs2和wjs3。对于ssh服务而言，wjs1是客户端，wjs2和wjs3是服务端。要实现无密码公钥认证，需要在wjs1上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到wjs2和wjs3上。当wjs1通过ssh连接wjs2和wjs3时，wjs2和wjs3就会生成一个随机数并用wjs1的公钥对随机数进行加密，并发送给wjs1。wjs1收到加密数之后再用私钥进行解密，并将解密数回传给wjs2和wjs3，wjs2和wjs3确认解密数无误之后就允许wjs1进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。

具体步骤是：

（1）在wjs1上生成密码对，执行以下命令：ssh-keygen -t rsa

此命令为wjs1上的用户wjs生成密钥对，当询问保存路径时回车采用默认路径即可，当提示要为密钥输入passphrase时回车采用空密码。此命令执行完毕生成一对密钥文件id_rsa（私钥）和id_rsa.pub（公钥），默认存储在/home/wjs/.ssh下

（2）把生成的id_rsa.pub文件改名为authorized_keys，并复制到每台机器（包括本机）的/home/wjs/.ssh/下。如果机器上已经有authorized_keys文件，则把id_rsa.pub中的内容直接复制到authorized_keys文件尾；如果不存

合集下载

Hadoop安装部署手册

Hadoop安装部署手册

1.1 软件环境

1) CentOS6.5x64

2) Jdk1.7x64

3) Hadoop2.6.2x64

4) Hbase-0.98.9

5) Zookeeper-3.4.6

1.2 集群环境

集群中包括 3个节点：1个Master, 2个Slave

机器名称 IP地址 Hadoop ZooKeeper myid Hbase

Master.Hadoop 10.1.11.150 NameNode server.1 1 HMaser

Slave1.Hadoop

10.1.11.151 DataNode server.2 2 HRegionServer

Slave2.Hadoop 10.1.11.152 DataNode server.3 3 HRegionServer

2安装前的准备

2.1 下载JDK

2.2 下载 Hadoop

2.3 下载 Zookeeper

2.4 下载 Hbase

3开始安装

3.1 CentOS安装配置

1）安装3台CentOS6.5x64 （使用BasicServer模式，其他使用默认配置，安装过程略）

2） Master.Hadoop 配置

a） 配置网络

修改为:

保存，退出(esc+:wq+enter ),使配置生效

b) 配置主机名

修改为:

c）配置 hosts

修改为:

修改为:

在最后增加如下内容

以上调整，需要重启系统才能生效

g) 配置用户

新建hadoop用户和组，设置 hadoop用户密码

id_rsa.pub ,默认存储在"/home/hadoop/.ssh" 目录下。

a) 把id_rsa.pub追加到授权的 key里面去

b) 修改.ssh目录的权限以及 authorized_keys 的权限

c) 用root用户登录服务器修改 SSH配置文件"/etc/ssh/sshd_config"的下列内容

3) Slavel.Hadoop 、Slavel.Hadoop 配置

hadoop集群安装

hadoop集群安装

集群安装

所由程序都安装在opt目录下

0 准备：linux系统

1)修改主机名称 （例如 master ）

<1>命令 hostname master （ping为要修改的主机名)

<2>修改配置文件 命令 vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=master

2)绑定master （主机名）

配置文件 vi /etc/hosts

验证：ping master

3)关闭防火墙

命令 service iptables stop

验证： service iptables status

4)关闭防火墙的自动运行

命令 chkconfig iptables off

验证：chkconfig --list | grep iptables

5)SSH

<1>命令 ssh-keygen -t rsa 将会在~/.ssh下产生秘钥

<2>复制命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

(别写错了，)

<3>若要多台机器使用ssh免密码登陆时，用scp命令 将ssh/id_rsa.pub相互复制到authorized_keys中

验证：ssh localhost

1 jdk安装（jdk-6u10-linux-x64.bin）

1)清除系统自带的openjdk :sudo apt-get remove openjdk*

2)安装自己的jdk

1 添加执行权限 :chmod u+x jdk-6u10-linux-x64.bin

2 解压缩:./jdk-6u10-linux-x64.bin

3 移动到opt目录下：mv jdk1.6.0.24 /opt/jdk1.6.0_10

4 配置环境变量：vim /etc/profile 配置环境变量

在linux中安装Hadoop教程-伪分布式配置-Hadoop2.6.0-Ubuntu14.04

在linux中安装Hadoop教程-伪分布式配置-Hadoop2.6.0-Ubuntu14.04

在linux中安装Hadoop教程-伪分布式配置-Hadoop2.6.0-

Ubuntu14.04

注：该教程转⾃厦门⼤学⼤数据课程学习总结

装好了 Ubuntu 系统之后，在安装 Hadoop 前还需要做⼀些必备⼯作。

创建hadoop⽤户

如果你安装 Ubuntu 的时候不是⽤的 “hadoop” ⽤户，那么需要增加⼀个名为 hadoop 的⽤户。

⾸先按 ctrl+alt+t 打开终端窗⼝，输⼊如下命令创建新⽤户 :

sudo useradd -m hadoop -s /bin/bash

这条命令创建了可以登陆的 hadoop ⽤户，并使⽤ /bin/bash 作为 shell。

sudo命令 本⽂中会⼤量使⽤到sudo命令。sudo是ubuntu中⼀种权限管理机制，管理员可以授权给⼀些普通⽤户去执⾏⼀些需要root权

限执⾏的操作。当使⽤sudo命令时，就需要输⼊您当前⽤户的密码.

密码 在Linux的终端中输⼊密码，终端是不会显⽰任何你当前输⼊的密码，也不会提⽰你已经输⼊了多少字符密码。⽽在windows系统

中,输⼊密码⼀般都会以“*”表⽰你输⼊的密码字符

接着使⽤如下命令设置密码，可简单设置为 hadoop，按提⽰输⼊两次密码：

sudo passwd hadoop

可为 hadoop ⽤户增加管理员权限，⽅便部署，避免⼀些对新⼿来说⽐较棘⼿的权限问题：

sudo adduser hadoop sudo

最后注销当前⽤户（点击屏幕右上⾓的齿轮，选择注销），返回登陆界⾯。在登陆界⾯中选择刚创建的 hadoop ⽤户进⾏登陆。

更新apt

⽤ hadoop ⽤户登录后，我们先更新⼀下 apt，后续我们使⽤ apt 安装软件，如果没更新可能有⼀些软件安装不了。按 ctrl+alt+t 打开终端窗

⼝，执⾏如下命令：

sudo apt-get update

后续需要更改⼀些配置⽂件，我⽐较喜欢⽤的是 vim（vi增强版，基本⽤法相同）

Hadoop 搭建

Hadoop 搭建

实 验 报 告

（与程序设计有关）

课程名称： 云计算技术提高

实验题目： Hadoop 搭建

Xx xx： 0000000000

x x: xx

x x：

xxxx

2021年 5 月 21 日

实验目的及要求：

开源分布式计算架构Hadoop的搭建

软硬件环境：

Vmware 一台计算机

算法或原理分析（实验内容）：

Hadoop是Apache基金会旗下一个开源的分布式存储和分析计算平台，使用Java语言开发，具有很好的跨平台性，可以运行在商用（廉价）硬件上，用户无需了解分布式底层细节，就可以开发分布式程序，充分使用集群的高速计算和存储。

Hadoop由分布式文件系统HDFS、MapReduce系统、YARN作业调度和资源管理框架以及Hadoop Common通用组件模块组成。

一．Hadoop集群的搭建过程：

（1）环境设置：三台 VirtualBox上的Linux虚机，每台硬盘20G，内存768M。

配置相应IP与主机名，配置hosts文件填写主机和其他节点的IP映射。关闭防火墙并设置时间同步。并建立ssh无密码访问。

（2）JDK安装：下载JDK、配置环境变量

（3）Hadoop的安装：安装并配置环境变量、配置hadoop的配置文件，需要配置的有hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves。