Hadoop单机及集群配置

  • 格式:doc
  • 大小:1.27 MB
  • 文档页数:10

下载文档原格式

  / 10
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

实验报告

(2014 / 2015 学年第二学期)

课程名称云计算

实验名称Hadoop单机及集群配置

实验时间2015 年 5 月13 日指导单位

指导教师

学生姓名班级学号

学院(系) 专业

实验报告

实验名称Hadoop单机及集群配置指导教师

实验类型上机实验学时 2 实验时间2015.5.13 一、实验目的和要求

实验要求:学会Hadoop单机版及集群的安装配置

实验目的:1)了解Hadoop的安装及运行环境;

2)掌握Hadoop的工作原理;

3)在此基础上为Hadoop数据分析奠定基础

二、实验环境

虚拟机Ubuntu14.04、hadoop-1.2.1

三、实验原理及内容

1、安装Ubuntu14.04

使用VMware Workstation安装虚拟机Ubuntu14.04

2、hadoop用户组

(1)创建hadoop用户组:sudo addgroup hadoop

(2)创建hadoop用户:sudo adduser -ingroup hadoop hadoop

(3)为hadoop用户添加权限:

sudo gedit /etc/sudoers,在打开的文件中添加一句hadoop ALL=(ALL:ALL)ALL,其中hadoop和ALL之间的空格使用TAB键。

(4)使用hadoop用户登录系统

重新打开Ubuntu,发现登陆界面多了一个hadoop用户,用hadoop用户登录系统。

3、SSH配置

(1)Ubuntu14.04已默认安装ssh的客户端,只需要安装服务器端即可,但在实际操作时,发现由于是刚安装的Ubuntu系统,该系统没有更新,还没有安装ssh,因此先使用系统更新命令sudo apt-get update更新系统。

(2)安装ssh:sudo apt-get install openssh-server。

(3)启动ssh:sudo /etc/init.d/ssh start

查看服务是否正确启动:ps -e | grep ssh。

(4)设置免密码登录,生成私钥和公钥:ssh-keygen -t rsa -P ""

(5)将公钥追加到authorized_keys(authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容)中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys (6)现在即可免密码登录:ssh localhost

退出:exit

4、JAVA环境配置

(1)创建jvm文件夹:sudo mkdir /usr/lib/jvm

(2)将下好的jdk文件解压,,并将解压后的文件夹重命名为java-7-sun,:sudo tar xzvf jdk-7u45-linux-i586.tar.gz-C /usr/lib/jvm/(由于安装的Ubuntu系统为64位的,学长提供的jdk7u79为32位的,安装之后无法使用,所以重新下载了一个jdk,由于7u79版本官网下载速度太慢,因此下载了一个7u45版本的jdk)

重命名:sudo mv jdk1.7.0_45/ java-7-sun/

(3)配置环境变量:sudo gedit ~/.bashrc

在最后添加如下四行:

export JAVA_HOME=/usr/lib/jvm/java-7-sun

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

(4)启用配置:source ~/.bashrc

(5)配置默认JDK:sudo update-alternatives --install /usr/lib/jvm/java

java/usr/lib/jvm/java-7-

Sun/bin/java 300

sudo update-alternatives --install /usr/lib/jvm/javac javac

/usr/lib/jvm/java-7-sun/bin/javac 300

(6)测试是否已完成:java -version

(sudo update-alternatives --config java可查看当前各种JDK的版本和配置)

5、安装hadoop

(1)将hadoop1.2.1解压至/usr/local下,并将其重命名为hadoop:sudo tar xzvf hadoop-1.2.1

.tar.gz -C/usr/local

重命名:sudo mv hadoop-1.2.1/ hadoop/

(2)授权(读写权限):sudo chmod 777 hadoop/

(3)编辑hadoop-env.sh文件:sudo gedit /usr/local/hadoop/conf/hadoop-env.sh,增加如下三行:

export JAVA_HOME=/usr/lib/jvm/java-7-sun

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:/usr/local/hadoop/bin

如下图所示:

(4)执行命令:source hadoop-env.sh

(5)输入hadoop,出现如下图所示,说明hadoop命令已经可以使用: