Hadoop单机及集群配置
- 格式:doc
- 大小:1.27 MB
- 文档页数:10
实验报告
(2014 / 2015 学年第二学期)
课程名称云计算
实验名称Hadoop单机及集群配置
实验时间2015 年 5 月13 日指导单位
指导教师
学生姓名班级学号
学院(系) 专业
实验报告
实验名称Hadoop单机及集群配置指导教师
实验类型上机实验学时 2 实验时间2015.5.13 一、实验目的和要求
实验要求:学会Hadoop单机版及集群的安装配置
实验目的:1)了解Hadoop的安装及运行环境;
2)掌握Hadoop的工作原理;
3)在此基础上为Hadoop数据分析奠定基础
二、实验环境
虚拟机Ubuntu14.04、hadoop-1.2.1
三、实验原理及内容
1、安装Ubuntu14.04
使用VMware Workstation安装虚拟机Ubuntu14.04
2、hadoop用户组
(1)创建hadoop用户组:sudo addgroup hadoop
(2)创建hadoop用户:sudo adduser -ingroup hadoop hadoop
(3)为hadoop用户添加权限:
sudo gedit /etc/sudoers,在打开的文件中添加一句hadoop ALL=(ALL:ALL)ALL,其中hadoop和ALL之间的空格使用TAB键。
(4)使用hadoop用户登录系统
重新打开Ubuntu,发现登陆界面多了一个hadoop用户,用hadoop用户登录系统。
3、SSH配置
(1)Ubuntu14.04已默认安装ssh的客户端,只需要安装服务器端即可,但在实际操作时,发现由于是刚安装的Ubuntu系统,该系统没有更新,还没有安装ssh,因此先使用系统更新命令sudo apt-get update更新系统。
(2)安装ssh:sudo apt-get install openssh-server。
(3)启动ssh:sudo /etc/init.d/ssh start
查看服务是否正确启动:ps -e | grep ssh。
(4)设置免密码登录,生成私钥和公钥:ssh-keygen -t rsa -P ""
(5)将公钥追加到authorized_keys(authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容)中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys (6)现在即可免密码登录:ssh localhost
退出:exit
4、JAVA环境配置
(1)创建jvm文件夹:sudo mkdir /usr/lib/jvm
(2)将下好的jdk文件解压,,并将解压后的文件夹重命名为java-7-sun,:sudo tar xzvf jdk-7u45-linux-i586.tar.gz-C /usr/lib/jvm/(由于安装的Ubuntu系统为64位的,学长提供的jdk7u79为32位的,安装之后无法使用,所以重新下载了一个jdk,由于7u79版本官网下载速度太慢,因此下载了一个7u45版本的jdk)
重命名:sudo mv jdk1.7.0_45/ java-7-sun/
(3)配置环境变量:sudo gedit ~/.bashrc
在最后添加如下四行:
export JAVA_HOME=/usr/lib/jvm/java-7-sun
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
(4)启用配置:source ~/.bashrc
(5)配置默认JDK:sudo update-alternatives --install /usr/lib/jvm/java
java/usr/lib/jvm/java-7-
Sun/bin/java 300
sudo update-alternatives --install /usr/lib/jvm/javac javac
/usr/lib/jvm/java-7-sun/bin/javac 300
(6)测试是否已完成:java -version
(sudo update-alternatives --config java可查看当前各种JDK的版本和配置)
5、安装hadoop
(1)将hadoop1.2.1解压至/usr/local下,并将其重命名为hadoop:sudo tar xzvf hadoop-1.2.1
.tar.gz -C/usr/local
重命名:sudo mv hadoop-1.2.1/ hadoop/
(2)授权(读写权限):sudo chmod 777 hadoop/
(3)编辑hadoop-env.sh文件:sudo gedit /usr/local/hadoop/conf/hadoop-env.sh,增加如下三行:
export JAVA_HOME=/usr/lib/jvm/java-7-sun
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
如下图所示:
(4)执行命令:source hadoop-env.sh
(5)输入hadoop,出现如下图所示,说明hadoop命令已经可以使用: