当前位置：文档之家 › hadoop学习笔记(一、hadoop集群环境搭建)

hadoop学习笔记(一、hadoop集群环境搭建)

  • 格式：docx
  • 大小：444.02 KB
  • 文档页数：15

下载文档原格式

  / 15
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

Hadoop集群环境搭建1、准备资料

虚拟机、Redhat6.5、hadoop-1.0.3、jdk1.6

2、基础环境设置

2.1配置机器时间同步

#配置时间自动同步

crontab -e

#手动同步时间

/usr/sbin/ntpdate

1、安装JDK

安装

cd /home/wzq/dev

./jdk-*****.bin

设置环境变量

Vi /etc/profile/java.sh

2.2配置机器网络环境

#配置主机名(hostname)

vi /etc/sysconfig/network

#修第一台hostname 为master

hostname master

#检测

hostname

#使用setup 命令配置系统环境setup

#检查ip配置

cat /etc/sysconfig/network-scripts/ifcfg-eth0

#重新启动网络服务

/sbin/service network restart

#检查网络ip配置

/sbin/ifconfig

2.3关闭防火墙

2.4配置集群hosts列表

vi /etc/hosts

#添加一下内容到vi 中

2.5创建用户账号和Hadoop部署目录和数据目录

#创建hadoop 用户

/usr/sbin/groupadd hadoop

#分配hadoop 到hadoop 组中

/usr/sbin/useradd hadoop -g hadoop

#修改hadoop用户密码

Passwd hadoop

#创建hadoop 代码目录结构

mkdir -p /opt/modules/hadoop/

#修改目录结构权限拥有者为为hadoop

chown -R hadoop:hadoop /opt/modules/hadoop/

2.6生成登陆密钥

#切换到Hadoop 用户下

su hadoop

cd /home/hadoop/

#在master、node1、node2三台机器上都执行下面命令，生成公钥和私钥

ssh-keygen -q -t rsa -N "" -f /home/hadoop/.ssh/id_rsa

cd /home/hadoop/.ssh

#把node1、node2上的公钥拷贝到master上

scp /home/hadoop/.ssh/ id_rsa.pub hadoop@master:/home/hadoop/.ssh/node1_pubkey scp /home/hadoop/.ssh/ id_rsa.pub hadoop@master:/home/hadoop/.ssh/node2_pubkey

#在master上生成三台机器的共钥

cp id_rsa.pub authorized_keys

cat node1_pubkey >> authorized_keys

cat node2_pubkey >> authorized_keys

rm node1_pubkey node2_pubkey

#吧master上的共钥拷贝到其他两个节点上

scp authorized_keys node1: /home/hadoop/.ssh/

scp authorized_keys node1: /home/hadoop/.ssh/

#验证

ssh master

ssh node1

ssh node2

没有要求输入密码登陆，表示免密码登陆成功

3、伪分布式环境搭建

3.1下载并安装JAVA JDK系统软件

#下载jdk

wget http://60.28.110.228/source/package/jdk-6u21-linux-i586-rpm.bin

#安装jdk

chmod +x jdk-6u21-linux-i586-rpm.bin

./jdk-6u21-linux-i586-rpm.bin

#配置环境变量

vi /etc/profile.d/java.sh

#手动立即生效

source /etc/profile

3.2 Hadoop 文件下载和安装

#切到hadoop 安装路径下

cd /opt/modules/hadoop/

#从 下载Hadoop 安装文件

wget /apache-mirror/hadoop/common/hadoop-1.0.3/hadoop-1.0.3.tar.gz

#如果已经下载,请复制文件到安装hadoop 文件夹

cp hadoop-1.0.3.tar.gz /opt/modules/hadoop/

#解压hadoop-1.0.3.tar.gz

cd /opt/modules/hadoop/

tar -xvf hadoop-1.0.3.tar.gz

#配置环境变量

vi /etc/profile.d/java.sh

#手动立即生效

source /etc/profile

3.3配置hadoop-env.sh 环境变量

#配置jdk。

# The java implementation to use. Required.

export JAVA_HOME=/usr/java/jdk1.6.0_21/

3.4 Hadoop Common组件配置core-site.xml

#编辑core-site.xml 文件

3.5 HDFS NameNode,DataNode组建配置hdfs-site.xml

相关主题