hadoop2.0安装文档
前期准备
安装文件版本
hadoop版本:hadoop-2.0.0-cdh4.2.2
zookeeper 版本:zookeeper-3.4.5-cdh4.2.2
hive版本:hive-0.10-cdh4.2.2
jdk版本: jdk-6u31-linux-x64.bin(或更高)
准备好相应版本安装文件后,请将安装文件上传到集群目录中
修改主机名
修改IP地址及主机名(以root用户登录,每个节点都需要配置)
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
GATEWAY=192.168.101.1
注: HOSTNAME为当前主机名字,GATEWAY:网关
修改/etc/hosts中已经配置了的主机(每个节点都需要配置):
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
主机IP 主机名
192.168.101.122 master
192.168.101.123 Slave
192.168.101.121 Slave1
linux命令:vi /etc/hosts
注:以上配置文件修改完成后,需重启主机生效
新建用户
创建hadoop 集群专用用户
groupadd hadoop (新建hadoop集群用户组)
useradd –g hadoop hduser (新建hadoop用户)
passwd hduser (设置用户密码,hduser上一步创建的用户) 免身份登录
进入集群用户 home目录
1. 生成公钥和私钥主节点到其它节点
ssh-keygen -t rsa
默认在 ~/.ssh目录生成两个文件：
id_rsa ：私钥
id_rsa.pub ：公钥
2. 导入公钥到认证文件,更改权限
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3. 首先将公钥复制到服务器,主节点向其它节点复制.
scp ~/.ssh/id_rsa.pub xxx@host:/home/xxx/id_rsa.pub
以下命令需要在子节点上操作
cat ~/id_rsa.pub >> ~/.ssh/authorized_key
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
执行完以上几步,主节点主可以和子节点无密码连接了.测试命令
ssh 子节点主机名或ip地址,第一次连接需确认,第二次以后就不用了
安装JDK
注:此步骤每个集群节点都需要做,可通过scp命令考贝至集群
在jdk-6u31-linux-x64.bin文件存在目录,执行./jdk-6u31-linux-x64.bin将自动解压jdk,并生成相应目录.如无法解压请先设置jdk-6u31-linux-x64.bin权限 chmod 777 jdk-6u31-linux-x64.bin然后在执行./ jdk-6u31-linux-x64.bin操作.
在安装完jdk后,需将jdk目录配置到系统环境或用户环境变量中.在当前用户home下,执行
vi .bashrc (用户环境变量)
增加如下代码:
JAVA_HOME=/usr/jdk6/jdk1.6.0_32 (此为jdk安装目录,如有变动时请手动修改)
CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
保存后执行 source .bashrc 让环境变量立即生效
1.1关闭防火墙
（1） 执行命令service iptables status查看防火墙是否允许
执行命令service iptables stop关闭防火墙
执行命令service iptables status验证是否关闭了
（2）
执行命令chkconfig --list|grep iptables 查看是否有on 执行命令chkconfig iptables off关闭防火墙自动运行
执行命令chkconfig --list|grep iptables 查看是否有on
hadoop2.0集群安装
上传hadoop介质hadoop-2.0.0-cdh4.2.2.tar.gz
$tar zxvf hadoop-2.0.0-cdh4.1.2.tar.gz 解压缩
修改/home/hadoop/hadoop-2.0.0-cdh4.1.2/etc/hadoop/hadoop-env.sh
JAVA_HOME=/usr/jdk6/jdk1.6.0_32 (jdk安装目录)
以下可根据集群性能酌情配置
export HADOOP_HEAPSIZE=
Hadoop集群安装完毕后，第一件事就是修改bin/hadoop-evn.sh文件设置内存。主流节点内存配置为32GB，典型场景内存设置如下
NN: 15-25 GB
JT：2-4GB
DN：1-4 GB
TT：1-2 GB，Child VM 1-2 GB
集群的使用场景不同相关设置也有不同，如果集群有大量小文件，则要求NN内存至少要20GB，DN内存至少2GB。
增加hadoop环境变量,
vi .bashrc
HADOOP_HOME=/home/cup/hadoop-2.0.0-cdh4.2.2 (hadoop解压目录)
HADOOP_MAPRED_HOME=$HADOOP_HOME
HADOOP_COMMON_HOME=$HADOOP_HOME
HADOOP_HDFS_HOME=$HADOOP_HOME
YARN_HOME=$HADOOP_HOME
HADOOP_CONF_HOME=${HADOOP_HOME}/etc/hadoop
YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
HADOOP_HOME_WARN_SUPPRESS=1
HADOOP_CLASSPATH=$CLASSPATH
HADOOP_CLASSPATH=${HADOOP_HOME}/share/hadoop/common:${HADOOP_HOME}/share/hadoop/common/lib:$HADOOP_CLASSPATH
HADOOP_CLASSPATH=${HADOOP_HOME}/share/hadoop/hdfs:${HADOOP_HOME}/share/hadoop/hdfs/lib:$HADOOP_CLASSPATH
HADOOP_CLASSPATH=${HADOOP_HOME}/share/hadoop/mapreduce:${HADOOP_HOME}/share/hadoop/mapreduce/lib:$HADOOP_CLASSPATH
HADOOP_CLASSPATH=${HADOOP_HOME}/share/hadoop/tools/lib:$HADOOP_CLASSPATH
HADOOP_CLASSPATH=${HADOOP_HOME}/share/hadoop/yarn:${HADOOP_HOME}/share/hadoop/yarn/lib:$HADOOP_CLASSPATH
HADOOP_CLASSPATH=`$HBASE_HOME/bin/hbase classpath`:$HADOOP_CLASSPATH
JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:${HADOOP_HOME}/lib/native:/usr/lib64:/usr/local/lib
LD_LIBRARY_PATH=$LD_LIBRARY_PATH:${HADOOP_HOME}/lib/native:/usr/lib64:/usr/local/lib
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:$ANT_HOME/bin:$MAVEN_HOME/bin:/home/cup/shell:$PATH
export JAVA_LIBRARY_PATH LD_LIBRARY_PATH HADOOP_CLASSPATH
export HADOOP_HOME HADOOP_MAPRED_HOME HADOOP_COMMON_HOME
HADOOP_HDFS_HOME YARN_HOME
export ZOOKEEPER_HOME HBASE_HOME ANT_HOME MAVEN_HOME
HADOOP_HOME_WARN_SUPPRESS PATH
# HIVE_HOME=/home/cup/hive-0.10.0-cdh4.2.1
# HADOOP_CLASSPATH=${HIVE_HOME}/lib:$HADOOP_CLASSPATH
# HIVE_CLASSPATH=$HBASE_HOME/conf
# PATH=$HIVE_HOME/bin:$PATH
# export HIVE_HOME HIVE_CLASSPATH HADOOP_CLASSPATH PATH
$source . bashrc (使配置文件生效)
修改hadoop配置文件
core-site.xml
/home/hadoop/hadoop-2.0.0-cdh4.1.2/etc/hadoop/core-site.xml
