hadoop2.0安装文档
前期准备
安装文件版本
hadoop版本:hadoop-2.0.0-cdh4.2.2
zookeeper 版本:zookeeper-3.4.5-cdh4.2.2
hive版本:hive-0.10-cdh4.2.2
jdk版本: jdk-6u31-linux-x64.bin(或更高)
准备好相应版本安装文件后,请将安装文件上传到集群目录中
修改主机名
修改IP地址及主机名(以root用户登录,每个节点都需要配置)
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
GATEWAY=192.168.101.1
注: HOSTNAME为当前主机名字,GATEWAY:网关
修改/etc/hosts中已经配置了的主机(每个节点都需要配置):
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 #::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
注:以上配置文件修改完成后,需重启主机生效
新建用户
创建hadoop 集群专用用户
groupadd hadoop (新建hadoop集群用户组)
useradd –g hadoop hduser (新建hadoop用户)
passwd hduser (设置用户密码,hduser上一步创建的用户)
免身份登录
进入集群用户home目录
1.生成公钥和私钥主节点到其它节点
ssh-keygen -t rsa
默认在~/.ssh目录生成两个文件：
id_rsa ：私钥
id_rsa.pub ：公钥
安装JDK
注:此步骤每个集群节点都需要做,可通过scp命令考贝至集群
在jdk-6u31-linux-x64.bin文件存在目录,执行./jdk-6u31-linux-x64.bin将自动解压jdk,并生成相应目录.如无法解压请先设置jdk-6u31-linux-x64.bin权限chmod 777 jdk-6u31-linux-x64.bin然后在执行./ jdk-6u31-linux-x64.bin操作.
在安装完jdk后,需将jdk目录配置到系统环境或用户环境变量中.在当前用户home下,执行vi .bashrc (用户环境变量)
增加如下代码:
JAVA_HOME=/usr/jdk6/jdk1.6.0_32 (此为jdk安装目录,如有变动时请手动修改) CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
保存后执行source .bashrc 让环境变量立即生效
1.1关闭防火墙
（1）执行命令service iptables status查看防火墙是否允许
执行命令service iptables stop关闭防火墙
执行命令service iptables status验证是否关闭了
（2）
执行命令chkconfig --list|grep iptables 查看是否有on
执行命令chkconfig iptables off关闭防火墙自动运行
执行命令chkconfig --list|grep iptables 查看是否有on
hadoop2.0集群安装
上传hadoop介质hadoop-2.0.0-cdh4.2.2.tar.gz
$tar zxvf hadoop-2.0.0-cdh4.1.2.tar.gz 解压缩
修改/home/hadoop/hadoop-2.0.0-cdh4.1.2/etc/hadoop/hadoop-env.sh
JAVA_HOME=/usr/jdk6/jdk1.6.0_32 (jdk安装目录)
以下可根据集群性能酌情配置
export HADOOP_HEAPSIZE=
Hadoop集群安装完毕后，第一件事就是修改bin/hadoop-evn.sh文件设置内存。主流节点内存配置为32GB，典型场景内存设置如下
NN: 15-25 GB
JT：2-4GB
DN：1-4 GB
TT：1-2 GB，Child VM 1-2 GB
集群的使用场景不同相关设置也有不同，如果集群有大量小文件，则要求NN内存至少要20GB，DN内存至少2GB。
增加hadoop环境变量,
vi .bashrc
HADOOP_HOME=/home/cup/hadoop-2.0.0-cdh4.2.2 (hadoop解压目录)
HADOOP_MAPRED_HOME=$HADOOP_HOME
HADOOP_COMMON_HOME=$HADOOP_HOME
HADOOP_HDFS_HOME=$HADOOP_HOME
YARN_HOME=$HADOOP_HOME
HADOOP_CONF_HOME=${HADOOP_HOME}/etc/hadoop
YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
HADOOP_HOME_WARN_SUPPRESS=1
HADOOP_CLASSPATH=$CLASSPATH
HADOOP_CLASSPATH=${HADOOP_HOME}/share/hadoop/common:${HADOOP_HOME}/share/ha doop/common/lib:$HADOOP_CLASSPATH
HADOOP_CLASSPATH=${HADOOP_HOME}/share/hadoop/hdfs:${HADOOP_HOME}/share/hadoo p/hdfs/lib:$HADOOP_CLASSPATH
HADOOP_CLASSPATH=${HADOOP_HOME}/share/hadoop/mapreduce:${HADOOP_HOME}/share/ hadoop/mapreduce/lib:$HADOOP_CLASSPATH
HADOOP_CLASSPATH=${HADOOP_HOME}/share/hadoop/tools/lib:$HADOOP_CLASSPATH HADOOP_CLASSPATH=${HADOOP_HOME}/share/hadoop/yarn:${HADOOP_HOME}/share/hadoo p/yarn/lib:$HADOOP_CLASSPATH
HADOOP_CLASSPATH=`$HBASE_HOME/bin/hbase classpath`:$HADOOP_CLASSPATH
