Hadoop 集群搭建详细简明教程
Linux 操作系统安装
利用 vmware 安装 Linux 虚拟机，选择 CentOS 操作系统
搭建机器配置说明
本人机器是 thinkpadt410，i7 处理器，8G 内存，虚拟机配置为 2G 内存，大家可以 按照自己的机器做相应调整，但虚拟机内存至少要求 1G。
会出现虚拟机硬件清单，我们要修改的，主要关注“光驱”和“软驱”，如下图： 选择“软驱”，点击“remove”移除软驱：
选择光驱，选择 CentOS ISO 镜像，如下图： 最后点击“Close”，回到“硬件配置页面”，点击“Finsh”即可，如下图： 下图为创建all or upgrade an existing system”
执行 java –version 命令 会出现上图的现象。 从网站上下载 jdk1.6 包( jdk-6u21-linux-x64-rpm.bin )上传到虚拟机上 修改权限：chmod u+x jdk-6u21-linux-x64-rpm.bin 解压并安装: ./jdk-6u21-linux-x64-rpm.bin (默认安装在/usr/java 中) 配置环境变量：vi /etc/profile 在该 profile 文件中最后添加：
选择“Skip”跳过，如下图：
选择“English”，next，如下图： 键盘选择默认，next，如下图：
选择默认，next，如下图：
输入主机名称，选择“CongfigureNetwork” 网络配置，如下图：
选中 system eth0 网卡，点击 edit，如下图：
选择网卡开机自动连接，其他不用配置（默认采用 DHCP 的方式获取 IP 地址）， 点击“Apply”，如下图：
Slave 节点： 检查是否可以从 master 无密码登录 slave 上，验证后 exit 退出：
Hadoop 集群配置
1、 下载 /dist/hadoop/core/hadoop-0.20.2/ hadoop-0.20.2.tar.gz 2、 放到 bin 目录下并解压
Hadoop 集群搭建验证
格式化 hadoop：hadoop namenode –format 启动 hadoop：./start-all.sh 在 master 节点，输入 jps，查看启动服务进程： Slave 节点，输入 jps：
如上图，则说明服务启动是成功的！ 计算圆周率： 执行： ./hadoop jar /bin/hadoop-0.20.2/hadoop-0.20.2-examples.jar pi 20 50 计算结果如下图：
需要用到的软件
1、 VMware® Workstation 8.0.0 build-471780 2、 CentOS-6.2-x86_64-bin-DVD1.iso
部署节点
一主两从 master 节点：Hadoopm:192.168.75.142 slave 节点： Hadoopm:192.168.75.142；Hadoops:192.168.75.143
添加完毕保存退出 执行 source /etc/profile 执行 java –version 出现下图，验证 jdk 安装成功！
配置 SSH
请先检查 SSH 服务是否启动，如果没启动，请启动！ 在 master 主机生成密钥并配置 ssh 无密码登录主机，步骤： cd /root/ cd .ssh/ 如果没有.ssh 目录则创建一个：mkdir .ssh 生成密钥对： ssh-keygen -t rsa 然后一直<Enter>，生成的密钥对保存在.ssh/id_rsa 文件中。 远程拷贝密钥对： cd /root/.ssh cp id_rsa.pub authorized_keys ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys scp authorized_keys root@hadoops:/root/.ssh 输入密码完成 copy，如下图：
虚拟机之间也运行 ping 命令，也需要 ping 通，如果 ping 不通记得关闭虚拟机 防火墙。
显示能 ping 通证明网络正常！ 如果未 ping 通的话，请进入网络和共享中心(win7)，配置 VMWare Network Adapter VMnet8，如图所示：
启用 VMWare Network Adapter VMnet8，进行网络配置
选择“Write Changes to disk”，如下图：
没选择 Basic Server，而是选择桌面版，是出于操作方便的考虑，对 linux 系统熟悉的 同学可以自行选择，点击 next，如下图：
centos 已经开始安装，等待……，如下图： 选择 Reboot，如下图：
重启后是这个界面，点击“forward”，如下图： 选择同意，点击“forward”，如下图：
安装步骤
选择新建虚拟机，如下图：
选择 Custom，如下图：
稍后，我们自行添加 centos iso 镜像，如下图：
选择 Linux 和相对相应的 centos 版本，如下图： 给虚拟机起个名字，选择虚拟机安装的位置，如下图：
设置 CPU 个数和核数，如下图： 设置内存大小，建议 1G，如下图：
返回后点击“Close”，如下图： 返回主界面，next，继续，如下图：
时区选择上海，next，继续，如下图： 输入 root 账号的密码，（太多虚拟机，经常忘记啊⊙﹏⊙b 汗），如下图：
提示密码太弱，继续使用即可，如下图：
选择“Use All Space”（这里没有选择“Create Custom Layout”自己设置分区，因 为咱是做实验，有特殊需求的可以自己研究下），如下图：
JAVA_HOME=/usr/java/jdk1.6.0_21 JRE_HOME=/usr/java/jdk1.6.0_21/jre PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/jt.jar:$JAVA_HOME/lib/tools.jar :$JRE_HOME/lib export JAVA_HOME JRE_HOME PATH CLASSPATH
cd /bin/ tar -xzvf hadoop-0.20.2.tar.gz cd /bin/hadoop-0.20.2/conf/ 修改 hadoop-env.sh： vi hadoop-env.sh
默认是被注释的，去掉注释，把 JAVA_HOME 改成现有 java 安装目录
修改 core-site.xml： <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
修改 slave：
将已经配置好的将已经配置好的 hadoop-0.20.2，拷贝到其他虚拟机上 scp -r /bin/hadoop-0.20.2 root@hadoops:/bin/
进入 hadoop bin 目录：cd /bin/hadoop-0.20.2/bin/ 执行 ./hadoop 会看到效果，如下图：
网络连接设置，使用 NAT，而不是桥接，这里是考虑到，联网并不是总有路由器来分 配 IP 的（建议读者自行谷歌下 NAT 和桥接的区别），如下图：
硬盘选项，默认即可，如下图： 创建新硬盘，默认即可，如下图：
硬盘类型，默认即可： 硬盘大小，做实验不用太大，默认即可，如下图：
指定虚拟硬盘文件，默认即可： 选择自定义的配置，点击 Customize Hardware 按钮，如下图：
<!-- Put site-specific property overrides in this file. -->
<configuration> <property>
<name></name> <value>hdfs://hadoopm:9000</value> </property> <property> <name>Hadoop.tmp.dir</name> <value>/tmp/hadoop-root</value> </property> </configuration> 修改 hdfs-site.xml： <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
Hadoop 集群环境安装、配置
在所有虚拟机上安装 jdk
按照上面步骤安装虚拟机，一定是有已经安装好的 open jdk 运行 java –version
我们要先使用 sun 的 jdk，所以要把这个版本 java 卸载掉，如下图所示： 命令为： rpm -qa|grep jdk rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.41.1.10.4.el6.x86_64
直接点击 forward，不创建直接使用 root 用户搭建 hadoop 集群（有其他需要的同学， 可自行创建），如下图：
选择“Yes”，继续，如下图：
设置系统时间，forward，如下图： 直接 Ok 即可，如下图：
安装完成，如下图：
按照上面步骤安装 hadoop master，hadoop slaver，作为实验安装两台即可，也可 以看机器配置，多安装几台 slaver（当然也可以先安装一台，然后 clone 两台）
<!-- Put site-specific property overrides in this file. -->
<configuration> <property>
<name>dfs.replication</name> <value>2</value> </property> </configuration> 修改 mapred-site.xml： <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
全部选择自动即可
关闭虚拟机防火墙： 关闭命令： service iptables stop 永久关闭防火墙：chkconfig iptables off
两个命令同时运行，运行完成后查看防火墙关闭状态 service iptables status
分别在两台机器上配置 hosts 文件
在两台虚拟机上分别执行 ping hadoopm ping hadoops，能 ping 通 则表示配置正确
每做一步都需要验证是否安装正确！
验证步骤
1、 验证网络： 输入 ifconfig，查看 hadoopm，hadoops 的 IP 地址
Hadoopm:192.168.75.142 Hadoops:192.168.75.143 在物理机上打开 cmd，Ping 192.168.75.142 Ping 192.168.75.143
<!-- Put site-specific property overrides in this file. -->
<configuration> <property>
<name>mapred.job.tracker</name> <value>http://hadoopm:9001</value> </property> </configuration> 修改 masters：
关闭集群：./stop-all.sh
Hadoop 开发环境搭建
前提
检查上一步的集群环境是否正常，需要检查的点有： IP 是否有变化；启动是否正常；计算π是否成功；
需要用到的软件
Window 操作系统、JDK、eclipse（myeclipse）、maven
