Hadoop安装说明
- 格式：pdf
- 大小：140.47 KB
- 文档页数：3
1 在各节点root用户下进行
2 在各节点的/etc/hosts文件中添加节点ip及对应机器名
修改后/etc/hosts文件内容如下所示：
192.168.3.* name1
192.168.3.* name2
3 解除节点间与用户的ssh访问密码
mkdir .ssh
在/root目录下进行ssh配置
ssh-keygen -t dsa
cd /root/.ssh
cp id_dsa.pub anthorized_keys
chmod go-rwx anthorized_keys
scp -r /root/.ssh name2:/root //将name1中的.ssh文件夹内容
测试是否可以互访
4 安装Jdk1.6（给出的源文件是一个可执行文件，./jdk...即可
5 hadoop的安装部署
将hadoop解压放到/home/目录下
tar -xzvf hadoop-0.21.0.tar.gz
6 配置hadoop
cd /root/hadoop-0.21.0/conf
7 修改hadoop-env.sh配置文件
在配置文件最后添加如下内容
export JAVA_HOME=/usr/java/jdk1.6.0_12
8 修改masters和slaves配置文件
输入机器名或者ip都可。
如果本机测试，就直接输入localhost 9 修改core-site.xml配置文件，配置Namenode的ip和端口。
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name></name>
<value>hdfs://192.168.3.*(或者hostname):9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop/hadoop-${}</value>
</property>
</configuration>
10 修改hdfs-site.xml配置文件，配置数据备份数量。
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
11 修改mapred-site.xml配置文件，配置jobtracker的ip和端口。
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>ip(或者hostname):9001</value>
</property>
</configuration>
12 然后将conf 文件夹改动的部分传送到各个datanode.
13 格式化namenode(格式化namenode是运行Hadoop之前的必须步骤）
执行hadoop的bin文件夹中的格式化命令：
hadoop namenode -format
14 运行Hadoop
在hadoop的bin目录下的start-all.sh（可以在环境变量中配置），启动hadoop 用单机线程模拟的情况下，用jps查看进程情况如下
jobtracker
TaskTracker
DataNode
NameNode
SecondaryNameNode
Jps
如果是集群状态下，则namenode 用java内置进程查看器jps查看如下jobtracker
NameNode
SecondaryNameNode
Jps
如果是DataNode,则用jps查看结果如下
TaskTracker
DataNode
Jps
15 Hadoop停止
bin/stop-all.sh
16 测试案例
在相应目录下mkdir input
# echo "hello world" >> text1.txt
# echo "hello hadoop" >>text2.txt
# hadoop dfs -put input in
这是会显示提示Name node is in safe mode，这是由于刚启动，无法对文件系统进行修改
这时候使用如下命令接触安全模式
# bin/hadoop dfsadmin -safemode leave
这样就可以将该文件夹写入HDFS文件系统了。
然后运行如下测试程序
# bin/hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount in out 执行完毕，查看Hadoop 分布式文件系统上数据处理的结果，执行
# hadoop dfs -cat out/*
hadoop 1
hello 2
world 1
也可以把输出文件从Hadoop分布式文件系统复制到本地文件系统查看，具体命令如下
# bin/hadoop dfs -get out output
# cat output/*
查看jobtracker运行状态，在IE中登陆http://namenode的ip:50070。
