""2.3find/etc-name" />
当前位置:文档之家› hadoop1.0集群搭建

hadoop1.0集群搭建

1.启动Linux,选择I copy it(选择move是mac地址不变,选择copy,会新产生一mac地址)

2.配置Linux环境
2.1执行ifconfig命令发现,可用的网卡是eth1 HWaddr <新的MAC地址>

2.2将eth1的新的mac地址复制下来,替换原来eth0里旧的的mac地址
vim /etc/sysconfig/network-scripts/ifcfg-eth0
HWADDR="<旧的mac地址>" --> "<新的mac地址>"

2.3 find /etc -name "*net.rules"
vim /etc/udev/rules.d/70-persistent-net.rule
把原来的eth0的那行删掉,再把eth1这个字符串改成eth0

2.4修改主机名

2.5修改主机名和IP的映射关系

2.6关闭防火墙

2.7关闭linux的图形界面,以命令行的方式启动
vim /etc/inittab
id:3:initdefault:
2.8 reboot

3.安装jdk(详情看安装伪分布式笔记)
将安装好的jdk通过scp的方式拷贝到其他节点
scp -r /usr/java/ hadoop02:/usr/
scp -r /usr/java/ hadoop03:/usr/

4.安装配置hadoop集群
4.1上传hadoop压缩包

4.2解压

4.3配置hadoop(需要修改6个配置文件)
第一个:hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.6.0_45

第二个:core-site.xml


https://www.doczj.com/doc/298931796.html,
hdfs://hadoop01:9000



hadoop.tmp.dir
/cloud/hadoop-1.1.2/tmp


第三个:hdfs-site.xml


dfs.replication
3


第四个:mapred-site.xml


mapred.job.tracker
hadoop01:9001


第五个:masters(指定secondarynamenode地址)
hadoop01

第六个:slaves
hadoop02
hadoop03

4.4将配置好的hadoop拷贝到其他节点
scp -r /cloud/ hadoop02:/
scp -r /cloud/ hadoop03:/

4.5配置ssh免登
是hadoop01到hadoop02、hadoop03的免登
ssh-keygen -t rsa(在hadoop01上生成即可)

ssh-copy-id -i hadoop01
ssh-copy-id -i hadoop02
ssh-copy-id -i hadoop03

4.6拷贝/etc/profile到其他节点
scp /etc/profile hadoop02:/etc/
scp /etc/profile hadoop03:/etc/

4.6仅在hadoop01上格式化hadoop
hadoop namenode -format

5.动态添加一台节点
hadoop04 192.168.1.204
5.1通过克隆方式添加一台Linux
5.2修改主机名
5.3使用root用户登录,右键点击右上角网络,选择Edit connections,修改Auto eth1,设置为manual方式,添加IP,NETMASK,GAYEWAY,再点apply
5.4重启机器:reboot
5.5分别启动datanode和tasktracker
hadoop-daemon.sh start datanode
hadoop-daemon.sh start tasktracker
5.6在hadoop01上即namenode所在节点上运行命令刷新
hadoop dfsadmin -refreshNodes

6.hadoop集群管理相关命令
hadoop安全模式:Safe mode is ON(可以读取文件,但是不可以向HDFS写入文件)
hadoop dfsadmin -safemode enter(进入安装器模式) / leave(离开安全模式) / get(获取当前状态) / wait(竟然等待状态)
hadoop mrsadmin -safemode enter / leave / get / wait

7.将namenode,jobtracker和secondarynamenode分开部署
主机名 运行的进程
hadoop01 namenode
hadoop02 jobtracker、secondarynamenode
hadoop03 datanode、tasktracker
hadoop04 datanode、tasktracker

在hadoop01上修改masters,指定secondarynamenode,修改成hadoop02
再修改slaves文件,hadoop03、hadoop04

hadoop02上,修改mapred-site.xml,将mapred.job.tracker的值改成hadoop02:9001
再修改slaves文件,hadoop03、hadoop04
设置hadoop02到hadoop03、hadoop04的免登陆
ssh-keygen -t rsa
ssh-copy-id -i hadoop03
ssh-copy-id -i hadoop04

在hadoop03上,修改mapred-site.xml,将mapred.job.tracker的值改成hadoop02:9001

在hadoop04上,修改mapred-site.xml,将mapred.job.tracker的值改成hadoop02:9001









相关主题
文本预览
相关文档 最新文档