hadoop环境搭建
- 格式：doc
- 大小：67.00 KB
- 文档页数：8
1. 准备环境
1.1. 安装包
1）准备10台PC
2）安装配置Linux系统：CentOS-7.0
3）安装配置Java环境：jdk-8
4）安装配置Hadoop：hadoop-2.7.1-x64.tar.gz
1.2. 网络配置
主机名 IP
master 10.10.10.13
slave1 10.10.10.10
slave2 10.10.10.11
slave3 10.10.10.12
slave4 10.10.10.100
slave5 10.10.10.101
slave6 10.10.10.102
spark1 10.10.10.20
spark2 10.10.10.21
spark3 10.10.10.22
1.3. 常用命令
# systemctl start foo.service #运行一个服务
# systemctl stop foo.service #停止一个服务
# systemctl restart foo.service #重启一个服务
# systemctl status foo.service #显示一个服务（无论运行与否）的状态
# systemctl enable foo.service #在开机时启用一个服务
# systemctl disable foo.service #在开机时禁用一个服务
# systemctl is-enabled iptables.service #查看服务是否开机启动
# reboot #重启主机
# shutdown -h now #立即关机
# source /etc/profile #配置文件修改立即生效
# yum install net-tools
2. 安装配置CentOS
2.1. 安装CentOS
1）选择启动盘CentOS-7.0-1406-x86_64-DVD.iso，启动安装
2）选择Install CentOS 7，回车，继续安装
3）选择语言，默认是English，学习可以选择中文，正时环境选择English
4）配置网络和主机名，主机名：master，网络选择开启，配置手动的IPV4
5）选择安装位置；在分区处选择手动配置；选择标准分区，点击这里自动创建他们，点击完成，收受更改
6）修改root密码，密码：a
7）重启，安装完毕。
2.2. 配置IP
2.2.1. 检查IP
# ip addr
或
# ip link
2.2.2. 配置IP和网管(两种方式)
一、 图形界面：
很简单，不多介绍
二、 命令行：
# cd /etc/sysconfig/network-scripts/ #进入网络配置文件目录
# find ifcfg-em* #查到网卡配置文件，例如ifcfg-em1
# vi ifcfg-em1 #编辑网卡配置文件
或
# vi /etc/sysconfig/network-scripts/ifcfg-em1 #编辑网卡配置文件
配置内容：
BOOTPROTO=static #静态IP配置为static，动态配置为dhcp
ONBOOT=yes #开机启动
IPADDR=10.10.10.13 #IP地址
NETMASK=255.255.255.0 #子网掩码
GATEWAY=10.10.10.254
DNS1=202.196.35.67
# systemctl restart network.service #重启网络
2.2.3. 配置hosts
# vi /etc/hosts
编辑内容：
10.10.10.13 master
10.10.10.10 slave1
10.10.10.11 slave2
10.10.10.12 slave3
10.10.10.100 slave4
10.10.10.101 slave5
10.10.10.102 slave6
10.10.10.20 spark1
10.10.10.21 spark2
10.10.10.22 spark3
2.3. 关闭防火墙
# systemctl status firewalld.service #检查防火墙状态
# systemctl stop firewalld.service #关闭防火墙
# systemctl disable firewalld.service #禁止开机启动防火墙
2.4. 时间同步
# yum install -y ntp #安装ntp服务
# ntpdate #同步网络时间
2.5. 安装配置jdk
2.5.1. 安装jdk
上传jdk-7u79-linux-x64.gz 安装包到root根目录
# mkdir /usr/java
# tar -zxvf jdk-7u79-linux-x64.gz -C /usr/java/
# rm -rf jdk-7u79-linux-x64.gz
2.5.2. 各个主机之间复制jdk
# scp -r /usr/java slave1:/usr
# scp -r /usr/java slave2:/usr
# scp -r /usr/java slave3:/usr
… …
…
….
2.5.3. 各个主机配置jdk环境变量
# vi /etc/profile
编辑内容：
export JAVA_HOME=/usr/java/jdk1.8.0_51
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# source /etc/profile #使配置文件生效
# java -version #查看java版本
2.6. 配置ssh无密钥访问
分别在各个主机上检查ssh服务状态：
# systemctl status sshd.service #检查ssh服务状态
# yum install openssh-server openssh-clients #安装ssh服务，如果已安装，则不用执行该步骤
# systemctl start sshd.service #启动ssh服务，如果已安装，则不用执行该步骤
分别在各个主机上生成密钥
# ssh-keygen -t rsa #生成密钥
在slave1上
# cp ~/.ssh/id_rsa.pub ~/.ssh/slave1.id_rsa.pub
# scp ~/.ssh/slave1.id_rsa.pub master:~/.ssh
在slave2上
# cp ~/.ssh/id_rsa.pub ~/.ssh/slave2.id_rsa.pub
# scp ~/.ssh/slave2.id_rsa.pub master:~/.ssh
在slave3上
# cp ~/.ssh/id_rsa.pub ~/.ssh/slave3.id_rsa.pub
# scp ~/.ssh/slave3.id_rsa.pub master:~/.ssh
…
…
…
..
在master上
# cd ~/.ssh
# cat id_rsa.pub >> authorized_keys
# cat slave1.id_rsa.pub >> authorized_keys
# cat slave2.id_rsa.pub >> authorized_keys
# cat slave3.id_rsa.pub >> authorized_keys # scp authorized_keys slave1:~/.ssh
# scp authorized_keys slave2:~/.ssh
# scp authorized_keys slave3:~/.ssh
……
…..
…..
3. 安装配置hadoop
3.1. 安装hadoop
上传hadoop-2.7.1-x64.tar.gz安装包到root根目录
# tar -zxvf hadoop-2.7.1-x64.tar.gz -C /usr
# rm -rf hadoop-2.7.1-x64.tar.gz
# mkdir /home/bigdata/hadoop-2.7.1/tmp
# mkdir /home/bigdata/hadoop-2.7.1/logs
# mkdir /home/bigdata/hadoop-2.7.1/hdf
# mkdir /home/bigdata/hadoop-2.7.1/hdf/data
# mkdir /home/bigdata/hadoop-2.7.1/hdf/name
3.1.1. 在hadoop中设置java环境
edit the file etc/hadoop/hadoop-env.sh to define some parameters as follows:
# set to the root of your Java installation
export JAVA_HOME=/usr/java/jdk1.8.0_51
3.1.2. 修改slaves
# vi /home/bigdata/hadoop-2.7.1/etc/hadoop/slaves
配置内容：
删除：localhost
添加：
slave1
slave2
slave3
slave4
slave5
slave6
spark1
spark2
spark3
