大数据培训之CentOS下搭建Hadoop-1.2.1集群

centos7安装配置Hadoop集群2、安装3台虚拟机并实现SSH免密登录(1）安装三台虚拟机centos7第⼀台正常安装，后两台做克隆。

配置好IP地址，关闭防⽕墙跟SELINUX。

106.14.69.185 server1121.5.218.141 server2（2）修改⽤户名以及对应的IP# vi /etc/hostname改为server1# vi /etc/hosts另外两台虚拟机也按同样的设置，例如：centos7 2 为server2设置完成后每台虚拟机都需要重启，重启⽣效。

配置完成后使⽤ping命令检查这3个机器是否相互ping得通，以server1为例，在什么执⾏命令：（3）进⾏SSH免密互登设置#ssh-keygen -t dsa在命令执⾏过程中敲击两遍回车，然后在/root/.ssh⽂件下⽣成id_dsa id_dsa.pub在该⽂件下建⽴⼀个authorized_keys⽂件，将id_dsa.pub⽂件内容拷贝到authorized_keys⽂件中另外两个虚拟机也执⾏ #ssh-keygen -t dsa操作，并分别将id_dsa.pub内容拷贝到第⼀台虚拟机的authorized_keys⽂件中。

将第⼀台的authorized_keys⽂件拷贝到另外两台虚拟机的/root/.ssh/ 下⾯3、给3台机器安装JAVA环境4、给3台机器安装Hadoop注意：以下搭建过程中的端⼝设置，请先检查个⼈服务器是否有端⼝冲突1 解压hadoop2新建⼏个⽬录在/root⽬录下新建⼏个⽬录，复制粘贴执⾏下⾯的命令：mkdir /root/hadoopmkdir /root/hadoop/tmpmkdir /root/hadoop/varmkdir /root/hadoop/dfsmkdir /root/hadoop/dfs/namemkdir /root/hadoop/dfs/data(3)修改etc/hadoop中的⼀系列配置⽂件/opt/hadoop/hadoop-3.2.0/etc/hadoop/修改core-site.xml在<configuration>节点内加⼊配置:<property><name>hadoop.tmp.dir</name><value>/root/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name></name><value>hdfs://server1:9000</value></property>注意：<value>hdfs://server1:9000</value>此处应与hostname保持⼀致修改hadoop-env.sh将export JAVA_HOME=${JAVA_HOME}修改为：export JAVA_HOME=/var/liangxiaodong/soft/jdk1.8.0_202修改hdfs-site.xml<property><name>.dir</name><value>/root/hadoop/dfs/name</value><description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description> </property><property><name>dfs.data.dir</name><value>/root/hadoop/dfs/data</value><description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description></property><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.permissions</name><value>false</value><description>need not permissions</description></property>说明：dfs.permissions配置为false后，可以允许不要检查权限就⽣成dfs上的⽂件，⽅便倒是⽅便了，但是你需要防⽌误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true新建并且修改mapred-site.xml在该版本中，有⼀个名为mapred-site.xml的⽂件，复制该⽂件，后改名mapred-site.xml.template，命令是：cp mapred-site.xml mapred-site.xml.template修改这个新建的mapred-site.xml⽂件，在<configuration>节点内加⼊配置:<property><name>mapred.job.tracker</name><value>server1:49001</value></property><property><name>mapred.local.dir</name><value>/root/hadoop/var</value></property><property><name></name><value>yarn</value></property>注意：<value>server1:49001</value>修改worker⽂件（hadoop3.2版本没有slaves⽂件,之前版本修改slaves⽂件）修改worker⽂件，将⾥⾯的localhost删除，添加如下内容：server2server3第⼆台虚拟机添加如下内容：<property><name>yarn.resourcemanager.hostname</name><value>server1</value></property><property><description>The address of the applications manager interface in the RM.</description><name>yarn.resourcemanager.address</name><value>${yarn.resourcemanager.hostname}:8032</value></property><property><description>The address of the scheduler interface.</description><name>yarn.resourcemanager.scheduler.address</name><value>${yarn.resourcemanager.hostname}:8030</value></property><property><description>The http address of the RM web application.</description><name>yarn.resourcemanager.webapp.address</name><value>${yarn.resourcemanager.hostname}:8088</value></property><property><description>The https adddress of the RM web application.</description><name>yarn.resourcemanager.webapp.https.address</name><value>${yarn.resourcemanager.hostname}:8090</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>${yarn.resourcemanager.hostname}:8031</value></property><property><description>The address of the RM admin interface.</description><name>yarn.resourcemanager.admin.address</name><value>${yarn.resourcemanager.hostname}:8033</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.scheduler.maximum-allocation-mb</name><value>2048</value><discription>每个节点可⽤内存,单位MB,默认8182MB</discription></property><property><name>yarn.nodemanager.vmem-pmem-ratio</name><value>2.1</value></property><property><name>yarn.nodemanager.resource.memory-mb</name><value>2048</value></property><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property>注意：端⼝号与⾥⾯的值，后期优化配置需要修改，第⼀次配可以全复制。

hadoop培训_ Centos下docker搭建Hadoop集群_光环大数据培训光环大数据作为国内知名的hadoop培训的机构，聘请专业讲师面对面授课，与时俱进及时更新课程体系，为保障学员就业与多家单位进行合作，保障学员就业。

光环大数据所有项目都由阿里云真实项目数据，光环大数据成为阿里云授权认证中心，毕业通过相关考试就可以获得阿里云的证书。

随着业务发展需要，数据量的逐步提升，需要用到hadoop来处理一些数据，所以搭建一个Hadoop集群，搭建Hadoop集群需要多台主机，但是由于资源有限，所以刚好可以利用近些年比较火的docker来搭建，用docker搭建也有一个好处，就是一次构建多节点重复利用。

在上服务器之前，现在自己的电脑里用虚拟机模拟一下，顺便可以做个记录，把可能遇到的坑先趟过去（谁叫我笔记本16G内存呢）。

第一步、安装Centos，部署docker先从Centos官网载一个最小版的Centos7镜像，用VMWare安装，由于是最小版镜像所以装完之后有很多组件需要手动yum安装，（什么？为什么不装完全版的？我要是有几台刀片我也装啊！）完成之后的第一步当然是换yum源：mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backupwget -O /etc/yum.repos.d/CentOS-Base.repo/repo/Centos-7.repo安装完之后记得 yum makecache一下。

由于是Minimal版，连最基本的网络工具都没有，所以全都开始手动安装：yum install -y wgetyum install -y gcc安装基本工具之后就是安装docker,docker安装很简单直接yum install -y docker，docker基本配置和使用就不再赘述了，docker的镜像本身下载很慢的，所以这里我用的是daocloud的加速器，那下载速度杠杠的！但是不知道daocloud 最近怎么了，curl生成的加速器是有问题的，配置了之后docker启动不了，看了日志发现是他们修改的etc/docker/daemon.json有问题，里面多了一个逗号，把逗号去了就行。

1、集群部署介绍1.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。

以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。

一个HDFS集群是由一个NameNode和若干个DataNode组成的。

其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。

MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。

主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。

主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。

当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。

HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。

HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。

1.2 环境说明集群中包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通，具体集群信息可以查看"Hadoop集群（第2期）"。

节点IP地址分布如下：机器名称IP地址Master.Hadoo p 192.168.1 .2Salve1.Hadoo p 192.168.1 .3Salve2.Hadoo p 192.168.1 .4Salve3.Hadoo p 192.168.1 .5四个节点上均是CentOS6.0系统，并且有一个相同的用户hadoop。

Hadoop大数据技术实验资料airyqinHadoop大数据管理与分析处理平台部署实验手册CentOS 6集群下部署Hadoop(Airy qin)Hadoop大数据实验实战资料（请勿在互联网上传播）启动两台虚拟客户机：打开VMware Workstation10打开之前已经安装好的虚拟机：HadoopMaster和HadoopSlave出现异常，选择“否”进入Hadoop大数据实验实战资料（请勿在互联网上传播）如果之前没有打开过两个虚拟机，请使用“文件”->“打开”选项，选择之前的虚拟机安装包（在一体软件包里面的）第1步 Linux系统配置以下操作步骤需要在HadoopMaster和HadoopSlave节点上分别完整操作，都使用root用户，从当前用户切换root用户的命令如下：su root输入密码：zkpkHadoop大数据实验实战资料（请勿在互联网上传播）本节所有的命令操作都在终端环境，打开终端的过程如下图的Terminal菜单：终端打开后如下图中命令行窗口所示。

1.拷贝软件包和数据包将完整软件包“H adoop In Action Experiment”下的software包和sogou-data整体拖拽到HadoopMaster 节点的桌面上，并且在终端中执行下面的移动文件命令：mv ~/Desktop/software ~/Hadoop大数据实验实战资料（请勿在互联网上传播）mv ~/Desktop/sogou-data ~/1.1配置时钟同步1.1.1 配置自动时钟同步使用Linux命令配置crontab -e键入下面的一行代码：输入i，进入插入模式0 1 * * * /usr/sbin/ntpdate 1.1.2 手动同步时间/usr/sbin/ntpdate 1.2配置主机名1.2.1 HadoopMaster节点使用gedit 编辑主机名gedit /etc/sysconfig/network配置信息如下，如果已经存在则不修改，将HadoopMaster节点的主机名改为master，即下面代码的第3行所示。