Centos7安装和配置hadoop2.7.3的流程和总结

centos7安装配置Hadoop集群2、安装3台虚拟机并实现SSH免密登录(1）安装三台虚拟机centos7第⼀台正常安装，后两台做克隆。

配置好IP地址，关闭防⽕墙跟SELINUX。

106.14.69.185 server1121.5.218.141 server2（2）修改⽤户名以及对应的IP# vi /etc/hostname改为server1# vi /etc/hosts另外两台虚拟机也按同样的设置，例如：centos7 2 为server2设置完成后每台虚拟机都需要重启，重启⽣效。

配置完成后使⽤ping命令检查这3个机器是否相互ping得通，以server1为例，在什么执⾏命令：（3）进⾏SSH免密互登设置#ssh-keygen -t dsa在命令执⾏过程中敲击两遍回车，然后在/root/.ssh⽂件下⽣成id_dsa id_dsa.pub在该⽂件下建⽴⼀个authorized_keys⽂件，将id_dsa.pub⽂件内容拷贝到authorized_keys⽂件中另外两个虚拟机也执⾏ #ssh-keygen -t dsa操作，并分别将id_dsa.pub内容拷贝到第⼀台虚拟机的authorized_keys⽂件中。

将第⼀台的authorized_keys⽂件拷贝到另外两台虚拟机的/root/.ssh/ 下⾯3、给3台机器安装JAVA环境4、给3台机器安装Hadoop注意：以下搭建过程中的端⼝设置，请先检查个⼈服务器是否有端⼝冲突1 解压hadoop2新建⼏个⽬录在/root⽬录下新建⼏个⽬录，复制粘贴执⾏下⾯的命令：mkdir /root/hadoopmkdir /root/hadoop/tmpmkdir /root/hadoop/varmkdir /root/hadoop/dfsmkdir /root/hadoop/dfs/namemkdir /root/hadoop/dfs/data(3)修改etc/hadoop中的⼀系列配置⽂件/opt/hadoop/hadoop-3.2.0/etc/hadoop/修改core-site.xml在<configuration>节点内加⼊配置:<property><name>hadoop.tmp.dir</name><value>/root/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name></name><value>hdfs://server1:9000</value></property>注意：<value>hdfs://server1:9000</value>此处应与hostname保持⼀致修改hadoop-env.sh将export JAVA_HOME=${JAVA_HOME}修改为：export JAVA_HOME=/var/liangxiaodong/soft/jdk1.8.0_202修改hdfs-site.xml<property><name>.dir</name><value>/root/hadoop/dfs/name</value><description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description> </property><property><name>dfs.data.dir</name><value>/root/hadoop/dfs/data</value><description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description></property><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.permissions</name><value>false</value><description>need not permissions</description></property>说明：dfs.permissions配置为false后，可以允许不要检查权限就⽣成dfs上的⽂件，⽅便倒是⽅便了，但是你需要防⽌误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true新建并且修改mapred-site.xml在该版本中，有⼀个名为mapred-site.xml的⽂件，复制该⽂件，后改名mapred-site.xml.template，命令是：cp mapred-site.xml mapred-site.xml.template修改这个新建的mapred-site.xml⽂件，在<configuration>节点内加⼊配置:<property><name>mapred.job.tracker</name><value>server1:49001</value></property><property><name>mapred.local.dir</name><value>/root/hadoop/var</value></property><property><name></name><value>yarn</value></property>注意：<value>server1:49001</value>修改worker⽂件（hadoop3.2版本没有slaves⽂件,之前版本修改slaves⽂件）修改worker⽂件，将⾥⾯的localhost删除，添加如下内容：server2server3第⼆台虚拟机添加如下内容：<property><name>yarn.resourcemanager.hostname</name><value>server1</value></property><property><description>The address of the applications manager interface in the RM.</description><name>yarn.resourcemanager.address</name><value>${yarn.resourcemanager.hostname}:8032</value></property><property><description>The address of the scheduler interface.</description><name>yarn.resourcemanager.scheduler.address</name><value>${yarn.resourcemanager.hostname}:8030</value></property><property><description>The http address of the RM web application.</description><name>yarn.resourcemanager.webapp.address</name><value>${yarn.resourcemanager.hostname}:8088</value></property><property><description>The https adddress of the RM web application.</description><name>yarn.resourcemanager.webapp.https.address</name><value>${yarn.resourcemanager.hostname}:8090</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>${yarn.resourcemanager.hostname}:8031</value></property><property><description>The address of the RM admin interface.</description><name>yarn.resourcemanager.admin.address</name><value>${yarn.resourcemanager.hostname}:8033</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.scheduler.maximum-allocation-mb</name><value>2048</value><discription>每个节点可⽤内存,单位MB,默认8182MB</discription></property><property><name>yarn.nodemanager.vmem-pmem-ratio</name><value>2.1</value></property><property><name>yarn.nodemanager.resource.memory-mb</name><value>2048</value></property><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property>注意：端⼝号与⾥⾯的值，后期优化配置需要修改，第⼀次配可以全复制。

hadoop2.7.3安装和配置一、安装环境硬件：虚拟机操作系统：Centos 6.4 64位IP：192.168.241.128主机名：admin安装用户：root二、安装JDK安装JDK1.8或者以上版本。

这里安装jdk1.8.0_121。

下载地址：/technetwork/java/javase/downloads/ind ex.html1，下载jdk-8u121-linux-x64.tar.gz，解压到/usr/Java/jdk1.8。

2，在/root/.bash_profile中添加如下配置：export JAVA_HOME=/usr/java/jdk1.8export PATH=$JAVA_HOME/bin:$PATH3，使环境变量生效，#source ~/.bash_profile4，安装验证# java -versionJava version "1.8.0_121"Java(TM) SE Runtime Environment (build 1.8.0_121-b13)Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)查看启动端口：netstat -ntpl 查看防火墙：iptables -L /-F关闭三，配置SSH无密码登陆ssh-keygen -t rsassh-keygen -t dsacat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys 注：> :重定向cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 注：>>:追加chmod 700 ~/.ssh/ 注：~/.ssh 目录的权限必须是700chmod 600 ~/.ssh/authorized_keys 注：~/.ssh/authorized_keys 文件权限必须是600#服务器配置1.修改sshd配置文件(su root -->> vi /etc/ssh/sshd_config)找到以下内容，并去掉注释符号"#"================================RSAAuthentication yesPubkeyAuthentication yesAuthorizedKeysFile .ssh/authorized_keys================================重启sshd:$ /etc/init.d/sshd restart验证ssh，# ssh localhost不需要输入密码即可登录。

centos 7+hadoop2.7.3详细安装教程前言：Hadoop 运行在jar环境下，因此安装hadoop的前提是得在系统上安装好jdk。

本次实验环境使用centos7进行安装。

需要安装的工具：1．虚拟机2．Centos 7镜像文件3．Filezilla（用于上传本地下载的hadoop镜像到centos系统，以及可以远程操作linux 文件系统）4．secureCrt（远程连接linux，敲指令方便。

本次安装的linux是没有图形界面的，命令窗口不能复制粘贴，因此使用secureCRT操作linux系统，方便后续修改hadoop 文件时可以复制粘贴）5．JDK镜像6．Hadoop2.7.3镜像文件一、虚拟机安装a)安装最新版本，具体安装方法比较简单，请上网自行搜索。

b)安装按虚拟机后，需要配置虚拟机的网络连接方式。

本次hadoop安装实验环境将会部署三个集群（一个namenode和两个DataNode），因此采用nat连接方式配置网络。

具体配置如下：选择编辑-虚拟网络编辑器-VMnet8注意：NAT设置里面网关IP地址为你的网段地址+2,，如我设置的网段是192.168.100，因此我的网关IP地址是192.169.100.2二、安装三台centos7（三台安装方式一样，仅是里面IP地址配置不一样。

具体安装多少台视各位看官需要配置多少集群而定）a)文件菜单选择新建虚拟机b)选择经典类型安装，下一步。

c)选择稍后安装操作系统，下一步。

d)选择Linux系统，版本选择CentOS7 64位。

e)命名虚拟机，给虚拟机起个名字，将来显示在Vmware左侧。

并选择Linux系统保存在宿主机的哪个目录下，应该一个虚拟机保存在一个目录下，不能多个虚拟机使用一个目录。

f)指定磁盘容量，是指定分给Linux虚拟机多大的硬盘，默认20G就可以，下一步。

g)点击自定义硬件，可以查看、修改虚拟机的硬件配置，这里我们不做修改。

1、集群部署介绍1.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。

以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。

一个HDFS集群是由一个NameNode和若干个DataNode组成的。

其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。

MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。

主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。

主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。

当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。

HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。

HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。

1.2 环境说明集群中包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通，具体集群信息可以查看"Hadoop集群（第2期）"。

节点IP地址分布如下：机器名称IP地址Master.Hadoo p 192.168.1 .2Salve1.Hadoo p 192.168.1 .3Salve2.Hadoo p 192.168.1 .4Salve3.Hadoo p 192.168.1 .5四个节点上均是CentOS6.0系统，并且有一个相同的用户hadoop。

Hadoop集群搭建目录(注：此所有操作相关命令在CentOS7下)Hadoop集群搭建 (1)目录 (1)1、基础集群环境搭建 (1)1.1、安装JDK (1)1.2、修改主机名称，关闭防火墙 (2)1.3、添加内网域名映射 (2)1.4、配置免密码登录 (2)2、Hadoop集群环境安装 (3)2.1、Hadoop版本选择 (3)2.2、安装Hadoop (3)2.2.1、Hadoop伪分布式模式安装 (3)2.2.2、Hadoop分布式集群安装 (4)3、集群初步使用 (7)3.1、Hadoop集群启动 (7)3.2、HDFS集群初步使用 (7)4、Hadoop集群安装高级知识 (7)4.1、Hadoop HA安装 (7)1、基础集群环境搭建1.1、安装JDK1、上传jdk-8u151-linux-x64.tar.gz2、解压到usr目录下tar-zxvf jdk-8u151-linux-x64.tar.gz3、配置环境变量(1)vim/etc/profile(2)在最后加入：JAVA_HOME=/usr/java1.8PATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME PATH(3)保存退出4、source/etc/profile5、检测是否安装成功，输入命令：java-version做完以上步骤，可以开始克隆虚拟机。

因为以上系统的配置，都是一些基础性的操作。

都是必须的1.2、修改主机名称，关闭防火墙1、root账号下使用命令：hostnamectl set-hostname hadoop022、Xshell关闭连接窗口，重新连接即可更改过来3、关闭防火墙（CentOS7）(1)firewall-cmd--state#查看防火墙状态(2)systemctl stop firewalld.service#停止firewall(3)systemctl disable firewalld.service#禁止firewall开机启动1.3、添加内网域名映射1、修改配置文件：vim/etc/hosts1.4、配置免密码登录1、在root登录状态下，输入命令ssh-keygen或者ssh-keygen-t rsa2、之后你会发现，在/root/.ssh目录下生成了公钥文件3、使用一个简单的方式，使用命令：ssh-copy-id hadoop02建立hadoop01到hadoop02的免密码登录2、Hadoop集群环境安装2.1、Hadoop版本选择1、Apache官方版本：1.X2.X 2.6.5 2.7.53.0.12、商业发行版本提供完善的管理系统，修复bug可能会领先于官方版本Cloudera公司的CDH：5.7.X2.2、安装Hadoop2.2.1、Hadoop伪分布式模式安装Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点即作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。

详细步骤安装CentOS7系统目录目录 (I)第一章安装前准备 (1)1.1制作U盘启动盘 (1)第二章安装系统 (2)2.1安装CentOS7系统 (2)2.2网络配置 (19)2.3关闭防火墙 (23)2.4设置网卡开机启动 (23)第一章安装前准备1.1制作U盘启动盘CentOS7系统镜像下载,如：CentOS-7-x86_64-DVD-1611.iso 使用UltraISO工具将CentOS7的ISO镜像写入安装U盘。

1、如上图，打开UltraISO软件2、选择菜单“文件->打开”打开CentOS7的ISO镜像。

3、选择菜单“启用->写入硬盘映像”，单击写入，直到写入完成。

第二章安装系统2.1安装CentOS7系统在服务器上插入U盘启动盘后，设置操作系统为U盘启动（步骤略），开机后自动跳转到CentOS 系统安装界面，按以下步骤操作：第一步：CentOS7安装欢迎界面。

显示上图安装欢迎界面，直接按键盘“Enter”键进入到下一个页面。

第二步：如上图，按任意键继续。

第三步：见上图，自检加载系统文件。

第四步：见上图，选择安装语言，此处选择“中文”->“简体中文（中国）”，单击“继续”。

第五步：如上图，单击“软件选择(S)”。

第六步：见上图，选择基本环境为“带GUI的服务器”，单击“完成(N)”。

第七步：如上图，软件选择中显示“带GUI的服务器”。

第八步：如上图，单击“安装位置(D)”。

操作系统磁盘500GB数据盘（RAID5）55TB第九步：选择“我要配置分区(I)”，单击“完成(D)”,如上图。

进入磁盘配置界面，可以看到硬盘驱动器中当前的硬盘，现场安装时需按下表情况来配置。

第十步：如上图，操作“+”,添加分区。

第十一步：：如上图，创建swap分区。

期望容量;8192MB为swap分区大小设备类型;统一选择标准分区文件系统;swap设备：注意这里为sda第十二步:如上图，创建系统盘，创建后与上图保持一致。

Hadoop2.7.3完全分布式集群配置和测试环境配置：虚拟机：vmware w orkstation 12系统：ubuntu 16.04 LTS（推荐使用原版，不要用kylin）节点：192.168.159.132 master192.168.159.134 node1192.168.159.137 node2j dk-8u101-L i nux-x64.g z(J a v a)h a doop-2.7.3.t a r.g z(H a doop包)安装步骤：1、安装虚拟机系统，并进行准备工作（可安装一个然后克隆）2.修改各个虚拟机的hostname和host3.创建用户组和用户4、配置虚拟机网络，使虚拟机系统之间以及和host主机之间可以通过相互ping通。

5.安装jdk和配置环境变量，检查是否配置成功6、配置ssh，实现节点间的无密码登录ssh node1/2指令验证时候成功7、master配置hadoop，并将hadoop文件传输到node节点8、配置环境变量，并启动hadoop，检查是否安装成功，执行wordcount检查是否成功。

1.安装虚拟机在V M上安装下载好的U bun t u的系统，具体过程自行百度。

可以安装完一个以后克隆，但是本人安装过程中遇到很多问题，经常需要删除虚拟机，重新安装，而被克隆的虚拟机不能删除，所以本人就用了很长时候，一个一个安装。

一共3台虚拟机：分配情况和IP地址如下：（注：查看ip地址的指令ifconfig）安装虚拟机时可以设置静态I P，因为过程中常常遇到网络连接问题,i f c on f i g找不到I P V4地址。

当然，也可以不设，默认分配。

参考h tt p://b l og.c s dn.n e t/w o l f_s ou l/a r ti c l e/d e t a il s/46409323192.168.159.132 master2.修改虚拟机的hostname 和hosts 文件以m a s t e r 上机器为例，打开终端，执行如下的操作，把ho s t n a m e 修改成m a s t e r ，ho s t s 修改成如下所示的样子： #修改hostname 的指令：sudo gedit /etc/hostname#修改hosts 指令：sudo gedit /etc/hosts#将以下内容添加到hosts 中192.168.159.132 master192.168.159.134 node1192.168.159.137 node2如下图所示:同样地，在node1和node2机器上做相似的操作，分别更改主机名为node1和node2，然后把hosts 文件更改和master 一样。

centos7 教程CentOS 7 是一种基于企业级 Linux 发行版的操作系统。

CentOS（Community Enterprise Operating System）是由CentOS 项目团队开发的，可免费使用并且具有长期维护支持。

在本教程中，我们将介绍 CentOS 7 的一些常见操作和配置。

1. 安装 CentOS 7a. 下载 CentOS 7 ISO 镜像文件。

b. 创建启动盘或虚拟机并加载镜像。

c. 启动计算机或虚拟机并按照安装程序的指导完成安装。

2. 连接到网络a. 使用命令 `ifconfig` 检查网络接口的状态。

b. 使用命令 `nmcli` 配置网络连接。

例如，`nmcli con add ifname eth0 type ethernet autoconnect yes`。

3. 更新软件包a. 执行命令 `yum update` 来更新系统和安装的软件包。

4. 安装软件包a. 使用命令 `yum install` 安装软件包。

例如，`yum install httpd` 安装 Apache Web 服务器。

5. 配置防火墙a. 使用命令 `firewall-cmd` 配置防火墙规则。

例如，`firewall-cmd --permanent --zone=public --add-service=http` 允许 HTTP 流量通过防火墙。

6. 设置 SELinuxa. 使用命令 `sestatus` 检查 SELinux 状态。

b. 使用命令 `setenforce` 设置 SELinux 模式。

例如，`setenforce 0` 设置 SELinux 为宽容模式。

7. 配置用户和权限a. 使用命令 `useradd` 添加用户。

例如，`useradd -m -s/bin/bash username` 添加一个新用户。

b. 使用命令 `passwd` 设置用户密码。

CentOS7Hadoop安装（完全分布式）⼀、hadoop集群安装模式单机模式直接解压，⽆需任何配置。

主要⽤于测试代码。

没有分布式⽂件系统。

伪分布式完全分布式的⼀种形式，只是所有的进程都配置要⼀个节点上。

有分布式⽂件系统，只不过是这个⽂件系统只有⼀个节点。

完全分布式包含主节点和从节点，主节点namenode只有⼀个（⼀般来说，真实⽣产环境中namenode只会单独作为⼀个节点）namenode主要负责存储元数据，即datanode存储数据的描述，如数据存储在datanode的哪⼀个节点上，数据是谁上传的。

datanode负责真正⼲活的，负责数据存储的。

完全分布式中，如果namenode宕机了会造成整个集群⽆法使⽤，这也是完全分布式的⼀⼤缺点，存在单点故障问题。

所以在⼀般⽣产环境中不太使⽤这种模式。

⾼可⽤集群集群可以持续对外提供服务，做到7*24⼩时不间断，依赖于zookeeper。

完全分布式的架构模式为⼀主多从，⾼可⽤集群架构为多主多从，也就是说⾼可⽤集群⾄少有两个namenode，但是同⼀时间只有⼀个是活跃的。

我们把这个活跃的namenode称为active，其它的属于热备份状态，这们把这个namenode称之为standby，并且存储的元数据与active是⼀模⼀样的，当active宕机的时候，standby会⽴马切换为active。

如果刚才宕机的namenode⼜恢复正常了，但是这个namenode只能是standby。

但是这个集群也存在⼀个缺陷，就是在同⼀时间内只能有⼀个活跃的namenode。

如果节点⾮常多（即元数据过多），这个活跃的namenode很容易崩溃。

联邦机制同⼀个集群中可以有多个namenode，并且同⼀时间可以有多个活跃的namenode，这些namenode 共同使⽤集群中所有的datanode，每个namenode只负责管理集群中datanode上的⼀部分数据。

但是联邦机制也会存在单点故障问题，如某⼀个活跃的namenode宕机了，会造成存在此namenode的数据⽆法访问，因此，⼀般的来说实际应⽤使⽤“联邦+⾼可⽤”模式搭建集群。

CentOS7下搭建hadoop2.7.3完全分布式这里搭建的是3个节点的完全分布式，即1个nameNode，2个dataNode，分别如下：CentOS-master nameNode 192.168.11.128CentOS-node1 dataNode 192.168.11.131CentOS-node2 dataNode 192.168..11.1321.首先创建好一个CentOS虚拟机，将它作为主节点我这里起名为CentOS-master，起什么都行，不固定要求2.VMware中打开虚拟机，输入java -version，检查是否有JDK环境，不要用系统自带的openJDK版本，要自己安装的版本3.输入systemctl status firewalld.service ，若如图，防火墙处于running状态，则执行第4和第5步，否则直接进入第6步4.输入systemctl stop firewalld.service ，关闭防火墙5.输入systemctl disable firewalld.service ，禁用防火墙6.输入mkdir /usr/local/hadoop 创建一个hadoop的文件夹7.将hadoop的tar包放到刚创建好的目录8.进入hadoop目录，输入 tar -zxvf hadoop-2.7.3.tar.gz 解压tar包9.输入vi /etc/profile ，配置环境变量10.加入如下内容，保存并退出HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3/PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin11.输入 . /etc/profile ，使环境变量生效12.任意目录输入hado ，然后按Tab，如果自动补全为hadoop，则说明环境变量配的没问题，否则检查环境变量哪出错了13.创建3个之后要用到的文件夹，分别如下：mkdir /usr/local/hadoop/tmpmkdir -p /usr/local/hadoop/hdfs/namemkdir /usr/local/hadoop/hdfs/data14.进入hadoop解压后的 /etc/hadoop 目录，里面存放的是hadoop的配置文件，接下来要修改这里面一些配置文件15.有2个.sh文件，需要指定一下JAVA的目录，首先输入 vi hadoop-env.sh 修改配置文件16.将原有的JAVA_HOME注释掉，根据自己的JDK安装位置，精确配置JAVA_HOME如下，保存并退出export JAVA_HOME=/usr/local/java/jdk1.8.0_102/17.输入 vi yarn-env.sh 修改配置文件18.加入如下内容，指定JAVA_HOME，保存并退出export JAVA_HOME=/usr/local/java/jdk1.8.0_10219.输入 vi core-site.xml 修改配置文件20.在configuration标签中，添加如下内容，保存并退出，注意这里配置的hdfs:master:9000是不能在浏览器访问的<property><name> </name><value>hdfs://master:9000</value><description>指定HDFS的默认名称</description></property><property><name>fs.defaultFS</name><value>hdfs://master:9000</value><description>HDFS的URI</description></property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value><description>节点上本地的hadoop临时文件夹</description> </property>21.输入 vi hdfs-site.xml 修改配置文件22.在configuration标签中，添加如下内容，保存并退出<property><name>.dir</name><value>file:/usr/local/hadoop/hdfs/name</value><description>namenode上存储hdfs名字空间元数据 </description></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/hdfs/data</value><description>datanode上数据块的物理存储位置</description></property><property><name>dfs.replication</name><value>1</value><description>副本个数，默认是3,应小于datanode机器数量</description></property>23.输入 cp mapred-site.xml.template mapred-site.xml 将mapred-site.xml.template 文件复制到当前目录，并重命名为mapred-site.xml24.输入 vi mapred-site.xml 修改配置文件25.在configuration标签中，添加如下内容，保存并退出<property><name>mapred.job.tracker</name><value>hadoop-master:9001</value><description>change your own hostname</description></property><property><name></name><value>yarn</value><description>指定mapreduce使用yarn框架</description></property>26.输入 vi yarn-site.xml 修改配置文件27.在configuration标签中，添加如下内容，保存并退出<property><name>yarn.resourcemanager.hostname</name><value>master</value><description>指定resourcemanager所在的hostname</description> </property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value><description>NodeManager上运行的附属服务。

男默⼥泪系列：Hadoop保姆级安装教程（ContOS7）1、前⾔此教程是在虚拟机中安装及配置单机伪分布式Hadoop，虽说是保姆级，但是太基本的也不会写出来，不然太费精⼒了。

本教程所涉及的重要信息：jdk版本：jdk1.8.0_221jdk路径：/usr/java/jdk1.8.0_221Hadoop版本：hadoop-2.7.7Hadoop路径：/usr/hadoop/hadoopIP地址：192.168.3.1322、准备⼯作Hadoop Linux版压缩包jdk1.8 Linux版压缩包VM虚拟机（Putty 和 flashfxp如果是安装桌⾯版的，可以装VM提供的tools，来实现复制、粘贴及⽂件拖拽传输）Putty (免安装，ssh连接虚拟机，可以使⽤⿏标右键粘贴)FlashFXP（免安装，传输⽂件⾄虚拟机中）3、安装ContOS 7安装教程可以点击下⾯连接，跳转到我另⼀个教程中4、联⽹及使⽤Putty连接虚拟机系统完成后，接下来就需要联⽹了，由于是最⼩安装，所以，联⽹还需要点操作，具体点击下⾯链接下载前⽂提到的 Putty ⼯具，解压进⼊⽂件夹，双击图⽰.exe⽂件运⾏Putty这⾥的IP根据⾃⼰虚拟机ContOS的IP来填写点击open后，会弹出⼀个窗⼝，点击“是”就可以了。

(⽆图)接下来输⼊账号密码登录，如下图Putty可以在win系统复制后，⿏标右键粘贴5、安装vim编辑器安装之前最好先更新⼀下yum，命令如下：$ yum -y update可以需要等待⽐较久⼀点，耐⼼等待。

完成后，再执⾏vim安装，命令如下：$ yum install vim6、修改节点名称，添加域名映射将节点名称写⼊/etc/hostname，如果没有装vim，使⽤vi编辑器就可以了$ vim /etc/hostname编辑⽂件的⽅式都是这样，后⾯不再详细叙述将节点的 IP 地址与主机名写⼊/etc/hosts 中，完成域名映射的添加$ vim /etc/hosts例如：192.168.3.132 Master(IP 地址可通过 ip addr 命令或ifconfig 查询):wq保持并退出后，重启虚拟机关机后，putty⾃然会强制退出，重新连接上去就可以了。

1、集群部署介绍1.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。

以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。

一个HDFS集群是由一个NameNode和若干个DataNode组成的。

其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。

MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。

主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。

主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。

当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。

HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。

HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。

1.2 环境说明集群中包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通，具体集群信息可以查看"Hadoop集群（第2期）"。

节点IP地址分布如下：机器名称IP地址Master.Hadoop192.168.1.2Salve1.Hadoop192.168.1.3Salve2.Hadoop192.168.1.4Salve3.Hadoop192.168.1.5四个节点上均是CentOS6.0系统，并且有一个相同的用户hadoop。

1.打开虚拟机15.x
（左上角文件--新建虚拟机）跟着红框走即可。

2.选择稍后安装系统
3.选择Centos7 64
4.虚拟机起名设置安装位置这里是母版虚拟机（hadoop100）
5.配置处理器
因为测试机8G内存+4核心cpu、配置较低，此处暂时使用默认值
6.默认1G内存
7、网络类型
8、I/O控制器类型
9、磁盘类型
10、创建新磁盘
11、指定磁盘容量为50G
注意此处指定50G，并不是说立刻分配了50G空间给当前linux系统，只是说当前linux系统的磁盘空间上限可以使用这么大。

12、指定磁盘文件位置
可以放到原虚拟机存储的位置，或者默认不改动也可以
13、自定义硬件，根据情况删除或保留
14、点击完成
15、选中虚拟机，并指定ISO文件路径
16、启动虚拟机并执行配置过程
17、选择中文
18、点击“日期和时间（T）”设置为当前系统时间
19、点击“安装位置（D）”
然后点击左上角“完成”。

20、开启安装
21、设置root密码，简单点（开发环境可以复杂）6个1方便记忆。

22、安装完毕点击“重启”安装完毕。

安装完毕。

安装完毕。

安装完毕。

Hadoop2.7.3完全分布式集群搭建_光环大数据培训光环大数据培训认为，集群如下：192.168.188.111 master192.168.188.112 slave1192.168.188.113 slave2一、环境配置1.修改hosts和hostname以master为例：修改hosts[[email protected] ~]# vim /etc/hosts192.168.188.111 master192.168.188.112 slave1192.168.188.113 slave2修改hostname[[email protected] ~]# vim /etc/hostname同样地，在slave1和slave2做相同的hostname操作，分别命名为slave1和slave2.然后分别把slave1和slave2的hosts文件更改为和master一样。

2.配免密登录次文章重点不在配免密登录，所有略，可以看其他博客。

3.配置环境变量[[email protected] ~]# vim /etc/profile#javaexport JAVA_HOME=/root/package/jdk1.8.0_121export PATH=$PATH:$JAVA_ HOME/bin#sparkexport SPARK_HOME=/root/package/spark-2.1.0-bin-hadoop2.7e xport PATH=$PATH:$SPARK_HOME/bin#ANACONDAexport ANACONDA=/root/anaconda2 export PATH=$PATH:$ANACONDA/bin#HADOOPexport HADOOP_HOME=/root/package/h adoop-2.7.3export HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HO ME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HAD OOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexpor t PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/binexport HADOOP_INSTALL=$HA DOOP_HOME输入source /etc/profile 使配置文件生效。

centos环境下hadoop的安装与配置实验总结实验总结：CentOS环境下Hadoop的安装与配置一、实验目标本次实验的主要目标是学习在CentOS环境下安装和配置Hadoop，了解其基本原理和工作机制，并能够运行简单的MapReduce程序。

二、实验步骤1. 准备CentOS环境：首先，我们需要在CentOS上安装和配置好必要的基础环境，包括Java、SSH等。

2. 下载Hadoop：从Hadoop官方网站下载Hadoop的稳定版本，或者使用CentOS的软件仓库进行安装。

3. 配置Hadoop：解压Hadoop安装包后，需要进行一系列的配置。

这包括设置环境变量、配置文件修改等步骤。

4. 格式化HDFS：使用Hadoop的命令行工具，对HDFS进行格式化，创建其存储空间。

5. 启动Hadoop：启动Hadoop集群，包括NameNode、DataNode等。

6. 测试Hadoop：运行一些简单的MapReduce程序，检查Hadoop是否正常工作。

三、遇到的问题和解决方案1. 环境变量配置问题：在配置Hadoop的环境变量时，有时会出现一些问题。

我们需要检查JAVA_HOME是否设置正确，并确保HADOOP_HOME 在PATH中。

2. SSH连接问题：在启动Hadoop集群时，需要确保各个节点之间可以通过SSH进行通信。

如果出现问题，需要检查防火墙设置和SSH配置。

3. MapReduce程序运行问题：在运行MapReduce程序时，可能会遇到一些错误。

这通常是由于程序本身的问题，或者是由于HDFS的权限问题。

我们需要仔细检查程序代码，并确保运行程序的用户有足够的权限访问HDFS。

四、实验总结通过本次实验，我们深入了解了Hadoop的安装和配置过程，以及如何解决在安装和运行过程中遇到的问题。

这对于我们今后在实际应用中部署和使用Hadoop非常重要。

同时，也提高了我们的实践能力和解决问题的能力。

hadoop安装实验总结Hadoop安装实验总结一、引言Hadoop是一个开源的分布式计算平台，用于存储和处理大规模数据集。

在本次实验中，我们将介绍Hadoop的安装过程，并总结一些注意事项和常见问题的解决方法。

二、安装过程1. 确定操作系统的兼容性：Hadoop支持多种操作系统，包括Linux、Windows等。

在安装之前，我们需要确认所使用的操作系统版本与Hadoop的兼容性。

2. 下载Hadoop软件包：我们可以从Hadoop的官方网站或镜像站点上下载最新的稳定版本的Hadoop软件包。

确保选择与操作系统相对应的软件包。

3. 解压缩软件包：将下载的Hadoop软件包解压缩到指定的目录下。

可以使用命令行工具或图形界面工具进行解压缩操作。

4. 配置环境变量：为了方便使用Hadoop命令行工具，我们需要配置环境变量。

在Linux系统中，可以编辑.bashrc文件，在其中添加Hadoop的安装路径。

在Windows系统中，可以通过系统属性中的环境变量设置来配置。

5. 配置Hadoop集群：在Hadoop的安装目录下，找到conf文件夹，并编辑其中的配置文件。

主要包括core-site.xml、hdfs-site.xml 和mapred-site.xml等。

根据实际需求，配置Hadoop的相关参数，如文件系统路径、副本数量、任务调度等。

6. 格式化文件系统：在启动Hadoop之前，需要先格式化文件系统。

使用命令行工具进入Hadoop的安装目录下的bin文件夹，并执行格式化命令：hadoop namenode -format。

7. 启动Hadoop集群：在命令行工具中输入启动命令：start-all.sh（Linux）或start-all.cmd（Windows）。

Hadoop集群将会启动并显示相应的日志信息。

8. 验证Hadoop集群：在启动Hadoop集群后，我们可以通过访问Hadoop的Web界面来验证集群的运行状态。

CentOS7配置Hadoop平台素材：Vmware10 CentOS7 xshell xftp注：本文以centOS7为例详细步骤：一、新建目录二、修改/usr/local/hadoop/etc/hadoop中的配置文件2.1修改core-site.xml2.2修改hadoop-env.sh2.3修改hdfs-site.xml2.4修改mapred-site.xml2.5修改yarn-site.xml文件2.6修改workers2.7配置/usr/local/hadoop/sbin/目录下start-dfs.sh、start-yarn.sh、stop-dfs.sh、stop-yarn.sh文件使用命令切换目录配置好后，开启slave，使用scp命令将master上的/usr/local/hadoop 文件夹传递到slave。

三、启动hadoop3.1 格式化namenode因为master是namenode，slave是datanode，所以只需要对master进行初始化操作，也就是对hdfs进行格式化。

3.2启动Hadoop3.3运行结果电脑端打开访问地址http://192.168.200.133:9870/在本地浏览器里访问如下地址：http://192.168.200.133:8088/如果格式化报错A.检查主机名是否设置hostnameB.检查hosts映射vi /etc/hostsC.检查免密登录分别在两台机器上执行ssh master ssh slaveD.检查Hadoop配置文件如果启动之后jps查看少进程主机有五个进程：jps nameNode dataNode resourceManager nodeManager从机有四个进程：jps datanode nodeManager secon daryNode第一步：检查配置文件第二步：删除主机和从机/root 下面的hadoop目录命令：rm -rf /root/hadoop。

1. 集群规划192.168.12.58 c1kylinsrv58 zk-3.4.12 + hadoop-2.7.3(Namenode+Datanode)192.168.12.59 c1kylinsrv59 zk-3.4.12 + hadoop-2.7.3(YarnManager+Datanode+SecondaryNameNode) 192.168.12.60 c1kylinsrv60 zk-3.4.12 + hadoop-2.7.3(Datanode)2. 设定固定IP地址vi /etc/sysconfig/network-scripts/ifcfg-ens1603. 修改主机名hostnamectl4. 修改hosts文件vi /etc/hosts5. 安装JDK(所有节点）6. SSH免密登录7. 配置hadoop 7-1) 解压cd /mnt/apptar xzvf hadoop-2.7.3.tar.gz7-2) 创建存放数据的目录（必须事先创建好，否则会报错)mkdir -p /mnt/app/hadoop-2.7.3/data/full/tmp/mkdir -p /mnt/app/hadoop-2.7.3/data/full/tmp/dfs/namemkdir -p /mnt/app/hadoop-2.7.3/data/full/tmp/dfs/data7-3) 配置/opt/hadoop-2.7.3/etc/hadoop下面的配置文件#定位到配置文件目录cd /mnt/app/hadoop-2.7.3/etc/hadoopvim core-site.xmlvim yarn-site.xmlyarn的日志监控功能默认是处于关闭状态的，需要我们进行开启vim slavesvim mapred-site.xmlvim hdfs-site.xmlvim hadoop-env.sh8. 配置环境变量(每台机器都必须做)vim /etc/profileexport HADOOP_HOME=/mnt/app/hadoop-2.7.3export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport LD_LIBRARY_PATH=$HADOOP_HOME/lib/nativesource /etc/profile9. 启动NameNode:(master 58)#格式化namenodehdfs namenode -format#启动dfs:(master 58上)start-dfs.sh#启动Yarn：yarn节点(59上)#注意：Namenode和ResourceManger如果不是同一台机器，#不能在NameNode上启动yarn，#应该在ResouceManager所在的机器上启动yarn。