当前位置：文档之家 › Hadoop完全分布式环境搭建

Hadoop完全分布式环境搭建

  • 格式：docx
  • 大小：14.28 KB
  • 文档页数：5

环境规划如下：
node7 192.168.184.171 DataNode NodeManager HistoryServer SecondaryNamenode
node8 192.168.184.172 DataNode NodeManager NameNode
node9 192.168.184.173 DataNode NodeManager ResourceManager 1、配置JAVA环境
vim /etc/profile，末尾添加以下内容
export JAVA_HOME=/opt/jdk-10.0.1
export PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
保存执行 . /etc/profile生效
2、配置HDFS
(1)、修改core-site.xml，添加以下内容
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node8:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/data/tmp</value>
</property>
</configuration>
(2)、修改hdfs-site.xml，添加以下内容
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>node.secondary.http-address</name>
<value>node7:50090</value>
</property>
</configuration>
(3)、配置slaves(一行对应一个主机名，指明那些可以节点成为DataNode)
node7
node8
node9
3、配置YARN
(1)、配置yarn-site.xml，添加以下内容
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node9</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>106800</value>
</property>
</configuration>
(2)、配置mapred-site.xml，添加以下内容
<configuration>
<property>
<name></name> #指定MapReduce 任务运行在YARN框架上
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name> # 指定历史服务器运行节点和端口
<value>node7:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name> #指定历史服务器web页面端口
<value>node7:19888</value>
</property>
</configuration>
4、设定SSH免秘钥登录
在某台主机上昨晚上述配置文件修改后，可以配置该主机到其他主机的SSH免秘钥登录，然后将配置文件分发到其他主机，配置文件在其他主机无需修改。

ssh-keygen
ssh-copy-id .ssh/id_rsa.pub bigdata@node8
ssh-copy-id .ssh/id_rsa.pub bigdata@node9
5、格式化HDFS并启动进程
在NameNode节点上，本实验为node8节点上，执行格式化命令：hdfs namenode -format
执行完毕后，启动HDFS进程：/opt/hadoop/sbin/start-dfs.sh
执行上述脚本会自动通过SSH方式启动所有节点上的DataNode和某些节点上的NameNode和SecondaryNamenode
6、启动YARN进程
/opt/hadoop/sbin/start-yarn.sh
执行上述脚本会自动通过SSH方式启动所有节点上配置的NodeManager和ResourceManager进程。

合集下载

使用Hadoop进行分布式数据处理的基本步骤

使用Hadoop进行分布式数据处理的基本步骤

使用Hadoop进行分布式数据处理的基本步骤随着大数据时代的到来，数据处理变得越来越重要。

在处理海量数据时，传统的单机处理方式已经无法满足需求。

分布式数据处理技术应运而生，而Hadoop作为目前最流行的分布式数据处理框架之一，被广泛应用于各行各业。

本文将介绍使用Hadoop进行分布式数据处理的基本步骤。

1. 数据准备在使用Hadoop进行分布式数据处理之前，首先需要准备好要处理的数据。

这些数据可以是结构化的，也可以是半结构化或非结构化的。

数据可以来自各种来源，如数据库、文本文件、日志文件等。

在准备数据时，需要考虑数据的规模和格式，以便在后续的处理过程中能够顺利进行。

2. Hadoop环境搭建在开始使用Hadoop进行分布式数据处理之前，需要先搭建Hadoop的运行环境。

Hadoop是一个开源的分布式计算框架，可以在多台机器上进行并行计算。

在搭建Hadoop环境时，需要安装Hadoop的核心组件，如Hadoop Distributed File System（HDFS）和MapReduce。

同时，还需要配置Hadoop的相关参数，以适应实际的数据处理需求。

3. 数据上传在搭建好Hadoop环境后，需要将准备好的数据上传到Hadoop集群中。

可以使用Hadoop提供的命令行工具，如Hadoop命令行界面（Hadoop CLI）或Hadoop文件系统（Hadoop File System，HDFS），将数据上传到Hadoop集群的分布式文件系统中。

上传数据时，可以选择将数据分割成多个小文件，以便在后续的并行计算中更高效地处理。

4. 数据分析与处理一旦数据上传到Hadoop集群中，就可以开始进行数据分析与处理了。

Hadoop的核心组件MapReduce提供了一种分布式计算模型，可以将数据分成多个小任务，分配给集群中的不同节点进行并行计算。

在进行数据分析与处理时，可以根据实际需求编写MapReduce程序，定义数据的输入、输出和处理逻辑。

Hadoop环境搭建及wordcount实例运行

Hadoop环境搭建及wordcount实例运行

Hadoop
环境概述
虚拟平台：VirtualBox4.2.0
Linux版本：Ubuntu10.04
Hadoop版本：hadoop-0.20.2
JDK版本：1.6.0
Hadoop环境规划：一台namenode主机master，两台datanode主机salve1、slave2，master主机IP为111.111.111.2，slave1主机IP为111.111.111.3，slave2主机IP为111.111.111.4。
ssh_5.3p1-3ubuntu3_all.deb
依次安装即可
dpkg -i openssh-client_5.3p1-3ubuntu3_i386.deb
dpkg -i openssh-server_5.3p1-3ubuntu3_i386.deb
dpkg -i ssh_5.3p1-3ubuntu3_all.deb
14/02/20 15:59:58 INFO mapred.JobClient: Running job: job_201402201551_0003
14/02/20 15:59:59 INFO mapred.JobClient: map 0% reduce 0%
14/02/20 16:00:07 INFO mapred.JobClient: map 100% reduce 0%
111.111.111.2 master
111.111.111.3 slave1
111.111.111.4 slave2
然后按以下步骤配置master到slave1之间的ssh信任关系
用户@主机:/执行目录
操作命令
说明
hadoop@master:/home/hadoop
hadoop环境搭建

hadoop环境搭建

hadoop环境搭建⼀、安装ssh免密登录命令：ssh-keygenoverwrite(覆盖写⼊)输⼊y⼀路回车将⽣成的密钥发送到本机地址ssh-copy-id localhost（若报错命令⽆法找到则需要安装openssh-clients）yum –y install openssh-clients测试免密设置是否成功ssh localhost⼆、卸载已有java确定JDK版本rpm –qa | grep jdkrpm –qa | grep gcj切换到root⽤户，根据结果卸载javayum -y remove java-1.8.0-openjdk-headless.x86_64 yum -y remove java-1.7.0-openjdk-headless.x86_64卸载后输⼊java –version查看三、安装java切换回hadoop⽤户，命令：su hadoop查看下当前⽬标⽂件，命令：ls将桌⾯的hadoop⽂件夹中的java及hadoop安装包移动到app⽂件夹中命令：mv /home/hadoop/Desktop/hadoop/jdk-8u141-linux-x64.gz /home/hadoop/app mv /home/hadoop/Desktop/hadoop/hadoop-2.7.0.tar.gz /home/hadoop/app解压java程序包，命令：tar –zxvf jdk-7u79-linux-x64.tar.gz创建软连接ln –s jdk1.8.0_141 jdk配置jdk环境变量切换到root⽤户再输⼊vi /etc/profile输⼊export JAVA_HOME=/home/hadoop/app/jdk1.8.0_141export JAVA_JRE=JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JAVA_JRE/lib export PATH=$PATH:$JAVA_HOME/bin保存退出，并使/etc/profile⽂件⽣效source /etc/profile能查询jdk版本号，说明jdk安装成功java -version四、安装hadoop切换回hadoop⽤户，解压缩hadoop-2.6.0.tar.gz安装包创建软连接，命令：ln -s hadoop-2.7.0 hadoop验证单机模式的Hadoop是否安装成功，命令：hadoop/bin/hadoop version此时可以查看到Hadoop安装版本为Hadoop2.7.0，说明单机版安装成功。

Hadoop 搭建

Hadoop 搭建

实验报告
（与程序设计有关）
课程名称：云计算技术提高
实验题目：Hadoop搭建
Xx xx：0000000000
x x:xx
x x：
xxxx
2021年5月21日
实验目的及要求：
开源分布式计算架构Hadoop的搭建
软硬件环境：
Vmware一台计算机
算法或原理分析（实验内容）：
Hadoop是Apache基金会旗下一个开源的分布式存储和分析计算平台，使用Java语言开发，具有很好的跨平台性，可以运行在商用（廉价）硬件上，用户无需了解分布式底层细节，就可以开发分布式程序，充分使用集群的高速计算和存储。
三．Hadoop的安装
1.安装并配置环境变量
进入官网进行下载hadoop-2.7.5, 将压缩包在/usr目录下解压利用tar -zxvf Hadoop-2.7.5.tar.gz命令。同样进入 vi /etc/profile 文件，设置相应的HADOOP_HOME、PATH在hadoop相应的绝对路径。
4.建立ssh无密码访问
二．JDK安装
1.下载JDK
利用yum list java-1.8*查看镜像列表；并利用yum install java-1.8.0-openjdk* -y安装
2.配置环境变量
利用vi /etc/profile文件配置环境，设置相应的JAVA_HOME、JRE_HOME、PATH、CLASSPATH的绝对路径。退出后，使用source /etc/profile使环境变量生效。利用java -version可以测试安装是否成功。
3.关闭防火墙并设置时间同步
通过命令firewall-cmd–state查看防火墙运行状态；利用systemctl stop firewalld.service关闭防火墙；最后使用systemctl disable firewalld.service禁止自启。利用yum install ntp下载相关组件，利用date命令测试