云计算实验报告2
- 格式：doc
- 大小：26.00 KB
- 文档页数：8
第 1 页 共 8 页 云计算实验报告2
太
原
科
技
大
学 实 验 报 告 2021年 10 月14
日
实验时间：16 时 00分至18 时00 分
专业
姓名
学号
班级
课程名称
实验名称 Hadoop 平台安装实验 2
同组者
指导教师
成绩
一、实验目标： 第 2 页 共 8 页 在大数据时代，存在很多开源的分布式数据采集、计算、存储技术，本实验将熟悉并搭建几种常用的大数据采集、处理分析技术环境。
实验二需要在笔记本上搭建 Hadoop 集群，实验报告根据教程对笔记本上创建虚拟机搭建 Hadoop 集群的步骤进行了说明。包含所有需要安装的软件与服务的版本，安装路径，安装方法等。
二、实验原理：
1.单机模式：Hadoop 默认模式、即非分布式模式(本地模式)、无需进行其他配置即可运行非分布式，即 java 单进程，方便进行调试。
2.伪分布式模式：
Hadoop 在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 java进程来运行，节点既作为 NameNode 也作为
DataNode，同时，读取的是 HDFS 中的文件。
3.分布式模式：使用多个节点构成集群环境来运行 Hadoop。
三、实验内容：
以伪分布式模式安装 Hadoop 平台 四、实验设备：
个人笔记本电脑 虚拟街软件：VMware Workstation
系统 CentOS-7-_86_64-Everything-20__3.iso 阿里云
contos-7 镜像站点：centos/7/isos/_86_64/ 五、实验步骤：： 第 3 页 共 8 页 将 hadoop-2.7.3.tar.gz，拷贝到 CentOS
中的~/software 目录下 1、将 Hadoop
压缩包，解压缩到用户主目录的 dt 目录下； $ cd ~
$ mkdir dt
$ cd dt
$ tar -z_vf ~/software/hadoop-2.7.3.tar.gz
2、打开/etc/profile 配置文件，配置 hadoop 环境变量:
e_port HADOOP_HOME=/home/hduser/dt/hadoop-2.7.3
e_port PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
3、保存。然后执行/etc/profile 文件(让配置生效)： $ source /etc/profile 配置 Hadoop: 1、配置$HADOOP_HOME/etc/hadoop/目录中如下的配置文件：
1) hadoop-env.sh 两个文件中都做：
e_port JAVA_HOME=/usr/local/jdk1.8.0_162
2) core-site._ml
注：如果没有 hddata/tmp 目录，要先在磁盘上创建。
3) hdfs-site._ml
注：如果没有 hddata/name 目录和 hddata/data 目录，要先在磁盘上创建。