当前位置：文档之家 › rhel5.5下安装配置hadoop

rhel5.5下安装配置hadoop

  • 格式：docx
  • 大小：243.49 KB
  • 文档页数：5

Hadoop安装、编译实验报告
刘茜计通研137 s2*******
一、实验背景
Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。

它支持在商品硬件构建的大型集群上运行的应用程序。

Hadoop是根据Google 公司发表的MapReduce和Google档案系统的论文自行实作而成。

Hadoop框架透明地为应用提供可靠性和数据移动。

它实现了名为MapReduce的编程范式：应用程序被分割成许多小部分，而每个部分都能在集群中的任意节点上执行或重新执行。

此外，Hadoop还提供了分布式文件系统，用以存储所有计算节点的数据，这为整个集群带来了非常高的带宽。

MapReduce和分布式文件系统的设计，使得整个框架能够自动处理节点故障。

它使应用程序与成千上万的独立计算的电脑和PB级的数据。

现在普遍认为整个Apache Hadoop“平台”包括Hadoop内核、MapReduce、Hadoop分布式文件系统（HDFS）以及一些相关项目，有Apache Hive和Apache HBase等等。

二、实验环境
1、系统环境：
red hat enterprise linux 5.5
2、软件版本：
Jdk：jdk5.5：
maven：maven3.0.5
protoc：protoc 2.5.0
hadoop：hadoop2.2
三、实验目标：
在rhel5.5下，安装配置jdk、maven、protoc，下载hadoop2.2的源码，并编译成功。

四、实验内容及结果：
1、安装JDK
a)JDK是java的包，hadoop是java写的，所以编译hadoop必须安装jdk。

下载地址：
/technetwork/java/javase/downloads/jdk7-downloads-1880260
.html选择jdk-7u55-linux-x64.tar.gz
b)在/usr/local目录下解压缩JDK
tar –zxvf jdk-7u55-linux-x64.tar.gz
c)生成一个文件夹jdk1.7.0_55
vi /etc/profile 增加环境变量
完事查询jdk版本
2、安装maven
a)Hadoop的源码是maven组织管理里的，所以要下载maven。

下载地址：
/download.cgi，选择apache-maven-3.0.5-bin.tar.gz
b)在/usr/local目录下解压缩解压缩
tar -zxvf apache-maven-3.0.5-bin.tar.gz
c)生成一个文件夹apache-maven-3.0.5
vi /etc/profile 增加环境变量
完事查询maven版本
3、安装protoc
a)hadoop使用protocol buffer通信，下载地址：
https:///p/protobuf/downloads/list，选择protobuf-2.5.0.tar.gz
b)在/usr/local目录下解压缩
tar -zxvf protobuf-2.5.0.tar.gz
c)编译后的文件位于/usr/local/protoc/目录下，设置一下环境变量：
查询protoc版本
4、安装其他依赖
a)由于rhel5.5没有在线注册，无法获得yum的源，所以需要更改yum的源：
i.cd /etc/yum.repos.d/, 修改文件名rhel-debuginfo.repo为.bak
ii.为得到CentOS- Base.repo文件，在/etc/yum.repos.d/目录下输入：wget /soft/lemp/CentOS-Base.repo
iii.将得到的CentOS- Base.repo命名为rhel-debuginfo.repo
b)yum install cmake
yum install openssl-devel
yum install ncurses-devel
5、编译hadoop2.2源码
a)地址：/apache-mirror/hadoop/common/stable2/
下载hadoop-2.2.0-src.tar.gz源码。

b)在/usr/local目录下解压缩
tar -zxvf protobuf-2.5.0.tar.
c)修改源代码中的bug，在hadoop-2.2.0-src/hadoop-common-project/hadoop-auth中
的pom.xml文件中
文件55行添加：
d)进入/hadoop-2.2.0-src中，从外网下载依赖的jar包
mvn package -DskipTests -Pdist,native,docs(mvn package 用来依据项目生成jar文件)
生成结果如下：
6、附加：安装findbugs
a)findbugs是用于生成文档的，非必须hadoop工作，在此为附加实验。

下载地址：
http://sourceforge.jp/projects/sfnet_findbugs/releases/，
选择findbugs-3.0.0-dev-20131204-e3cbbd5.tar.gz
b)在/usr/local目录下解压缩
tar –zxvf findbugs-3.0.0-dev-20131204-e3cbbd5.tar.gz
c)编译后的文件位于/usr/local/protoc/目录下，设置一下环境变量：。

合集下载

Redhat5.5安装教程

Redhat5.5安装教程

本文以虚拟机为例，详解RHEL5.5安装过程。

1、在虚拟机中插入ISO镜像文件，修改BIOS为光驱引导，启动虚拟机，进入安装程序。

2、直接输入回车进入图形界面安装程序，输入linux text进入文本安装模式，输入linux rescue进入急救模式（故障排查与修复使用），如果磁盘使用raid输入linux dd。

本文以图形界面安装为例，直接回车。

3、询问是否测磁盘介质，确定系统能够正常安装。

此处使用光盘镜像，直接跳过。

4、直接next，没的选。

5、选择安装过程中使用的语言，这里选择简体中文。

6、选择键盘，通常为美式键盘。

默认确定。

7、提示输入安装号码，用于安装红帽提供的各种软件包，此处选择跳过。

8、询问是否对磁盘执行初始化，因为是第一次安装，磁盘中没有任何内容，所以读取不到分区表，直接初始化进行全新安装。

选择是。

9、选择第一项在选定磁盘上删除所有分区并建立默认的分区结构，系统会自动创建分区，也可以选择第四项建立自定义分区，适用于熟悉linux磁盘分区及LVM管理的用户。

此处选择第一项，并勾选检验和修改分区方案进行查看。

10、检验系统默认分区情况，共2个分区，分别为sda1,sda2,1为boot启动分区，2转换为LVM卷再划分为逻辑卷00和01，分别用于根分区和swap交换分区，这里看一下就好了。

11、选择grub菜单安装的位置，默认安装dev/sda上，下面的两个复选框，第一个用于为grub菜单设置密码，第二个用于选择讲grub菜单安装在其他位置，grub就是系统启动前的选择菜单，用户可以通过grub菜单选择进入不同的操作系统。

grub菜单存在于磁盘的MBR （主引导记录）中。

12、设置网络参数，这里选择DHCP自动获取就可以了，可以进入系统后再进行更改，直接下一步。

13、选择时区。

默认下一步.14、这里需要为ROOT用户（系统管理员）设置一个密码，默认大于6位。

下一步。

15、询问是否定制软件开发和网络服务器软件包，软件开发包括各种开发环境和工具，服务器软件包包含了apache、ftp等服务器软件，默认不勾选，需要的时候在自行安装。

Red Hat5.5系统安装

Red Hat5.5系统安装

RedHat5.5系统安装手册简介：本手册主要介绍RedHat5.5的安装及明细1．首先将安装光盘放入光驱，启动Linux。

2．进入安装界面按回车以图形界面安装如图：图1.1：选择安装方式3．以图形界面进入安装程序，选择“Skip”跳过测试操作如图所示：图1.2：选择跳过测试4．进入安装，点击“next”进行下一步：图1.35．选择在安装过程中所有的语言，选择“English”点击“Next”图1.46．选择使用的键盘，选择“U.S.English”点击“Next”7．跳过安装过程中的安装所需要的安装码，选择“Skip entering Installation Number”点击“Next”8．选择“Skip”跳过该步骤9．选择“Create custom layout”来进行自定义分区10．选中“/dev/cciss/c0d0”点击“delete”删除之前所有分区11．新建分区，点击左边的“New”，分别创建下表所示分区具体操作步骤：依次选择挂载点，大小，文件类型，操作步骤示例如下：示例一示例二依次安表中所示创建分区，其余分区的创建略。

12．再次确认安装，没问题点“next”如下图：13．选择手动的配置主机名及IP地址，如图：14．选择时区，选择“上海”及可15．指定root用户口令：16．选择“customer now”点击“next”自定义安装系统所需要的包：17．选择“Desktop Environments”中的“GNOME Desktop Environment”包18．将根据应用要求选择“Applications”中的应用安装包：19．将“Development”中的所有包都选上，以备应用程序使用20．选择“Servers”中的“FTP Server”使之可以应用FTP服务器21．“Base System”默认设置即可22．选择安装上中文语言包23．再次确认安装，没有问题点击“next”进入安装界面24．软件包安装完毕后，点击“reboot”进行下一步配置25．重新启动后进入“Welcome”界面，点击“forword”进入下一步26．选择同意安装协议点击“Forward”如图如图29．选择默认配置直接“Forward”进入下一步30．配置当前时间，如图31．设置更新软件选择“Why Shoud I Connect to RHN”32．进入该页面后选择“Take me back to the registration”跳过此过程择“Continue”34．测试声卡，无需测试直接点“Forward”如图35．完成安装36．重新启动，登录用户名密码即可进入系统。

Hadoop集群安装与配置及其示例程序运行说明文件

Hadoop集群安装与配置及其示例程序运行说明文件

Hadoop集群安装与配置及其示例程序的运行（虚拟机下实现）系统：Ubuntu 12.04虚拟机软件：VMware WorkstationHadoop2.6.0【特别声明：安装的Ubuntu虚拟机操作系统的位数一定要和Hadoop的位数一致！！建议都装64位的。

】单机情况下安装：一、安装jdk 【我下载的jdk版本是：jdk-7u51-linux-i586.tar.gz。

安装后的版本号是：jdk1.7.0_75】去下载jdk-***.tar.gz文件，下载完得到压缩包，解压到要安装的目录下。

（例如解压到/etc下）命令：tar -zxvf jdk-***.tar.gz -C ~/etc 【将jdk压缩包解压到/etc目录下】设置坏境变量：修改用户目录下的.bashrc文件【命令是$ gedit ~/.bashrc】，在文件末尾加入：set JAVA_HOME=/home/becy/etc/jdk1.7.0_75export JAVA_HOMEset JRE_HOME=/home/becy/etc/jdk1.7.0_75/jreExport JRE_HOMEset PATH=$JAVA_HOME/bin:$PATHexport PATHset CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport CLASSPATH保存文件后退出。

然后再命令行输入$ source ~/.bashrc使刚才设置的环境变量生效。

接着输入命令$ java -version会弹出以下窗口：然后按照提示，在命令行输入$ sudo apt-get install openjdk-7-jre-headles s完成jdk 的安装工作【安装过程约20分钟】。

接着测试是否安装成功输入命令：$ java –version以上显示则安装成功。

二、添加专用的Hadoop系统用户我们将利用专用用户来运行Hadoop，这不是必须的，但是建议这么做，主要考虑安全，权限等问题。

Hadoop集群安装详细步骤

Hadoop集群安装详细步骤

Hadoop集群安装详细步骤|Hadoop安装配置文章分类:综合技术Hadoop集群安装首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。

Hadoop在windows下还未经过很好的测试，所以笔者推荐大家在linux（cent os 5.X）下安装使用。

准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh、rsync和Jdk1.6（因为Hadoop需要使用到Jdk中的编译工具，所以一般不直接使用Jre）。

可以使用yum install rsync来安装rsync。

一般来说ssh是默认安装到系统中的。

Jdk1.6的安装方法这里就不多介绍了。

确保以上准备工作完了之后我们就开始安装Hadoop软件，假设我们用三台机器做Hadoop集群，分别是：192.168.1.111、192.168.1.112和192.168.1.113（下文简称111，112和113），且都使用root用户。

下面是在linux平台下安装Hadoop的过程：在所有服务器的同一路径下都进行这几步，就完成了集群Hadoop软件的安装，是不是很简单？没错安装是很简单的，下面就是比较困难的工作了。

集群配置根据Hadoop文档的描述“The Hadoop daemons are N ameNode/DataNode and JobTracker/TaskTracker.”可以看出Hadoop核心守护程序就是由NameNode/DataNode 和JobTracker/TaskTracker这几个角色构成。

Hadoop的DFS需要确立NameNode与DataNode角色，一般NameNode会部署到一台单独的服务器上而不与DataNode共同同一机器。

另外Map/Reduce服务也需要确立JobTracker和TaskTracker的角色，一般JobTracker与NameNode共用一台机器作为master，而TaskTracker与DataNode同属于slave。