山东农业大学学报（自然科学版），２０１３，４４（４）：５５０—５５５ Ｊｏｕｒｎａｌ ｏｆ Ｓｈａｎｄｏｎｇ Ａｇｒｉｃｕｌｔｕｒａｌ Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ）
Ｈａｄｏｏｐ大数据平台的搭建与测试
崔文斌，牟少敏 ，王云诚，浩庆波，昌腾腾
（山东农业大学农业大数据研究中心，山东泰安２７１０１８）
摘要：大数据处理平台Ａｐａｃｈｅ？Ｈａｄｏｏｐ是一个开源的分布式系统框架，可以运行分布式应用程序。在大数据时 代Ｈａｄｏｏｐ有着良好的发展前景。本文简要介绍了Ｈａｄｏｏｐ的发展史，分析了Ｈａｄｏｏｐ集群的构造模块和组件，搭 建了Ｈａｄｏｏｐ集群并进行了测试。 关键词：大数据；Ｈａｄｏｏｐ；分布式应用程序：分布式系统 中图分类号：Ｆ３０１．２ 文献标识码：Ａ 文章编号：１０００—２３２４（２０１３）０４—０５５０－０６
咖ＢＩⅢ，Ｄ Ｇ ＡＮＤ Ｔ］ＥＳＴ Ｇ ＰＬＡ Ｉ ＯＲＭ ＦｏＲ ＨＡＤＯｏＰ ＤＩｓＴ］Ｉ ＢＵＴＥＤ—ＡＲＣＨＩ ＩＥＣＴＵＲＥ
ＣＵＩ Ｗｅｎ—ｂｉｎ，ＭＵ Ｓｈａｏ—ｍｉｎ，ＷＡＮＧ Ｙｕｎ—ｃｈｅｎｇ，ＨＡＯ Ｑｉｎｇ—ｂｏ，ＣＨＡＮＧ Ｉ．ｅｎｇ—ｔｅｎｇ （Ａｇｒｉｃｕｌｔｕｒａｌ Ｂｉｇ—Ｄａｔａ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ，Ｓｈａｎｄｏｎｇ Ａｇｒｉｃｕｌｔｕｒａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｔａｉａｎ ２７１０１８，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｂｉｇ Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｐｌａｔｆｏｒｍ Ａｐａｃｈｅ Ｈａｄｏｏｐ ｉｓ ａｎ ｏｐｅｎ ｓｏｕｒｃｅ ｄｉｓｔｒｉｂｕｔｅｄ ｓｙｓｔｅｍ ｆｒａｍｅｗｏｒｋ，ｃａｎ ｒｕｎ
ｄｉｓｔｒｉｂｕｔｅｄ ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｓ．Ｉｎ ｔｈｅ ｅｒａ ｏｆ Ｂｉｇ Ｄａｔａ Ｈａｄｏｏｐ ｈａｓ ｇｏｏｄ ｄｅｖｅｌｏｐｍｅｎｔ ｐｒｏｓｐｅｃｔｓ．Ｔｈｉｓ ｐａｐｅｒ ｂｒｉｅｆｌｙ ｉｎｔｒｏｄｕｃｅｓ ｔｈｅ ｈｉｓｔｏｒｙ ｏｆ Ｈａｄｏｏｐ，ａｎａｌｙｚｅｓ ｔｈｅ ｓｔｒｕｃｔｕｒｅ ｏｆ ｔｈｅ Ｈａｄｏｏｐ ｃｌｕｓｔｅｒ ｍｏｄｕｌｅｓ ａｎｄ ｃｏｍｐｏｎｅｎｔｓ，
《Hadoop大数据技术与应用》
实验报告
实验1：hadoop环境搭建
计算机与数据科学学院
《数据库原理及应用》实验报告
一、 实验目的
1. 安装Java环境
2.搭建Hadoop单机模式
3.在Hadoop单机基础上搭建伪分成式模式环境
二、 实验环境
Linux操作系统
三、 实验内容与实验过程及分析 （写出详细的实验步骤，并分析实验结果）
实验内容：
1. 完成安装Java环境。
2. 完成搭建Hadoop单机模式
（1）在Linux终端用wget命令直接下载至Linux系统中（命令在同一行）。
$wget /dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz
（2）解压安装包：解压安装包至~目录下，并创建软链接（或重命名mv）
$ tar zxvf hadoop-2.7.5.tar.gz -C ~
$ ln -s ~/hadoop-2.7.5 ~/hadoop
（3）执行命令$ ./bin/hadoop version 查看hadoop版本信息：
$ cd ~/hadoop/etc/hadoop
$ vi hadoop-env.sh
计算机与数据科学学院 《数据库原理及应用》实验报告
（4）找到export JAVA_HOME，把#去掉，并修改为：
# The java implementation to use.
export JAVA_HOME=/home/hadoop/jdk1.8.0_181
（5）如果出现以下信息，说明安装成功：
Hadoop 2.7.5
Subversion https:///repos/asf/hadoop.git -r
部署指南 Cloudera Manager CDH
官方共给出了3中安装方式。第一种方法必须要求所有机器都能连网，由于各种网络超时错误，基本没法用。第二种方法使用CM的在线yum源，在线下载很多包，同样是超时严重。第三种方法是全离线方式，实际情况是也只能用这个。
1、Cloudera Manager的部署条件
• CDH不支持在容器中部署。
• 支持Oracle JDK7，目前可使用的最新版本为1.7u80，C5.3.x及以上版本也支持使用oracle JDK8，同一个CDH集群中的所有节点使用的JDK版本必须一致。
• 使用Python2.4及以上，不支持Python3
• 仅支持IPv4，且IPv6必须要disabled
• 基于tar压缩包的离线安装方式，会在6.0.0中停止支持该方式。
• 支持selinux，但如果不熟悉使用方法，建议关闭。
• 管理端口为7180，此外还有很多基础应用使用的端口，可以运行iptables，需要确认有恰当的授权控制，例如至少要对同网段的访问放开全部端口。
2、Cloudera Manager部署的几个阶段和可选择的方式
注：因为Cloudera Manager的官方yum源位于国外，受网速影响而无法正常使用。所以上述部署方式中，一般是使用PATH C，或者在预先下载好相关RPM包的条件下参照PATH B方式。
3、主机节点信息和基础配置
（1）主机信息
本次部署使用以下主机，前两个作为NameNode使用。后四个主机，分别额外挂载一块1TB的磁盘到本地的/dfs/dn目录下。
注1：用于大数据平台的数据磁盘不要配置RAID，直接祼盘即可。如果有RAID控制器，则直接对每块盘设置一个单独的RAID0，仍然当作单盘使用。
注2：在有第二块数据盘的情况下，继续挂载到/dfs/dn2，更多的数据盘则按命名规则和挂盘规则扩展即可。
注3：对于生产环境而言，NameNode所在的节点一般不要同时做数据节点使用。而且NameNode所在主机的磁盘需要配置适当的RAID保护级别，以提高可靠性。 注4：对于DataNode所在的主机节点，建议系统盘和数据盘完全隔离开，然后系统盘使用两磁盘配置为RAID1以提高可靠性。虽然数据节点是冗余的，挂一个也不影响CDH平台运行，但修起来还是很麻烦啊。
山东农业大学学报（自然科学版），２０１３，４４（４）：５５０—５５５ Ｊｏｕｒｎａｌ ｏｆ Ｓｈａｎｄｏｎｇ Ａｇｒｉｃｕｌｔｕｒａｌ Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ）
Ｈａｄｏｏｐ大数据平台的搭建与测试
崔文斌，牟少敏 ，王云诚，浩庆波，昌腾腾
（山东农业大学农业大数据研究中心，山东泰安２７１０１８）
摘要：大数据处理平台Ａｐａｃｈｅ？Ｈａｄｏｏｐ是一个开源的分布式系统框架，可以运行分布式应用程序。在大数据时 代Ｈａｄｏｏｐ有着良好的发展前景。本文简要介绍了Ｈａｄｏｏｐ的发展史，分析了Ｈａｄｏｏｐ集群的构造模块和组件，搭 建了Ｈａｄｏｏｐ集群并进行了测试。 关键词：大数据；Ｈａｄｏｏｐ；分布式应用程序：分布式系统 中图分类号：Ｆ３０１．２ 文献标识码：Ａ 文章编号：１０００—２３２４（２０１３）０４—０５５０－０６
咖ＢＩⅢ，Ｄ Ｇ ＡＮＤ Ｔ］ＥＳＴ Ｇ ＰＬＡ Ｉ ＯＲＭ ＦｏＲ ＨＡＤＯｏＰ ＤＩｓＴ］Ｉ ＢＵＴＥＤ—ＡＲＣＨＩ ＩＥＣＴＵＲＥ
ＣＵＩ Ｗｅｎ—ｂｉｎ，ＭＵ Ｓｈａｏ—ｍｉｎ，ＷＡＮＧ Ｙｕｎ—ｃｈｅｎｇ，ＨＡＯ Ｑｉｎｇ—ｂｏ，ＣＨＡＮＧ Ｉ．ｅｎｇ—ｔｅｎｇ （Ａｇｒｉｃｕｌｔｕｒａｌ Ｂｉｇ—Ｄａｔａ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ，Ｓｈａｎｄｏｎｇ Ａｇｒｉｃｕｌｔｕｒａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｔａｉａｎ ２７１０１８，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｂｉｇ Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｐｌａｔｆｏｒｍ Ａｐａｃｈｅ Ｈａｄｏｏｐ ｉｓ ａｎ ｏｐｅｎ ｓｏｕｒｃｅ ｄｉｓｔｒｉｂｕｔｅｄ ｓｙｓｔｅｍ ｆｒａｍｅｗｏｒｋ，ｃａｎ ｒｕｎ
ｄｉｓｔｒｉｂｕｔｅｄ ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｓ．Ｉｎ ｔｈｅ ｅｒａ ｏｆ Ｂｉｇ Ｄａｔａ Ｈａｄｏｏｐ ｈａｓ ｇｏｏｄ ｄｅｖｅｌｏｐｍｅｎｔ ｐｒｏｓｐｅｃｔｓ．Ｔｈｉｓ ｐａｐｅｒ ｂｒｉｅｆｌｙ ｉｎｔｒｏｄｕｃｅｓ ｔｈｅ ｈｉｓｔｏｒｙ ｏｆ Ｈａｄｏｏｐ，ａｎａｌｙｚｅｓ ｔｈｅ ｓｔｒｕｃｔｕｒｅ ｏｆ ｔｈｅ Ｈａｄｏｏｐ ｃｌｕｓｔｅｒ ｍｏｄｕｌｅｓ ａｎｄ ｃｏｍｐｏｎｅｎｔｓ，
