《Hadoop大数据技术与应用》
实验报告
实验1：hadoop环境搭建
计算机与数据科学学院
《数据库原理及应用》实验报告
一、 实验目的
1. 安装Java环境
2.搭建Hadoop单机模式
3.在Hadoop单机基础上搭建伪分成式模式环境
二、 实验环境
Linux操作系统
三、 实验内容与实验过程及分析 （写出详细的实验步骤，并分析实验结果）
实验内容：
1. 完成安装Java环境。
2. 完成搭建Hadoop单机模式
（1）在Linux终端用wget命令直接下载至Linux系统中（命令在同一行）。
$wget /dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz
（2）解压安装包：解压安装包至~目录下，并创建软链接（或重命名mv）
$ tar zxvf hadoop-2.7.5.tar.gz -C ~
$ ln -s ~/hadoop-2.7.5 ~/hadoop
（3）执行命令$ ./bin/hadoop version 查看hadoop版本信息：
$ cd ~/hadoop/etc/hadoop
$ vi hadoop-env.sh
计算机与数据科学学院 《数据库原理及应用》实验报告
（4）找到export JAVA_HOME，把#去掉，并修改为：
# The java implementation to use.
export JAVA_HOME=/home/hadoop/jdk1.8.0_181
（5）如果出现以下信息，说明安装成功：
Hadoop 2.7.5
Subversion https:///repos/asf/hadoop.git -r
《大数据开发技术（Hadoop）》教学大纲
课程编号：071333B
课程类型：□通识教育必修课 □通识教育选修课
□专业必修课 █专业选修课
□学科基础课
总学时：48 讲课学时： 16 实验（上机）学时：32
学 分：3
适用对象：计算机科学与技术 专业，大三本科生
先修课程：人工智能、面向对象程序设计、数据库原理、高性能计算
一、教学目标
目标是让学生了解并掌握四个领域（即大数据系统的起源及系统特征、大数据系统的架构设计及功能目标设计、大数据系统程序开发、企业大数据案例分析）的内容，同时利用真机实验环节以及大数据实训一体机来提升学生对大数据开发的实践能力；
本课程重点让学生掌握四个方面的内容：
目标1：HDFS使用操作
目标2：Map/Reduce开发
目标3：HBase数据库的开发
目标4：Hive数据仓库开发
二、教学内容及其与毕业要求的对应关系 1：Hadoop大数据处理平台安装与部署
目标及要求：让学生掌握Hadoop平台的安装，熟悉大数据处理的软硬件环境。
2：HDFS操作命令操作
目标及要求：让学生掌握分布式文件系统HDFS的文件操作，包含导入导出文件、列表、查找、删除文件等。
3：MapReduce开发
目标及要求：让学生掌握在HDFS文件系统内的Map及Reduce的Java开发，实现对指定文本文件的单词计数，将统计结果输出至控制台。
4：HBase数据库命令操作
目标及要求：让学生掌握分布式文件数据库系统HBase的数据库操作，包含创建表、删除表、增加列、导入记录、删除记录等。
5：Hive数据仓库基础使用
目标及要求：让学生掌握在Hive数据仓库的基本命令的操作，包含创建数据仓库、创建表、删除表、导入及导出数据，统计查询等在CLI模式下的使用操作。
三、各教学环节学时分配（黑体，小四号字）
教学课时分配
序号 章节内容 讲课 实验 其他 合计
1 大数据概述 1 0
浅谈大数据Hadoop技术
摘要、随着移动互联网、物联网、共享经济的高速发展，互联网每天都会产生数以万亿的数据，这些海量数据被称作为大数据。在这个大数据时代，数据资源对我们生活产生了巨大影响，对企业经营决策也有着前瞻性指导意义。因此，大数据已经被视为一种财富、一种被衡量和计算价值的不可或缺的战略资源。该文从大数据Hadoop技术谈起、分别从Hadoop的核心技术、生态系统和Hadoop技术在教学中的应用四个方面进行了阐述。
关键词、大数据；Hadoop；HDFS；MapReduce
中图分类号、TP393文献标识码、A文章编号、1009-3044（2017）32-0010-02
当前，我国以信息技术为主导的创新经济高速发展，特别是依托于移动互联网和物联网技术的网络购物、移动支付、共享单车、微信通信交流等等，给人们生活方式带来了深刻的变革。整个互联网正在从IT（InformationTechnology）时代向DT（DataTechnology）时代D变，在这个DT时代，人们从被动的数据浏览者转变为主动的数据生产者，人们每天的网络购物信息、各种电子支付信息、使用共享单车信息、微信中浏览朋友圈的信息等等，都会产生数以万亿级的数据，这样庞大的数据如何存储、如何传输、如何计算、如何分析、如何保证数据的完整性和安全性等等一系列新的技术挑战应运而生。然而，Hadoop技术代表着最新的大数据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。
1什么是Hadoop
Hadoop是一个由Apache基金会所开发的，开源的分布式系统基础架构。简单地说就是一套免费的分布式操作系统。我们以前使用的计算机系统，都是安装在一台独立主机上的单机版操作系统。例如我们熟知的微软公司的Windows操作系统和苹果公司的MacOS。而分布式系统则是通过高速网络把大量分布在不同地理位置、不同型号、不同硬件架构、不同容量的服务器主机连结在一起，形成一个服务器集群。分布式系统把集群中所有硬件资源（CPU、硬盘、内存和网络带宽）进行整合统一管理，形成具有极高运算能力，庞大存储能力和高速的传输能力的系统。
第1页 /共 6页 浅谈大数据Hadoop技术
随着移动互联网、物联网、共享经济的高速发展，互联网每天都会产生数以万亿的数据，这些海量数据被称作为大数据。在这个大数据时代，数据资源对我们生活产生了巨大影响，对企业经营决策也有着前瞻性指导意义。因此，大数据已经被视为一种财富、一种被衡量和计算价值的不可或缺的战略资源。该文从大数据Hadoop技术谈起、分别从Hadoop的核心技术、生态系统和Hadoop技术在教学中的应用四个方面进行了阐述。
当前，我国以信息技术为主导的创新经济高速发展，特别是依托于移动互联网和物联网技术的网络购物、移动支付、共享单车、微信通信交流等等，给人们生活方式带来了深刻的变革。整个互联网正在从IT（InformationTechnology）时代向DT（DataTechnology）时代D变，在这个DT时代，人们从被动的数据浏览者转变为主动的数据生产者，人们每天的网络购物信息、各种电子支付信息、使用共享单车信息、微信中浏览朋友圈的信息等等，都会产生数以万亿级的数据，这样庞大的数据如何存储、如何传输、如何计算、如何分析、如何保证数据的完整性和安全性等等一系列新的技术挑战应运而生。然而，Hadoop技术代表着最新的大数据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。
1什么是Hadoop
Hadoop是一个由Apache基金会所开发的，开源的分布式系统基础
