当前位置：文档之家 › Hadoop大数据开发基础-教学大纲

Hadoop大数据开发基础-教学大纲

  • 格式：doc
  • 大小：67.00 KB
  • 文档页数：3

《Hadoop大数据开发基础》教学大纲

课程名称：Hadoop大数据开发基础

课程类别：必修

适用专业：大数据技术类相关专业

总学时：48学时

总学分：3.0学分

一、 课程的性质

本课程是为大数据技术类相关专业学生开设的课程。随着时代的发展，大数据已经成为一个耳熟能详的词汇。与此同时，针对大数据处理的新技术也在不断的开发和运用中，逐渐成为数据处理挖掘行业广泛使用的主流技术之一。Hadoop作为处理大数据的分布式存储和计算框架，得到了国内外大小型企业广泛的应用。Hadoop是一个可以搭建在廉价服务器上的分布式集群系统架构，它具有可用性高、容错性高和可扩展性高等优点。由于它提供了一个开放式的平台，用户可以在完全不了解底层实现细节的情形下，开发适合自身应用的分布式程序。经过十多年的发展，目前Hadoop已经成长为一个全栈式的大数据技术生态圈，并在事实上成为应用最广泛最具有代表性的大数据技术。因此，学习Hadoop技术是从事大数据行业工作所必不可少的一步。

二、 课程的任务

通过本课程的学习，使学生学会搭建Hadoop完全分布式集群，掌握HDFS的原理和基础操作，掌握MapReduce原理架构、MapReduce程序的编写。为将来从事大数据挖掘研究工作以及后续课程的学习奠定基础。

三、 教学内容及学时安排

序号 章节名称 主要内容 教学目标 学时

1 Hadoop介绍 1. Hadoop的发展历史

2. Hadoop的特点

3. Hadoop的核心组件

4. Hadoop的生态系统

5. Hadoop的应用场景 1. 了解Hadoop的来源与特点

2. 掌握Hadoop的核心组件内容 2

2 Hadoop集群的搭建及配置 1. 设置固定IP的方法

2. 设置远程连接虚拟机

3. Linux在线安装软件的方法

4. 在Window和Linux下安装Java

5. 了解Hadoop集群相关配置文件

6. SSH免密码登录配置

7. 时间同步服务配置

8. 启动关闭Hadoop集群以及查看Hadoop集群监控 1. 掌握安装配置虚拟机和安装JDK

2. 掌握搭建Hadoop完全分布式集群环境的方法 10

3 Hadoop集群基础操作 1. 解HDFS的操作方法

2. MapReduce任务的运行和中断方法

3. 集群监控的查看方法 1. 学会查看Hadoop集群的基本信息

2. 掌握HDFS的基本操作

3. 掌握运行MapReduce任务的命令 6

4 MapReduce入门编程 1. Eclipse安装

2. MapReduce原理

3. MapReduce的编程逻辑 1. 掌握MapReduce的原理

2. 掌握MapReduce程序的编程逻辑 9

5 MapReduce进阶编程 1. MapReduce的输入及输出格式

2. Hadoop Java API使用方法

3. 自定义键值对方法

4. Combiner及Partitioner的原理与编程

5. 在Eclipse中提交MapReduce任务的方法 1. 掌握MapReduce框架中的进阶应用，包括自定义键值对、Combiner、Partitioner等 12

6 项目案例：电影网站用户性别预测 1. KNN算法原理与实现步骤

2. 案例要求与任务

3. MapReduce编程逻辑

4. 分类算法的评价指标 1. 了解KNN算法与案例需求，通过MapReduce实现数据预处理以及KNN算法 9

学 时 合 计 48

四、 考核方式

突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成 = 平时作业

（20%）+ 课堂参与（10%）+ 期末考核（70%），期末考试建议采用开卷形式，试题应包括基本概念、基本理论、程序设计、综合应用等部分，题型可采用判断题、选择、简答、应用题等方式。

五、 教材与参考资料

1. 教材

余明辉，张良均．Hadoop大数据开发基础[M]．北京：人民邮电出版社．2018．

2. 参考资料

[1] 张良均，樊哲，位文超，刘名军．Hadoop与大数据挖掘[M]．北京：机械工业出版社．2015．

[2] 张良均，樊哲，赵云龙，李成华．Hadoop大数据分析与挖掘实战[M]．北京：机械工业出版社．2015．

合集下载

48-大数据技术教学大纲-大数据技术基础-宋旭东-清华大学出版社

48-大数据技术教学大纲-大数据技术基础-宋旭东-清华大学出版社

《大数据技术》课程教学大纲

课程编号： 适用专业：数据科学与大数据技术及相关专业

执 笔： 适用年级：本科四年级

一、 课程性质和教学目的

（-）课程性质

《大数据技术》是数据科学与大数据技术专业以及讣算机科学与技术、软件工程、网络 工程及物联网等相关专业的专业基础课。

（二）教学目的

通过本课程的学习，要求学生达到：

1. 掌握大数据的基本概念和相关技术。

2. 掌握大数据分布式存储和并行讣算的思想，能够构建大数据Hadoop平台。

3. 理解HDFS、HBase. Hive、Spark的工作原理、掌握其基本操作。

4. 能够编写简单的大数据MapReduce程序。

5. 培养学生大数据思维和讣算思维的能力。

二、 课程教学内容

1. 大数据基础。着重介绍大数据基本概念，大数据的4V特征及在其应用，大数据框架 体系，大数据采集与预处理技术、数据存储和管理技术、数据分析与挖掘技术、数据可视化 等技术；大数据并行计算框架Hadoop平台及其核心组件。

2. 大数据存储与管理。着重介绍大数据存储与管理的基本概念和技术，大数据数据类型, 大数分布式系统基础理论，NoSQL数据库，分布式存储技术、虚拟化技术和云存储技术；大 数据分布式文件系统HDFS,包括HDFS的设计特点，体系结构和工作组件；大数据分布式数 据库系统HBase,包括HBase列式数据库的逻辑模型和物理模型，HBase体系结构及其工作原 理；大数据分布式数据仓库系统Hive,包括Hive的工作原理和执行流程、Hive的数据类型 与数据模型，以及Hive主要访问接口等。

3. 大数据釆集与预处理。着重介绍大数据采集与预处理相关技术，包括数据抽取、转换 和加载技术，数据爬虫技术、数据清理、数据集成、数据变换和数据归约的方法和技术；大 数据采集工具，包括Sqoop关系型大数据采集工具，Flume日志大数据采集工具和分布式大 数据Nutch爬虫系统。

01第一章 初识Hadoop大数据技术

01第一章 初识Hadoop大数据技术

1

第1章

初识Hadoop大数据技术

本章主要介绍大数据的时代背景，给出了大数据的概念、特征，还介绍了大数据相关问题的解决方案、Hadoop大数据技术以及Hadoop的应用案例。

本章的主要内容如下。

（1）大数据技术概述。

（2）Google的三篇论文及其思想。

（3）Hadoop概述。

（4）Hadoop生态圈。

（5）Hadoop的典型应用场景和应用架构。

1.1 大数据技术概述

1.1.1 大数据产生的背景

1946年，计算机诞生，当时的数据与应用紧密捆绑在文件中，彼此不分。19世纪60年代，IT系统规模和复杂度变大，数据与应用分离的需求开始产生，数据库技术开始萌芽并蓬勃发展，并在1990年后逐步统一到以关系型数据库为主导，具体发展阶段如图1-1所示。 Hadoop大数据技术与应用

2

图1-1 数据管理技术在2001年前的两个发展阶段

2001年后，互联网迅速发展，数据量成倍递增。据统计，目前，超过150亿个设备连接到互联网，全球每秒钟发送290万封电子邮件，每天有2.88万小时视频上传到YouTube网站，Facebook网站每日评论达32亿条，每天上传照片近3亿张，每月处理数据总量约130万TB。2016年全球产生数据量16.1ZB，预计2020年将增长到35ZB（1ZB = 1百万，PB = 10亿TB），如图1-2所示。

图1-2 IDC数据量增长预测报告

2011年5月，EMC World 2011大会主题是“云计算相遇大数据”，会议除了聚焦EMC公司一直倡导的云计算概念外，还抛出了“大数据”（BigData）的概念。2011年6月底，IBM、麦肯锡等众多国外机构发布“大数据”相关研究报告，并予以积极的跟进。 19世纪60年代，IT系统规模和复杂度变大，数据与应用分离的需求开始产生，数据库技术开始萌芽并蓬勃发展，并在1990年后逐步统一到以关系型数据库为主导

大数据处理之Hadoop

大数据处理之Hadoop

⼤数据处理之Hadoop

⼤数据Hadoop

基础：

1. SQL功底

2. Linux功底

3. Java SE

怎么学？

第⼀阶段：⼤数据基础 Hadoop2.x⼀、⼤数据应⽤发展前景数据公司、政府、⾦融、银⾏、电⼦商务最经典的⼤数据的案例：啤酒和尿布应⽤分析：统计推荐机器学习（分类、聚类）⼈⼯智能，预测（算法）SQL on Hadoop

Hive ⾻灰级玩家

Prestore（国外⽐较多）

Impala（国外⽐较多，不是很稳定）

Phoneix（基于HBase）国外运⽤⽐较多Spark SQL

Hadoop诞⽣ ⽹络可扩展，分析可存储

Common：⼯具、基础，为服务

来源（Google） -----> Hadoop诞⽣的东西

GFS（C语⾔编写的） ------> HDFS（Java编写的，也是分布式的）： 存储海量数据

分布式（思想：分⽽治之，⼤数据集分为许多⼩的数据集，每个数据集都进⾏逻辑业务处理（map），合并统计数据集结果（reduce））分布式

安全性（副本数据，每⼀个数据会有3个副本）

数据是以block的⽅式进⾏存储

MapReduce ----------> MapReduce ： 对海量数据的分析处理

BigTable ------> HBase ：

YARN：分布式资源管理框架（Hadoop2开始出现）

管理整个集群的资源（内存、cpu核数）分配调度集群的资源检索⼯具Nutch

Lunence

⼆、Hadoop概述

2.1 Apache Hadoop 起源

Apache Lucene：开源的⾼性能全⽂检索⼯具包

Apache Nutch：开源的Web搜索引擎

Google三⼤论⽂：MapReduce、GFS、BigTable

Apache Hadoop：⼤规模数据处理

2.2 HDFS 系统架构图

NameNode：主节点---存储⽂件的元数据如⽂件名、⽂件⽬录结构、⽂件属性（⽣成时间，副本数，⽂件权限），以及每个⽂件的块列表和块所在的DataNode等。存在内存当中本地磁盘

大数据开发技术课程设计

大数据开发技术课程设计

大数据开发技术课程设计

一、课程目标

知识目标：

1. 理解大数据基本概念，掌握大数据技术体系结构；

2. 学会使用至少一种大数据处理框架（如Hadoop、Spark）进行数据处理；

3. 掌握数据挖掘和数据分析的基本方法，并能够运用到实际项目中；

4. 了解大数据在各行业的应用场景及其解决方案。

技能目标：

1. 具备编写大数据处理程序的能力，能够运用所学的编程语言（如Java、Python）实现数据清洗、存储、分析和可视化；

2. 能够运用大数据技术解决实际问题，具备一定的数据分析和问题解决能力；

3. 熟练使用常见的大数据处理工具和平台，如Hadoop、Spark、Hive等；

4. 具备团队协作和沟通能力，能够在项目中发挥积极作用。

情感态度价值观目标：

1. 培养学生对大数据技术的兴趣，激发学生主动学习的热情；

2. 培养学生的数据敏感度，使其认识到数据的价值，树立数据驱动的思维；

3. 培养学生的创新意识和实践能力，鼓励学生将所学知识运用到实际项目中；

4. 培养学生的团队协作精神，使其在团队中发挥积极作用，共同解决问题。

课程性质：本课程为实践性较强的课程，旨在帮助学生掌握大数据开发技术的基本知识和技能，培养学生解决实际问题的能力。

学生特点：学生具备一定的编程基础和数学基础，对大数据技术有一定了解，但实践经验不足。

教学要求：结合学生特点和课程性质，注重理论与实践相结合，强化实践操作，培养学生实际动手能力。在教学过程中，注重启发式教学，引导学生主动探索，提高学生的创新意识和解决问题的能力。同时，关注学生的情感态度价值观培养，使其在学习过程中形成正确的价值观和积极的态度。通过课程学习，使学生能够达到上述课程目标，为未来的学习和工作打下坚实基础。

二、教学内容

1. 大数据概念与背景

- 大数据的定义、特征与发展历程

- 大数据在各领域的应用案例

2. 大数据技术体系

- 分布式计算框架：Hadoop、Spark