当前位置：文档之家 › 课程标准 - spark大数据技术

课程标准 - spark大数据技术

  • 格式：docx
  • 大小：33.14 KB
  • 文档页数：7

大数据应用专业

Spark大数据技术与应用课程标准

一、基本信息

1.课程名称：Spark大数据技术与应用

2.课程编码：

3.适应对象：三年制大数据应用专业

4.总学时：64学时

5.学分：5

6.教学条件：一体化教室、武汉伟创聚赢科技有限公司

7.建设团队：共有教师x人，专职讲师x人

8.审定机构：教务处

9.审定日期：

二、课程理念

1.课程定位

本课程是为大数据技术类相关专业学生开设的课程。Spark继承了MapReduce分布式计算的优点并改进了MapReduce明显的缺陷。Spark拥有Hadoop MapReduce所具有的优点，但不同于MapReduce，Spark的中间输出结果可以保存在内存中，从而大大减少了读写HDFS的次数，因此Spark能更好地适用于数据挖掘与机器学习中需要迭代的算法。目前，Spark在企业中的运用越来越广泛，学习Spark分布式计算框架已然是进入大数据行业所必不可少的一步。

2.课程改革理念

大数据技术蓬勃发展，基于开源技术的Hadoop在行业中应用广泛。但是Hadoop本身还存在诸多缺陷，最主要的缺陷是其MapReduce计算模型延迟过高，无法胜任实时、快速计算的需求。Spark的诞生弥补了MapReduce的缺陷。

3.课程设计思路

本课程采用理论与实践相结合的教学方法。在理论上，通过典型案例引入概念、原理和方法。在实践上，由教师讲解案例背景，提供简单思路。引导学生对案例进行针对性的分析，审理和讨论，扩展学生的思维，增加学生的兴趣。通过学生的讨论、自主实践和练习，提高学生的判断能力，专业能力和综合素质。

要求学生自主搭建Spark集群、完成章节任务、掌握基本理论和提升专业能力。在每章的任务教学中，可适当布置联系、组织讨论、引导提出扩展的解决方案，充分调动学生的主观能动性，锤炼学生的专业精神并提升动手能力，以达到本课程的培养目的。

三、课程目标 1.总目标

通过本课程的学习，使学生对Spark分布式计算框架有一个全面的理解，课程内容主要包括了Spark基本原理与架构、集群安装配置、Scala与Spark编程、Spark代表组件，完整项目案例等精选内容。涉及的知识点简要精到，实践操作性强。

2. 具体目标

（1）知识目标

1.了解Spark概念

2掌握如何搭建Spark分布式环境

3掌握Spark RDD的概念

4了解Spark的运行流程和原理

5掌握RDD的转化操作和行动操作方法

6掌握键值对RDD的操作

7掌握文本文件的读取和存储

（2）能力目标

1掌握如何在IDEA中配置Spark编程环境

2掌握Spark程序的编写

3掌握Spark SQL使用方法

4掌握Spark Streaming使用方法

5掌握Spark GraphX使用方法

6掌握Spark MLlib使用方法

7学习ALS算法

8掌握MLlib算法包的使用

（3）素质目标

①学生自主探究学习状态

②学生合作学习状态

③学生的自我感受 (共鸣度、愉悦度、价值度)

④与人合作的积极性

四、课程教学内容

本课程由8个教学项目组成，课程具体教学内容见表1。

表1 课程教学内容一览表 序号 项目/模块/任务 教学内容/任务 教学/学习目标 教学活动设计 教学资源 学习地点 学时

1

Spark基础知识 Spark概述 Spark基本概念

Spark发展和应用

Spark环境配置方法

Spark架构及原理 了解Spark概念

掌握如何搭建Spark分布式环境

掌握Spark RDD的概念

了解Spark的运行流程和原理 课件、教案、素材、教学环境、实践项目 实训机房 4

2 Spark编程 从内存中已有数据创建RDD

从外部存储创建RDD

RDD转化操作和行动操作方法

RDD键值对操作

文件读取与存储 掌握RDD的转化操作和行动操作方法

掌握键值对RDD的操作

掌握文本文件的读取和存储 课件、教案、素材、教学环境、实践项目 实训机房 8

3 Spark编程进阶 下载与安装IntelliJ IDEA

Scala插件安装与使用

配置Spark运行环境的方法

运行Spark程序的方法

持久化方法

数据分区方法 掌握如何在IDEA中配置Spark编程环境

掌握Spark程序的编写 课件、教案、素材、教学环境、实践项目 实训机房 10

4 Spark SQL：结构化数据文件处理 Spark SQL简介

Spark SQL CLI配置

Spark SQL与Shell交互 掌握Spark SQL使用方法 课件、教案、素材、教学环境、实践项目 实训机房 8 DataFrame基础操作方法

5 Spark

Streaming：实时计算框架 Spark Streaming运行原理

Spark Streaming使用方法

DStream编程模型基本方法 掌握Spark

Streaming使用方法 课件、教案、素材、教学环境、实践项目 实训机房

8

6

Python爬虫高阶框架知识 Spark

GraphX：图计算框架 图的基本概念

图计算的应用

GraphX的基础概念

图的创建与存储

数据查询与数据转换

结构转换与关联聚合 掌握Spark

GraphX使用方法 课件、教案、素材、教学环境、实践项目 实训机房 8

7 Spark

MLlib：功能强大的算法库 机器学习

MLlib介绍和应用 掌握Spark

MLlib使用方法 课件、教案、素材、教学环境、实践项目 实训机房 8

项目案例：餐饮平台菜品智能推荐 常用推荐算法

异常数据处理方法

数据变换方法 学习ALS算法

掌握MLlib算法包的使用 课件、教案、素材、教学环境、实践项目 实训机房 12

学 时 合 计 64

五、考核办法

突出学生解决实际问题的能力，加强过程性考核。突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成 = 出勤（10%）+ 平时作业与课堂练习（30%）+ 课程设计（60%），题型可采用判断题、选择、简答、应用题等方式。

表2 课程考试考核内容与形式一览表

序项目/模单元教学内容 理论考试 技能考核 备注 号 块/任务 权重 内容 考试形式 权重 内容 考核方式

1

Spark基础知识 Spark概述 5% 搭建Spark分布式环境

线上学习平台考核 5% 掌握Spark

RDD的概念、了解Spark的运行流程和原理 作业提交或考试

2 Spark编程 5% 掌握RDD的转化操作和行动操作方法

线上学习平台考核 5% 掌握键值对RDD的操作

掌握文本文件的读取和存储 作业提交或考试

3 Spark编程进阶 8% 掌握如何在IDEA中配置Spark编程环境

线上学习平台考核 8% 掌握Spark程序的编写 作业提交或考试

4

Spark计算框架 Spark SQL：结构化数据文件处理 8% 掌握Spark

SQL使用方法 线上学习平台考核 8% 掌握Spark

SQL使用方法 作业提交或考试

5 Spark

Streaming：实时计算框架 8% 掌握Spark

Streaming使用方法 线上学习平台考核 8% 掌握Spark

Streaming使用方法 作业提交或考试

6 Spark

GraphX：图计算框架 5% Spark

GraphX使用方法 线上学习平台考核 5% Spark GraphX使用方法 作业提交或考试

7 Spark

MLlib：功能强大的算法库 5% Spark MLlib使用方法 线上学习平台考核 5% Spark MLlib使用方法 作业提交或考试 8 项目案例：餐饮平台菜品智能推荐 6% 学习ALS算法

笔试或线上考试 6% 掌握MLlib算法包的使用 作业提交或考试

六、学分计算

本课程为专业必修课，根据《武汉警官职业学院学分制管理办法》，共计5学分。学生必须参加32学时的理论学习和32学时的实验（实训、实习、设计等）教学活动，并经考核合格才能取得相应学时学分，学分绩点根据课程综合评定成绩计算。课程期末总评成绩45～59.9分（按百分制折算）的学生，允许参加正常补考一次，补考内容包括理论考试和技能考核，各占50%，总评合格者给予相应学时学分

七、教学建议

（一）教学方法

本课程采用理论与实践相结合的教学方法。在理论上，通过典型案例引入概念、原理和方法。在实践上，由教师讲解案例背景，提供简单思路。引导学生对案例进行针对性的分析，审理和讨论，扩展学生的思维，增加学生的兴趣。通过学生的讨论、自主实践和练习，提高学生的判断能力，专业能力和综合素质。

要求学生自主搭建Spark集群、完成章节任务、掌握基本理论和提升专业能力。在每章的任务教学中，可适当布置联系、组织讨论、引导提出扩展的解决方案，充分调动学生的主观能动性，锤炼学生的专业精神并提升动手能力，以达到本课程的培养目的。

（二）教学条件

1.教室

机房安装所有大数据VM,Spark,hadoop,scala专业应用的相关软件，比如常用软件虚拟机,等软件。

2.校内实训基地

表3 XX课程实验室主要仪器设备

实训室

名称 设备名称 规格 数量

大数据实训室 教师机 I5处理器，8G内存，4G独立显卡 1

学生机 I5处理器，8G内存，4G独立显卡 50

投影仪 EPSON CB-X04 1

投影幕布 120寸红叶电动幕布 1

投影机吊箱 定制 1

音响系统 万利达 Y5 1

合集下载

《大数据处理技术》课程规划

《大数据处理技术》课程规划

龙源期刊网

《大数据处理技术》课程规划

作者：严驰

来源：《科教导刊·电子版》2017年第32期

摘 要 大数据时代已经到来，为适应这场大数据变革，各高校都纷纷开设相关的大数据专业。《大数据处理技术》是该专业的一门重要专业课，但相关的课程建设还处于起步阶段，因此本文主要从教学内容、教学条件、考核方式方面对本门课程进行课程规划。

关键词 大数据处理技术 课程规划 教学内容

中图分类号：G434 文献标识码：A

0引言

大数据被誉为“21世纪的新石油”，已经渗透到社会的方方面面。大数据时代的到来，给数据访问、数据存储、数据管理和利用都带来了极大的挑战。为适应大数据领域的发展，国外相当一部分大学都开设大数据专业。而国内开设大数据相关专业的高校却不多，当前大数据专业的相关课程仍然属于一个新兴事物，还未形成一个成熟的体系。

《大数据处理技术》课程是大数据相关专业的一门专业必修课。由于当前国内开设大数据方向专业的高校较少，因此对大数据方向相关课程的建设还未形成一个成熟的体系，仍然处于摸索阶段。业内先驱当属北航软件学院大数据技术与应用专业，该专业的大数据处理技术与实践课程主要整合企业资源，聘请企业专家授课，让学生能在真实的大数据环境中直接参与项目实践，取得了一定的成效。

本文主要研究对于《大数据处理技术》这门课程的课程建设，主要从教学内容，教学方法，教学条件这几个方面进行设计。

1课程规划

1.1培养对象

大数据分析涉及到众多学科内容。本课程可以作为计算机科学与技术方向高年级学生的专业选修课和研究生的专业课。在这个阶段的学生有了一定的知识储备，对学科方向也有了一定的认识，有更多学习上的主动性和进取心。

1.2教学内容

本课程将系统讲授大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBASE、Nosql数据库、分布式并行编程模型及大数据在互联网、生物龙源期刊网

基于Spark平台的大数据挖掘技术研究

基于Spark平台的大数据挖掘技术研究

Ｍｉｃｒｏｃｏｍｐｕｔｅｒ　Ａｐｐｌｉｃａｔｉｏｎｓ　Ｖｏ１．３３，Ｎｏ．６，２０１７　研究与设计　微型电脑应用２０１７年第３３卷第６期　

文章编号：１００７—７５７Ｘ（２０１７）０６—００６４—０３　

基于Ｓｐａｒｋ平台的大　数据挖掘技术研究　

王殉　

（陕西学前师范学院教学设备与实验室管理处，西安７１００６１）　

摘　要：大数据具备数据量大、富于多样性的特点。因此在大数据分析方面，无论是对处理速度还是实时性都具有较高的要　

求。数据挖掘技术是从海量数据里采用某种建模算法，用来寻找隐藏在数据背后的信息，从而让大数据产生更大的价值。　Ｓｐａｒｋ框架是一个针对超大数据集合的低延迟的集群分布式计算系统。本文基于该框架，对大数据挖掘技术进行了具体研　

究，首先完成了基于Ｙａｒｎ部署上Ｓｐａｒｋ集群搭建，然后提出并实现了并行Ａｐｒｉｏｒｉ算法，该算法成功补充了Ｓｐａｒｋ　ＭＩ　ｌｉｂ分布　

式机器学习库中所缺乏的关联分析问题的分布式算法。　

关键词：大数据；数据挖掘；Ｓｐａｒｋ　

中图分类号：　文献标志码：　

Ｒｅｓｅａｒｃｈ　ｏｎ　Ｔｅｃｈｎｏｌｏｇｙ　ｏｆ　Ｂｉｇ　Ｄａｔａ　Ｍｉｎｉｎｇ　Ｂａｓｅｄ　ｏｎ　Ｓｐａｒｋ　

Ｗａｎｇ　Ｘｕｎ　（Ｓｅｃｔｉｏｎ　ｏｆ　Ｔｅａｃｈｉｎｇ　Ｅｑｕｉｐｍｅｎｔ＆Ｌａｂ　Ｍａｎａｇｅｍｅｎｔ，Ｓｈａａｎｘｉ　Ｘｕｅｑｉａｎ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ　７１００６１，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｂｅｃａｕｓｅ　ｂｉｇ　ｄａｔａ　ｈａｖｅ　ｔｈｅ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ　ｏｆ　ｌａｒｇｅ　ａｍｏｕｎｔ　ｏｆ　ｄａｔａ　ａｎｄ　ｒｉｃｈ　ｄｉｖｅｒｓｉｔｙ，ｉｔ　ｍｕｓｔ　ｂｅ　ｄｅｍａｎｄｉｎｇ　ｌａｒｇｅ　ｄａｔａ　

ａｎａｌｙｓｉｓ　ｂｏｔｈ　ｉｎ　ｐｒｏｃｅｓｓｉｎｇ　ｓｐｅｅｄ　ａｎｄ　ｒｅａｌ—ｔｉｍｅ　ｒｅｑｕｉｒｅｍｅｎｔｓ．Ｄａｔａ　ｍｉｎｉｎｇ　ｔｅｃｈｎｏｌｏｇｙ　ｉｓ　ｔＯ　ｕｓｅ　ｓｏｍｅ　ｍｏｄｅｌｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｆｒｏｍ　

大数据技术-SparkRDD介绍

大数据技术-SparkRDD介绍

Spark计算模型

1.弹性分布式数据集RDD

1.1. RDD 概述

1. 1.1. 什么是RDD

RDD (Resilient Distributed Dataset)叫做分布式数据集，是Spark中最基本的数据抽象, 它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点： 自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓 存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。

1. 1.2. RDD的属性

* Internally, each RDD is characterized by five main properties:

*

* ~ A list of partitions

* " A function for computing each split

* - A list of dependencies on other HDDs

* _ Optionally, a Partitioner for key-value HDDs (e. g, to say that the RDD is hash-parti Honed)

* - Optionally, a list of preferred locations to costpule each split on (e. g. block locations for

* an HDFS file)

1) 一组分片(Partition),即数据集的基本组成单位。对于RDD来说，每个分片都会被一 个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如 果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。

2) 一个计算每个分区的函数。Spark中RDD的计算是以分片为单位的，每个RDD都会实现 compute函数以达到这个目的。compute函数会对迭代器进行复合，不需要保存每次计算的 结果。

Spark大数据技术的原理与应用场景分析

Spark大数据技术的原理与应用场景分析

Spark大数据技术的原理与应用场景分析

在当今信息化时代，大数据成为了各行各业的热门话题。面对海量的数据，如何高效地进行处理和分析，成为了企业和组织面临的重要挑战。而Spark大数据技术作为一种快速、可靠和易用的开源集群计算系统，因其卓越的性能和灵活的应用场景而备受关注。本文将对Spark大数据技术的原理和应用场景进行分析。

首先，让我们了解一下Spark大数据技术的原理。Spark是一种基于内存的分布式计算系统，它通过将数据缓存在内存中，大大提高了计算速度。相比于传统的MapReduce计算模型，Spark的计算速度可以提升数十倍甚至数百倍。这得益于Spark采用了弹性分布式数据集（Resilient Distributed Dataset，简称RDD）这一高效的数据结构。RDD可以将数据分割为多个小块，并在集群中进行并行计算。此外，Spark还具备各种数据处理和分析功能，如SQL查询、机器学习算法和图计算等。

基于上述原理，Spark大数据技术拥有广泛的应用场景。首先，Spark适用于数据的批处理。企业通常面临大量数据需要进行清洗、转换和整理的情况，Spark可以很好地解决这一问题。Spark提供了丰富的数据处理功能，如过滤、转换、聚合等，可以帮助企业高效地进行数据清洗和预处理。

其次，Spark也适用于实时数据处理。在许多场景下，企业需要对实时数据进行快速分析和处理，以便及时做出决策。Spark的内存计算和低延迟特性使其成为实时数据处理的良好选择。通过将数据存储在内存中，并利用RDD的特性，Spark可以在毫秒级别的时间内完成数据分析和计算。这对于实时监控、欺诈检测等应用场景非常重要。

此外，Spark还常用于机器学习和人工智能领域。在人工智能技术的快速发展下，大量数据需要进行深度学习和模型训练。Spark提供了丰富的机器学习库和算法，如MLlib和GraphX，可以帮助企业快速构建和训练模型。同时，Spark的分布式计算特性也使其能够处理大规模的训练数据和模型参数。 最后，Spark还具备图计算的能力。在社交网络、推荐系统等领域，图计算常常被用来分析关系和模式。Spark通过GraphX库提供了图计算功能，可以高效地进行图数据的存储和计算。这为企业和组织提供了分析和利用关系数据的机会。