下载文档原格式
基于spark的推荐课程设计一、课程目标知识目标：1. 学生能理解Spark的基本原理和架构，掌握推荐系统在Spark上的实现方法。
2. 学生能掌握基于用户的协同过滤推荐算法和基于物品的协同过滤推荐算法。
3. 学生能了解推荐系统中常用的评估指标，如准确率、召回率等。
技能目标：1. 学生能够运用Spark编程实现对大规模数据集的推荐算法处理。
2. 学生能够运用Python等编程语言实现推荐系统的搭建和优化。
3. 学生能够运用相关评估指标对推荐系统进行性能分析和调优。
情感态度价值观目标：1. 学生通过学习Spark推荐课程，培养对大数据处理和分析的兴趣，增强数据驱动的思维。
2. 学生能够认识到推荐系统在实际生活中的广泛应用，激发学习和研究的热情。
3. 学生能够树立团队协作意识，学会与他人共同解决问题，培养沟通与协作能力。
课程性质：本课程为信息技术学科选修课程，以项目式教学为主，注重理论与实践相结合。
学生特点：学生具备一定的编程基础，对大数据和推荐系统有一定了解，但对Spark技术及其在推荐系统中的应用尚不熟悉。
教学要求：教师应采用案例教学、任务驱动等方法，引导学生主动探究，注重培养学生的实际操作能力和团队协作能力。
同时，关注学生的学习反馈，及时调整教学策略，确保课程目标的实现。
通过对课程目标的分解和教学设计，使学生在完成具体学习成果的过程中，达到课程目标的预期成果。
二、教学内容1. Spark基础原理与架构：介绍Spark的核心概念，如弹性分布式数据集（RDD）、Spark运行架构、内存计算等，结合课本相关章节，让学生对Spark 的计算模型和优势有深入了解。
- 教材章节：第1章 Spark概述2. 推荐系统原理与算法：讲解推荐系统的基本原理，重点介绍基于用户的协同过滤和基于物品的协同过滤算法，结合实际案例，让学生掌握推荐算法的应用。
- 教材章节：第2章 推荐系统概述，第3章 协同过滤算法3. Spark MLlib库的使用：介绍MLlib库中与推荐系统相关的API，通过实例演示如何使用MLlib实现推荐算法，使学生能够熟练运用MLlib进行推荐系统的搭建。
Spark基本架构及原理Hadoop 和 Spark 的关系Spark 运算⽐ Hadoop 的 MapReduce 框架快的原因是因为 Hadoop 在⼀次 MapReduce 运算之后,会将数据的运算结果从内存写⼊到磁盘中,第⼆次 Mapredue 运算时在从磁盘中读取数据,所以其瓶颈在2次运算间的多余 IO 消耗. Spark 则是将数据⼀直缓存在内存中,直到计算得到最后的结果,再将结果写⼊到磁盘,所以多次运算的情况下, Spark 是⽐较快的. 其优化了迭代式⼯作负载Hadoop的局限Spark的改进抽象层次低，代码编写难以上⼿通过使⽤RDD的统⼀抽象，实现数据处理逻辑的代码⾮常简洁只提供了Map和Reduce两个操作，⽋缺表达⼒通过RDD提供了很多转换和动作，实现了很多基本操作，如Sort, Join等⼀个Job只有Map和Reduce两个阶段，复杂的程序需要⼤量的Job来完成，且Job之间的依赖关系需要开发者⾃⾏管理⼀个Job可以包含RDD的多个转换操作，在调度时可以⽣成多个阶段（Stage），⽽且如果多个map操作的RDD的分区不变，是可以放在同⼀个Task中进⾏处理逻辑隐藏在代码细节中，缺乏整体逻辑视图RDD的转换⽀持流式API,提供处理逻辑的整体视图对迭代式数据处理性能⽐较差，Reduce与下⼀步Map之间的中间结果只能存放在HDFS中通过内存缓存数据，可⼤⼤提⾼迭代式计算的性能，内存不⾜时可以溢出到本地磁盘，⽽不是HDFSReduceTask需要等待所有MapTask都完成后才可以开始分区相同的转换构成流⽔线放在⼀个Task中运⾏，分区不同的转换需要Shuffle，被划分到不同的Stage中，需要等待前⾯的Stage 完成后才可以开始时延⾼，只适⽤Batch数据处理，对于交互式数据处理和实时数据处理的⽀持不够通过将流拆成⼩的batch提供Discretized Stream处理流数据Spark 的主要特点还包括:(1)提供 Cache 机制来⽀持需要反复迭代计算或者多次数据共享,减少数据读取的 IO 开销;(2)提供了⼀套⽀持 DAG 图的分布式并⾏计算的编程框架,减少多次计算之间中间结果写到 Hdfs 的开销;(3)使⽤多线程池模型减少 Task 启动开稍, shuffle 过程中避免不必要的 sort 操作并减少磁盘 IO 操作。
Spark介绍安装在集群上的spark版本：spark-1.6.3-bin-hadoop2.6.tgz scala版本：scala-2.10.4.tgz1、spark是什么Spark，是⼀种通⽤的⼤数据计算框架，正如传统⼤数据技术Hadoop的MapReduce、 Hive引擎，以及Storm流式实时计算引擎等。
Spark包含了⼤数据领域常见的各种计算框架，⽐如:Spark Core⽤于离线计算Spark SQL⽤于交互式查询Spark Streaming⽤于实时流式计算Spark MLlib⽤于机器学习Spark GraphX⽤于图计算Spark主要⽤于⼤数据的计算，⽽Hadoop以后主要⽤于⼤数据的存储（⽐如HDFS、 Hive、 HBase等），以及资源调度（ Yarn）Spark+Hadoop的组合，是未来⼤数据领域最热门的组合，也是最有前景的组合！2、spark介绍Spark，是⼀种"One Stack to rule them all"的⼤数据计算框架，期望使⽤⼀个技术堆栈就完美地解决⼤数据领域的各种计算任务。
Apache官⽅，对Spark的定义就是：通⽤的⼤数据快速处理引擎。
Spark使⽤Spark RDD、 Spark SQL、 Spark Streaming、 MLlib、 GraphX成功解决了⼤数据领域中，离线批处理、交互式查询、实时流计算、机器学习与图计算等最重要的任务和问题。
Spark除了⼀站式的特点之外，另外⼀个最重要的特点，就是基于内存进⾏计算，从⽽让它的速度可以达到MapReduce、 Hive的数倍甚⾄数⼗倍！现在已经有很多⼤公司正在⽣产环境下深度地使⽤Spark作为⼤数据的计算框架，包括 eBay、 Yahoo!、 BAT、⽹易、京东、华为、⼤众点评、优酷⼟⾖、搜狗等等。
Spark同时也获得了多个世界顶级IT⼚商的⽀持，包括IBM、 Intel等。
《Spark大数据技术与应用》课程教学大纲
一、课程的性质、地位与任务
该课程是专业基础课，其目标是培养学生掌握Spark大数据计算框架的基本原理和使用，培养学生大数据思维与动手能力。
二、课程的教学目标与基本要求
《Spark大数据技术与应用》介绍了大数据处理框架Spark的使用，为大数据分析与应用提供了强有力的工具。
通过该课程可以了解大数据项目开发中大数据计算框架发挥的重要作用。
本课程以理论指导实践，以实践加深理论的理解，循序渐进通过对Spark的讲解与实操，对大数据分析与应用产生更直观的认识。
注：实践教学类型一般分为演示性、验证性、综合性、设计性、研究创新性6种。
《大数据技术与应用》
教案
20XX〜20XX学年第X学期
学院（部）： _______________________________
教研室（系）： _____________________________
授课班级： _________________________________
课程学分： _________________________________
课程学时： _________________________________
课程周学时： _______________________________
使用教材：大数据技术与应用-微视频版
•Hadoop系统的发展历程及其优点的介绍•Hadoop原理的介绍
在线帮助和相关资源
使用HBase提供的过滤类进行查询
owMatrix 类型（分布式矩阵）、IndexedRowMatrix 类型、Coordi nateMatrix 类型、BlockMatrix 类型
Hive组成模块，执行流程概述
Metastore存储模式
安装Hive，配置参数并运行测试
教学内容
Hive Beeline
了解基本数据类型与文件格式数据的定义，操作，查询
Hive编程
3、对于重点和难点，通过例题讨论讲解、师生互动、作业等来突出。
Spark基本概念及⼊门sparkspark背景什么是sparkSpark是⼀种快速、通⽤、可扩展的⼤数据分析引擎，2009年诞⽣于加州⼤学伯克利分校AMPLab，2010年开源，2013年6⽉成为Apache孵化项⽬，2014年2⽉成为Apache顶级项⽬。
⽬前，Spark⽣态系统已经发展成为⼀个包含多个⼦项⽬的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等⼦项⽬，Spark是基于内存计算的⼤数据并⾏计算框架。
Spark基于内存计算，提⾼了在⼤数据环境下数据处理的实时性，同时保证了⾼容错性和⾼可伸缩性，允许⽤户将Spark部署在⼤量廉价硬件之上，形成集群。
Spark与HadoopSpark是⼀个计算框架,⽽Hadoop中包含计算框架MapReduce和分布式⽂件系统HDFS,Hadoop更⼴泛地说还包括在其⽣态系统上的其他系统.为什么使⽤Spark?Hadoop的MapReduce计算模型存在问题:Hadoop的MapReduce的核⼼是Shuffle(洗牌).在整个Shuffle的过程中,⾄少产⽣6次I/O流.基于MapReduce计算引擎通常会将结果输出到次盘上,进⾏存储和容错.另外,当⼀些查询(如:hive)翻译到MapReduce任务是,往往会产⽣多个Stage,⽽这些Stage有依赖底层⽂件系统来存储每⼀个Stage的输出结果,⽽I/O的效率往往较低,从⽽影响MapReduce的运⾏速度.Spark的特点: 快, 易⽤, 通⽤,兼容性快：与Hadoop的MapReduce相⽐，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。
Spark实现了⾼效的DAG执⾏引擎，可以通过基于内存来⾼效处理数据流。
易⽤：Spark⽀持Java、Python和Scala的API，还⽀持超过80种⾼级算法，使⽤户可以快速构建不同的应⽤。
⽽且Spark⽀持交互式的Python和Scala的shell，可以⾮常⽅便地在这些shell中使⽤Spark集群来验证解决问题的⽅法。
Spark基础知识详解Apache Spark是⼀种快速通⽤的集群计算系统。
它提供Java，Scala，和R中的⾼级API，以及⽀持通⽤执⾏图的优化引擎。
它还⽀持⼀组丰富的⾼级⼯具，包括⽤于SQL和结构化数据处理的Spark SQL，⽤于机器学习的MLlib，⽤于图形处理的GraphX和Spark Streaming。
Spark优点：减少磁盘I/O：随着实时⼤数据应⽤越来越多，Hadoop作为离线的⾼吞吐、低响应框架已不能满⾜这类需求。
HadoopMapReduce的map端将中间输出和结果存储在磁盘中，reduce端⼜需要从磁盘读写中间结果，势必造成磁盘IO成为瓶颈。
Spark允许将map端的中间输出和结果存储在内存中，reduce端在拉取中间结果时避免了⼤量的磁盘I/O。
Hadoop Yarn中的ApplicationMaster申请到Container后，具体的任务需要利⽤NodeManager从HDFS的不同节点下载任务所需的资源（如Jar包），这也增加了磁盘I/O。
Spark将应⽤程序上传的资源⽂件缓冲到Driver本地⽂件服务的内存中，当Executor执⾏任务时直接从Driver的内存中读取，也节省了⼤量的磁盘I/O。
增加并⾏度：由于将中间结果写到磁盘与从磁盘读取中间结果属于不同的环节，Hadoop将它们简单的通过串⾏执⾏衔接起来。
Spark把不同的环节抽象为Stage，允许多个Stage 既可以串⾏执⾏，⼜可以并⾏执⾏。
避免重新计算：当Stage中某个分区的Task执⾏失败后，会重新对此Stage调度，但在重新调度的时候会过滤已经执⾏成功的分区任务，所以不会造成重复计算和资源浪费。
可选的Shuffle排序：HadoopMapReduce在Shuffle之前有着固定的排序操作，⽽Spark则可以根据不同场景选择在map端排序或者reduce端排序。
灵活的内存管理策略：Spark将内存分为堆上的存储内存、堆外的存储内存、堆上的执⾏内存、堆外的执⾏内存4个部分。
大数据学习资料PDF
大数据技术体系十分繁杂，单单基础技术就能覆盖数据采集、数据预处理、NOSQL数据库、分布式存储、多模式计算（批处理、在线处理、实时流处理、内存处理）、多模态计算（图像、文本、视频、音频）、数据挖掘、数据仓库、机器学习、并行计算、深度学习、人工智能、可视化等各种范畴。
而现在很多人对于大数据就像是“盲人摸象”，这种现象严重阻碍了中国大数据的发展。
中科院鄂维南院士也不止一次的强调：中国大数据发展的最大问题是人才匮乏。
所以，想在大数据领域深耕的伙伴需要多花功夫，一切宏伟蓝图的前提条件都是自身的实力够硬！一份大数据菜鸟进阶教程pdf版送上，为你拨开云雾见天明。
此外还给大家推荐一本书籍—《大数据技术概论》，助攻视频教程，这是一本偏技术类的，入门级读物。
全书共分成11章分别介绍了大数据概论、大数据采集及预处理、大数据分析、大数据数据可视化、Hadoop概论、HDFS和Common概论、MapReduce概论、NoSQL技术介绍、Spark概论、云计算与大数据、大数据解决方案相关案例等内容。
考虑到大数据技术涉及了许多新名词和专业性极强的词汇，细心的作者在全书的每一章中均附有相关术语的注释，方便读者查阅和自学。
大数据范围很广，所以需要复合型的人才，并不是你掌握一种编程、一种语言就可以了，希望拿到这套视频的童鞋，为自己制定计划，坚持看完，并记下所
遇到的问题，在日常的工作中求教前辈，再进行实践、论证。
也可以加入大数据qq交流群，大家一起交流学习。
如此，才能由点到面，不断提升自身技能！。
