Spark实验报告

【转】Spark性能测试报告RDD可以很好地适⽤于⽀持数据并⾏的批量分析应⽤，包括数据挖掘，机器学习，图算法等，因为这些程序通常都会在很多记录上执⾏相同的操作。

RDD不太适合那些异步更新共享状态的应⽤，例如并⾏web爬⾏器。

因此，我们的⽬标是为⼤多数分析型应⽤提供有效的编程模型，⽽其他类型的应⽤交给专门的系统。

关于RDD详见：硬件环境：开发机器是 3台Intel(R)Xeon(R)****************双核 2.8G 4G内存操作系统：Red Hat Enterprise Linux Server release 5.7 (Tikanga)Spark配置：三节点，每个节点2G内存，14 个维度，100个类别，10次迭代，使⽤不同⼤⼩样例⽂件分析。

结论1：定义0.8（数据量/2048/3）作为三节点的阈值，当运⾏数据在阈值内时性能成单调递增，当超过该阈值时，性能急剧下降，当超过阈值2%时性能下降53.11937%，当超过34.01326%，性能下降70.80896%以下是测试数据：序号数据⽂件⼤⼩(M)记录条数耗时数据⽂件/耗时数据/内存数据/内存/节点数033.33147,10610 3.3333440.0162740.0054251100441,319137.6923170.0488280.0162762166.67735,5331511.111180.0813820.0271273233.331,029,7462011.666520.1139310.0379774341.331,506,3712314.84060.1666650.05555555122,259,5573017.066660.250.0833336682.673,012,7434216.254020.3333350.1111127853.333,765,9294518.962910.4166650.13888881,024.004,519,1155717.964940.50.16666791,194.675,272,3016518.379530.5833350.194445101,365.336,025,4877318.703160.6666650.222222111,536.006,778,6738019.200010.750.25121,706.677,531,8599517.964910.8333350.277778131,877.338,285,04414712.770970.9166650.305555142,048.009,038,23010419.692310.333333152,218.669,791,41611319.63417 1.083330.36111162,389.3310,544,60212419.26881 1.1666650.388888172,560.0111,297,78817514.62861 1.2500050.416668182,730.6612,050,97418414.84056 1.333330.444443192,901.3412,804,16016417.69109 1.416670.472223203,072.0013,557,34615519.81934 1.50.5213,242.6714,310,53216220.01647 1.5833350.527778223,413.3415,063,71816620.56231 1.666670.555557233,754.6816,570,08917920.97585 1.833340.611113244,266.6818,829,64618922.57501 2.083340.694447254,500.0119,859,39220921.53114 2.1972710.732424264,666.6820,594,92520223.10235 2.2786520.759551274,766.6821,036,24420223.5974 2.327480.775827284,866.6821,477,56322621.53396 2.3763090.792103294,966.6821,918,88222022.5758 2.4251370.808379305,066.6822,360,20145811.06261 2.4739650.824655315,120.0122,595,57746311.05834 2.5000050.833335326,656.0129,374,2501010 6.59011 3.250005 1.083335性能趋势图：Spark配置：⼀节点， 2G内存，14 个维度，100个类别，10次迭代。

大数据技术Spark基础实验指导书目录实验一Scala部署及基本语法 (5)1.安装Scala (6)1.1 进入安装目录 (6)2.Scala基础 (7)2.1 基础语法 (7)2.2 控制结构 (11)实验二Scala数据结构 (13)3.Scala数据结构 (14)3.1 列表 (14)3.2 集合 (14)3.3 映射（Map） (15)3.4 迭代器 (17)实验三Scala类和对象 (20)4.类 (21)4.1 简单的类 (21)5.对象 (24)5.1 单例对象 (25)5.2 伴生对象 (25)5.3 应用程序对象 (26)实验四Scala函数式编程WordCount (27)6.实验操作 (29)6.1 创建需要统计的目录 (29)实验五spark安装部署 (31)1、检查环境hadoop集群环境 (31)2、Spark部署 (32)3、启动spark集群 (43)实验六Spark RDD编程 (45)1.RDD编程 (46)实验七 Spark单词统计实验 (47)2、检查hadoop集群环境 (49)2、创建项目 (50)2.2更改JDK版本 (54)2.3配置pom.xml文件 (58)2.4创建SparkWordCount类 (64)4、打包项目 (70)5、运行打包好的jar程序 (76)5.1 运行程序 (76)实验八 Spark Hbase读写实验 (77)1、检查hadoop集群环境 (79)2、Hbase创建studen表 (80)2.1 进入hbase环境 (80)2.2 查看表是否存在 (80)2.3 创建student表 (81)2.4 往表里插入数据 (81)2.5 使用scan命令查看表结构 (82)3、创建项目 (83)3.1创建java maven项目 (84)3.2更改JDK版本 (87)3.3配置pom.xml文件 (91)4、创建Scala jar包 (98)5、Spark运行打包好的jar文件 (101)6、java代码和配置文件（附） (104)实验九Spark stream实验 (109)1.实验准备 (110)2. 创建Scala jar包 (111)2.1 创建Scala项目 (111)2.2 把scala项目Maven管理 (111)3. Spark运行打包好的jar文件 (114)4. java代码和配置文件（附） (116)4.1 Stream类 (116)实验十Spark SQL实验 (119)1.实验准备 (120)5. 创建Scala jar包 (121)5.2 把scala项目Maven管理 (121)6. Spark运行打包好的jar文件 (124)7. java代码和配置文件（附） (126)7.1 SQL类 (126)实验一Scala部署及基本语法【实验名称】Scala基本语法【实验目的】1.熟悉Scala的安装和基础语法学习2.掌握Scala基本数据类型和操作3.熟悉使用Scala控制语句【实验要求】要求实验结束后，每位学生都能够自行安装Scala，并且能熟悉应用Scala的基础语法和基本数据类型，能在Scala成功编写程序。

301624 female 63 83 93
301625 male 72 54 100
301626 male 76 66 73
301627 male 82 87 79
301628 female 62 80 54
301629 male 89 77 72
完成情况截图：
出现的问题：
因为是第一次用scala语言进行编程，虽然和java有着很大的相似性，但是具体的函数名以及具体的语法使用还是不明白，去看了官方的参考代码后看懂了他的思路后对照着写，我最开始的用的java的类挨个进行功能编写，虽然也可以得出最后答案但是基本上没有答案的这么快捷，但是参考答案用的放发比较难懂，花了一些时间去读懂领悟，比如参考答案里的切词方法是直接用的head取学号和课程名，而我最开始用的distinct进行过滤筛选，以及tail将这两个值返回到容器中，以及之后的zip，感觉scala更快捷但是也不是很易读懂，看了参考代码后发现自己在新语言的掌握严重不足，在课下会花更多的时间来学习scala
301616 female 73 81 75
301617 female 69 77 75
301618 male 73 61 65
301619 male 74 69 68
301620 male 76 62 76
301621 male 73 69 91
301622 male 55 69 61
301623 male 50 58 75
Id gender Math English Physics
301610 male 80 64 78
301611 female 65 87 58 ...
给定任何一个如上格式的清单（不同清单里课程数量可能不一样），要求尽可能采用函 数式编程，统计出各门课程的平均成绩，最低成绩，和最高成绩；另外还需按男女同学分开， 分别统计各门课程的平均成绩，最低成绩，和最高成绩。 测试样例 1 如下：

《基于Spark平台推荐系统研究》篇一一、引言随着互联网技术的快速发展和大数据时代的到来，推荐系统在各类应用中扮演着越来越重要的角色。

它通过分析用户的行为数据和偏好，为用户提供个性化的推荐服务，从而提升用户体验和满意度。

而Spark作为一款开源的大规模数据处理框架，具有强大的计算能力和高效的性能，为推荐系统的研究和应用提供了有力的支持。

本文将基于Spark平台对推荐系统进行研究，旨在提升推荐系统的准确性和效率。

二、相关技术概述1. Spark平台：Apache Spark是一个开源的大规模数据处理框架，具有强大的计算能力和高效的性能。

它提供了丰富的API和工具，可以方便地处理大规模数据，并支持多种编程语言。

2. 推荐系统：推荐系统是一种基于用户行为和偏好的信息过滤系统，旨在为用户提供个性化的推荐服务。

常见的推荐算法包括协同过滤、内容过滤、深度学习等。

3. 协同过滤：协同过滤是推荐系统中常用的算法之一，它通过分析用户的行为数据和偏好，找到相似的用户或项目，从而为用户提供个性化的推荐服务。

三、基于Spark平台的推荐系统研究1. 数据预处理：在推荐系统中，数据预处理是非常重要的一步。

我们需要对用户的行为数据和偏好进行清洗、转换和整合，以便后续的算法分析和处理。

在Spark平台上，我们可以利用Spark SQL和DataFrame API等工具进行高效的数据预处理。

2. 协同过滤算法实现：协同过滤是推荐系统中常用的算法之一，它可以分为基于用户的协同过滤和基于项目的协同过滤。

在Spark平台上，我们可以利用Spark MLlib等工具包，方便地实现协同过滤算法。

3. 模型训练与优化：在实现协同过滤算法后，我们需要对模型进行训练和优化，以提高推荐的准确性和效率。

在Spark平台上，我们可以利用梯度下降、随机森林等优化算法，对模型进行训练和调整。

4. 推荐结果生成与评估：在模型训练完成后，我们可以根据用户的偏好和行为数据，生成个性化的推荐结果。