Spark示例——SparkPi出现ClassNotFound异常解决

Spark示例——SparkPi 在运行中出现ClassNotFound异常的问题解决

前言：按照《Spark实战高手之路-第1章》的前四节，搭建完Spark集群及IDEA集成环境后，最后一步是用IDEA集成环境运行SparkPi例子。可就在这最后一步，让我花了三天时间才最终完成。所以，这里详细介绍解决方法，让接下来以《 Spark实战高手之路》入门的后来者少走些弯路。 文中将大量引用网上的资源，在可能的情况下我会尽量标明出处，但不到之处还请原著作者见谅。

1.在《Spark实战高手之路-第1章（4）》的最后，说要以本地模式过行，则在 Edit Configurations->Program arguments中输入“local”就不会报错了，但事实是：加之前与加之后都报错，且错误相同。此次报错内容总共只有6行，主要内容是“A master URL must be „...”,大致意思是找不到master 的URL 路径。

解决方法： 找不到URL路径，要在代码中添加x.setMaster("spark://192.168.18.211:7077").自行设置URL路径，其中， 192.168.18.211 是我的Master电脑的IP地址，不同的集群根据自己的情况而定。这个方法在《Spark实战高手之路-第1章（5）》的最后也提到过，可能原文的本意是仅本地运行时填“local”,当要在集群上运行时要添加master的URL路径，但好像在本地运行不是很happy.好在重点不在本地运行，而在集群，所以就不管“local”了。下面看一下这一行代码集体插入的位置和方法： 原代码： package org.apache.spark.examples import scala.math.random import org.apache.spark._

/** Computes an approximation to pi */ object SparkPi { def main(args: Array[String]) { val conf = new SparkConf().setAppName("SparkPi") val spark = new SparkContext(conf) val slices = if (args.length > 0) args(0).toInt else 2 val n = 100000 * slices val count = spark.parallelize(1 to n, slices).map { i => val x = random * 2 - 1 val y = random * 2 - 1 if (x*x + y*y < 1) 1 else 0 }.reduce(_ + _) println("Pi is roughly " + 4.0 * count / n) spark.stop() } } 添加后： package org.apache.spark.examples import scala.math.random import org.apache.spark._

/** Computes an approximation to pi */ object SparkPi { def main(args: Array[String]) { val conf = new SparkConf().setAppName("SparkPi") conf.setMaster("spark://192.168.18.211:7077") val spark = new SparkContext(conf) val slices = if (args.length > 0) args(0).toInt else 2 val n = 100000 * slices val count = spark.parallelize(1 to n, slices).map { i => val x = random * 2 - 1 val y = random * 2 - 1 if (x*x + y*y < 1) 1 else 0 }.reduce(_ + _) println("Pi is roughly " + 4.0 * count / n) spark.stop() }

} 到此，第一种异常（6行）就解决了。 2.在解决完第一种异常后运行，发现会出现新的异常，而且这次异常所用的行数远多于6行。主要内容为”java.lang.ClassNotFoundException:”,意思应该是没有将jar包提交到spark的worker上面 ，导致运行的worker找不到被调用的类。

解决方法： 将要运行的程序达成jar包，然后调用JavaSparkContext的addJar方法将该jar包提交到spark集群中，然后spark的master会将该jar包分发到各个worker上面。 （本段内容参考了 http://www.dataguru.cn/forum.php?mod=viewthread&tid=322668 网站的内容。）

接下来我就偿试打jar包，再提交。先说一下提交的方法： 原代码： package org.apache.spark.examples import scala.math.random import org.apache.spark._

/** Computes an approximation to pi */ object SparkPi { def main(args: Array[String]) { val conf = new SparkConf().setAppName("SparkPi") conf.setMaster("spark://192.168.18.211:7077") val spark = new SparkContext(conf) val slices = if (args.length > 0) args(0).toInt else 2 val n = 100000 * slices val count = spark.parallelize(1 to n, slices).map { i => val x = random * 2 - 1 val y = random * 2 - 1 if (x*x + y*y < 1) 1 else 0 }.reduce(_ + _) println("Pi is roughly " + 4.0 * count / n) spark.stop() }

} 添加后： package org.apache.spark.examples import scala.math.random import org.apache.spark._

/** Computes an approximation to pi */ object SparkPi { def main(args: Array[String]) { val conf = new SparkConf().setAppName("SparkPi") conf.setMaster("spark://192.168.18.211:7077") val spark = new SparkContext(conf) spark.addJar("/root/s2.jar") val slices = if (args.length > 0) args(0).toInt else 2 val n = 100000 * slices val count = spark.parallelize(1 to n, slices).map { i => val x = random * 2 - 1 val y = random * 2 - 1 if (x*x + y*y < 1) 1 else 0 }.reduce(_ + _) println("Pi is roughly " + 4.0 * count / n) spark.stop() }

} 其中 s2.jar 就是我们打的包。 下面聚体说下怎么打包： 起初我是在终端用命令行：jar cvf 自行打包，但是不对。正确的打包方法是这样的：

依次选择“File”–> “Project Structure” –> “Artifact”，选择“+”–> “Jar” –> “From Modules with dependencies”，选择main函数，并在弹出框中选择输出jar位置，并选择“OK”。

最后依次选择“Build”–> “Build Artifact”编译生成jar包。具体如下图所示。

转载自董的博客 ：http://dongxicheng.org/framework-on-yarn/apache-spark-intellij-idea/

这里打成的包还比较大，我打了三次，都是一百二三十兆。包打成后，可以将.jar文件移到目录较浅的地方，方便代码的编写。

3.总结 要使Spark自带的示例能够在集群上运行，需要增加两行代码，一行用来指明master路径：conf.setMaster("spark://192.168.18.211:7077")，另一行用来把打好的jar 包发到集群上：spark.addJar("/root/s2.jar")。然后注意一下打包的方法，和生成包的大小。

最后，祝你成功！！

附：成功后的运行结果： /usr/lib/java/jdk1.7.0_67/bin/java -Didea.launcher.port=7535 -Didea.launcher.bin.path=/usr/local/idea/idea-IC-135.1289/bin -Dfile.encoding=UTF-8 -classpath /usr/lib/java/jdk1.7.0_67/jre/lib/jce.jar:/usr/lib/java/jdk1.7.0_67/jre/lib/jfxrt.jar:/usr/lib/java/jdk1.7.0_67/jre/lib/deploy.jar:/usr/lib/java/jdk1.7.0_67/jre/lib/resources.jar:/usr/lib/java/jdk1.7.0_67/jr