Spark环境搭建手册

需要资源：

1. Ubuntu系统12.04版本以上

2. java jdk 1.7_075

3. scala sdk 2.10.4版本

4. hadoop 2.2.3

5. spark-1.0.1-bin-hadoop2.tgz

搭建步骤：

1．安装Ubuntu系统，并确保能够连上网。

2．安装java jdk

3．安装scala sdk

4．在三台机器中设置root用户机器密码：

具体设置方式如下：

sudo –s 进入root用户权限模式

vim /etclightdm/lightdm.conf //进入lightdm.conf修改文件（此时可能提示我们没有vim编辑器，安装vim编辑器：apt-get intall vim 安装完成后再进入lightdm.conf）将文件修改成：

[SeatDefaults]

greeter-session=unity-greeter

user-session=Ubuntu

greeter-show-manual-login=true

allow-guest=false

按下“esc”，输入“：wq”保存退出

启动root帐号：sudo passwd root更新密码，重启系统登录root账户。

6. 安装ssh

Hadoop是采用ssh进行通信的，此时我们要设置密码为空，即不需要密码登录，这样免去每次通信时都输入密码，安装如下：

apt-get install ssh

输入“Y”进行安装并等待自动安装完成。启动ssh服务：/etc/init.d/ssh start

通过以下命令验证服务是否正常启动：ps –e |grep ssh

如果：ssh-agent和sshd进程都启动说明服务正常启动！

设置免密码登陆，生成私钥和公钥：

ssh-keygen –t rsa –P “”

此时在/root/.ssh中生成两个文件：id_rsa和id_ras.pub，id_rsa为私钥id_rsa.pub为公钥，我们将公钥追加到authorized_keys中，因为authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容：

Hadoop+Spark 大数据集群环境

1. 配置集群的准备，文件包如下图：

分布式机器如下：

SparkMaster 192.168.35.129 Ubuntu12.x

SparkWorker1 192.168.35.130 Ubuntu12.x

SparkWorker 2 192.168.35.131 Ubuntu12.x

2. 配置linux 环境

1.1 配置linux登录时可以使用root账户

1.2 配置/etc/hostname，修改主机名SparkMaster，工作机为SparkWorker1、SparkWorker2，重启生效

1.3 配置/etc/hosts ，如下图

1.4 配置三台机器SSH无密码登录

3. 安装java环境，安装到/usr/lib/java目录，配置环境变量，验证成功，如下图

4. 安装hadoop 1.1 将hadoop安装到 /usr/local/hadoop目录，配置环境变量

1.2 在$HADOOP_HOME 下，按照下图操作创建目录，如下图

1.3 进入$HADOOP_HOME目录，对配置文件进行如下图配置，如下图

首先，修改hadoop-env.sh，JAVA_HOME=我们java安装目录，如下图

然后，修改yarn-env.sh, JAVA_HOME=我们java安装目录，如下图

然后，修改mapred-env.sh, JAVA_HOME=我们java安装目录，如下图

然后，修改slaves文件，将客户机填写到文件中，如下图

然后，修改core-site.xml，填写如图配置，如下图

然后，修改hdfs-site.xml,填写如图配置，如下图

然后，复制一份mapred-site.xml.template 为mapred-site.xml，如下图

然后，修改yarn-site.xml,填写如图配置，如下图

最后，将SparkMaster操作，同步到SparkWorker1和SparkWorker2上

Spark集群搭建手册

1.在各个节点安装spark，推荐从官网下载最新的稳定版本

:

a.创建spark安装目录：mkdir/usr/local/spark

b.把下载的spark拷贝到安装目录并解压（安装了VMwaretools后，可

以直接将下载的安装包拖拉到安装目录中）：tar-xzvfspark-2.0.0-bin-hadoop2.6.tgz

c.为了可以在任意目录下使用spark命令，需要将spark的bin和sbin

目录配置到.bashrc中,vim~/.bashrc:

exportSPARK_HOME=/usr/local/spark-2.0.0-bin-hadoop2.6

Export

PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

d.使用source命令使更改生效：source~/.bashrc2.在各个节点配置spark一下,配置文件都是在$SPARK_HOME/conf目录下：

a.修改slaves文件，（若没有slaves文件可以cpslaves.templateslaves创建），

添加worker节点的Hostname，修改后内容如下:

b.配置spark-env.sh，（若没有该文件可以cpspark-env.sh.templatespark-env.sh

创建），添加如下内容：exportJAVA_HOME=/usr/lib/java

exportSCALA_HOME=/usr/lib/scala-2.12.0-M5

exportHADOOP_HOME=/usr/local/hadoop

exportHADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

exportSPARK_MASTER_IP=master

sparksql系列（⼀）环境搭建及helloworld详解

以前公司⽤的是spark-core，但是换⼯作后⽤的多是spark-sql。

最近学习了很多spark-sql，在此做⼀个有spark经验的sparksql快速⼊门的教程。

JDK安装包 1.8版本：https:///s/1pLW3jyKv3N_FhQ7vvE4U2g

SCALA安装包：https:///s/17f8AiS2n_g5kiQhxf7XIlA

hadoop安装包：https:///s/1YNM2_eTV8Zf_2SxamfMrSQ

Spark安装包：https:///s/17mf2_DMiNy7OdlFwygekhg

IDE安装包：https:///s/1caaKufvSuHBX1xEFXvCwPw

⼀：JDK环境搭建

其中重要的就是两个安装路径JDK路径和JRE路径，三个环境变量：JAVA_HOME、PATH、CLASSPATH

我本地的是 JDK路径(D:\JAVA\JDK\) JRE路径(D:\JAVA\JRE)

JAVA_HOME(D:\JAVA\JDK)

PATH(%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;)

CLASSPATH(.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;)

验证⽅案：java -version

⼆：SCALA环境搭建

下载后，解压即可。配置⼀个环境变量即可。

重要环境变量，加上即可：SCALA_HOME(D:\JAVA\scala) PATH(%SCALA_HOME%\bin;%SCALA_HOME%\jre\bin;)

验证⽅法：scala -version

三：hadoop环境搭建

下载后，解压即可。配置两个环境变量即可。