Spark安装教程
- 格式:docx
- 大小:14.78 KB
- 文档页数:2
Spark安装教程
Spark安装教程Spark 安装教程
安装环境
Fedora 29
openjdk version "1.8.0_191"
安装步骤
下载 Spark 安装包
解压 Spark 安装包 /opt/spark ⽬录
修改 Spark 配置
修改 PySpark 配置
下载 Spark 安装包
解压 Spark 安装包 /opt/spark ⽬录
创建 /opt/spark ⽬录
sudo mkdir -p /opt/spark
解压到 /opt/spark ⽬录
cd /opt
sudo tar -zxvf ~/Downloads/spark-2.3.0-bin-hadoop2.7.tgz
sudo mv /opt/spark-2.3.0-bin-hadoop2.7 /opt/spark
修改 Spark 配置
修改 Spark 环境变量
sudo vim ~/.bashrc
修改内容
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH
使环境变量⽬效
source ~/.bashrc
安装 PySpark
pip3 install pyspark 修改 PySpark 配置
修改 PySpark 环境变量
sudo vim ~/.bashrc
修改内容
export PYSPARK_PYTHON=python3
使环境变量⽬效
source ~/.bashrc