Hadoop

Spark 설치

집못가는프로그래머 2021. 9. 14. 17:15

1. https://spark.apache.org/downloads.html

 

Downloads | Apache Spark

Download Apache Spark™ Choose a Spark release: Choose a package type: Download Spark: Verify this release using the and project release KEYS. Note that, Spark 2.x is pre-built with Scala 2.11 except version 2.4.2, which is pre-built with Scala 2.12. Spar

spark.apache.org

위 링크 접속

 

 

2.

Spark 최신버전, 자신의 Hadoop에 맞는 버전을 선택하고

밑줄친 부분의 파일을 다운로드 받는다.

 

 

3. tar -xvzf 파일명 (tar -xvzf spark-3.1.2-bin-hadoop3.2.tgz)

압축을 푼다

 

 

4. 파일명 간소화

전

현재 압축 해제한 파일명은 spark-3.1.2-bin-hadoop3.2 인데

이것을 spark-3.1.2로 간소화 해준다 

-> mv spark-3.1.2-bin-hadoop3.2 spark-3.1.2

후

그리고 압축파일은 이제 필요없으니 제거해주자. -> rm spark-3.1.2-bin-hadoop3.2.tgz

 

 

5.  .bashrc을 열어서 spark를 위한 export를 작성한다.

export SPARK_HOME=/home/hdoop/spark-3.1.2
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export SPARK_CONF_DIR=$SPARK_HOME/conf
export SPARK_MASTER_HOST=localhost
export PYSPARK_PYTHON=python3
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.9-src.zip:$PYTHONPATH
export PATH=$SPARK_HOME/bin:$SPARK_HOME/python:$PATH

위에 작성한 코드 화면

 

6. source .bashrc

 

7. spark-shell (엔터)

문제없이 작동하는지 확인하자

이런 화면이 나오면 됨

 

8.  :quit  

Scala 실행 상태에서 나가기.