ALBERT SITE

1. open jdk 설치(root권한상태)

$ yum install java-1.8.0-openjdk-devel.x86_64

java -version으로 설치 확인

2. Scala 설치 (root권한상태)

2-1 scala 2.12.12 다운로드 

$ wget https://downloads.lightbend.com/scala/2.12.12/scala-2.12.12.tgz

2-2 파일이동

$ mv scala-2.12.12.tgz /home/"사용할 계정"/

2-3 압축해제

$ tar -xvzf scala-2.12.12.tgz

2-4 폴더명,권한 변경

$ cd /home/"사용할계정"
$ mv scala-2.12.12.tgz scala
$ chown -R "사용할계정":"사용할계정" scala

2-5 환경변수등록

root에서 "사용할계정"으로 계정전환

$ vi .bashrc

export PATH = $PATH:/home/"사용할계정"/scala/bin

추가 후 :wq! 입력

$ source .bashrc

적용

scala -version

설치확인

3. Apache Spark 설치 (root권한상태)

3-1 spark 3.0.1 다운로드

다시 root로 전환

wget https://dlcdn.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz  

3-2 파일이동

$ mv spark-3.2.0-bin-hadoop3.2.tgz /home/"사용할 계정"/

3-3 압축해제

$ tar -xvzf spark-3.2.0-bin-hadoop3.2.tgz

3-4 폴더명,권한 변경

$ cd /home/"사용할계정"
$ mv spark-3.2.0-bin-hadoop3.2 spark
$ chown -R "사용할계정":"사용할계정" spark

3-5 환경변수 등록

root에서 "사용할계정"으로 계정전환

$ vi .bashrc

export PATH = $PATH:/home/"사용할계정"/spark/bin

추가 후 :wq! 입력

$ source .bashrc

적용

$ spark-shell

설치확인

4. Zeppelin 설치 (root권한상태)

4-1 Zeppelin 다운로드

wget https://downloads.apache.org/zeppelin/zeppelin-0.9.0-preview2/zeppelin-0.9.0-preview2-bin-all.tgz

4-2 파일이동

$ mv zeppelin-0.9.0-preview2-bin-all.tgz /home/"사용할 계정"/

4-3 압축해제

$ tar -xvzf zeppelin-0.9.0-preview2-bin-all.tgz

4-4 폴더명,권한 변경

$ cd /home/"사용할계정"
$ mv zeppelin-0.9.0-preview2-bin-all zeppelin
$ chown -R "사용할계정":"사용할계정" zeppelin

4-5 환경변수등록

root에서 "사용할계정"으로 계정전환

$ vi .bashrc

export PATH = $PATH:/home/"사용할계정"/zeppelin/bin

추가 후 :wq! 입력

$ source .bashrc

적용

4-6 환경설정

$ cd /home/"사용할계정"/zeppelin/conf

4-6-1 템플릿 설정파일(zeppelin-env.sh.template) 복사

$ cp zeppelin-env.sh.template zeppelin-env.sh
$ vi zeppelin-env.sh

설정 추가

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export SPARK_HOME=/home/"사용할계정"/spark

4-6-2 템플릿 설정파일(zeppelin-site.xml.template) 복사

$ cp zeppelin-site.xml.template zeppelin-site.xml
$ vi zeppelin-site.xml

vi편집기를 열어서 zeppelin.server.addr에 

127.0.0.1를   0.0.0.0로 변경해 준다

(클라우드환경의 경우 localhost로 접속이안되므로 변경)

  zeppelin.server.addr
  0.0.0.0
  Server binding address

5.기동 및 확인

$ zeppelin-daemon.sh start

http://자신ip:8080 접속

참고: https://hongddo.tistory.com/117