docker(도커) ubuntu16.04 환경에 zeppelin(제플린) 설치_(4)

docker ubuntu16.04 환경에 zeppelin(제플린) 설치

이전 작업은 https://hy2on.tistory.com/123?category=733455를 참고한다.

1. zeppelin 설치

# docker run -it --name zeppelin spark

생성해두었던 이미지로 컨테이너를 생성한다.

# wget http://apache.tt.co.kr/zeppelin/zeppelin-0.8.0/zeppelin-0.8.0-bin-all.tgz

0.8.0 버전을 설치해준다.

# tar xvfz zeppelin-0.8.0-bin-all.tgz

다운이 완료되었다면 압축을 풀어준다.

# ln -s zeppelin-0.8.0-bin-all.tgz/ zeppelin

java, hadoop, spark와 마찬가지로 심볼릭 링크를 걸어준다.

# vi .bashrc

# source .bashrc

환경변수를 설정한다.

2. zeppelin 설정

# cp zeppelin/conf/zeppelin-env.sh.template zeppelin/conf/zeppelin-env.sh

# zeppelin/conf/zeppelin-env.sh

mv 혹은 cp 명령어를 이용하여 zeppelin-env.sh 파일을 생성 후 vi 편집기로 연다.

여기서 python과 spark를 연결해준다.

# cp zeppelin/conf/zeppelin-site.xml.template zeppelin/conf/zeppelin-site.xml

# zeppelin/conf/zeppelin-site.xml

8080포트는 spark가 사용하기 때문에 포트를 지정해주었다.

또한 익명 사용자의 접속을 허가하지 않도록 설정한다.

그렇다면 사용자의 ID와 PW를 알고 있어야 한다.

# cp zeppelin/conf/shiro.ini.template zeppelin/conf/shiro.ini

# vi zeppelin/conf/shiro.ini

설정을 모두 완료하였다면 이미지로 저장한다.

3. 실행 테스트(빅 데이터 분석 서버 실행)

# docker run -it --name [container name] -p 80:80 -p 7077:7077 -p 8080:8080

-p 8081:8081 -p 8082:8082 -p 8443:8443 -p 9000:9000 [image name]

docker 포트포워딩 옵션 -p [local port]:[container port]

어떠한 포트로 들어오면 도커의 컨테이너로 보내라는 포트포워딩 작업이 필요하다.

빅 데이터 분석 서버 실행에 필요한 포트들을 모두 지정해준다.

접속 후에 hadoop > spark > zeppelin 순으로 모두 실행시킨다.

하둡 실행

# service ssh start

# start-all.sh

스파크 실행

# start-master.sh

# start-slaves.sh

제플린 실행

# zeppelin-daemon.sh start

컨테이너 IP가 아닌 [도커 서버의 IP]:[zeppelin port] 로 접속한다.

포트포워딩 작업을 해주었기 때문에 해당 컨테이너로 접속이 된다.

익명 사용자의 접속을 막아놨으므로 위에서 확인하였던 사용자 이름과 패스워드로 로그인한다.

테스트를 위해 Notebook을 생성하고 출력문을 작성하였다.

hello 문이 잘 출력이 된 것을 확인할 수 있다.