docker(도커) ubuntu16.04 환경에 hadoop(하둡) 설치_(2)

docker ubuntu16.04 환경에 하둡(hadoop) 설치

이전 작업은 https://hy2on.tistory.com/121를 참고한다.

1. Hadoop(하둡) 설치

# wget http://mirror.navercorp.com/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz

이전에 생성한 /download/ 로 이동하여 하둡을 설치한다.

다른 하둡 에코시스템과의 호환성을 위해 2버전을 선택하였다.

# tar xvfz hadoop-2.8.5.tar.gz

압축을 해제한다.

압축을 푼 디렉토리를 홈디렉토리로 이동한다.

# ln -s hadoop-2.8.5/ hadoop

자바와 마찬가지로 심볼릭 링크를 걸어준다.

# vi .bashrc

# source .bashrc

환경변수 설정을 해준다.

# vi hadoop/etc/hadoop/hadoop-env.sh

자바와 연결을 시켜준다.

data, name에 관한 디렉토리를 생성한다.

hdfs의 물리적 저장소를 hdd에 위치시키기 위해 /home 하위 디렉토리가 아닌 곳에 경로를 지정한다.

# vi hadoop/etc/hadoop/hdfs-site.xml

# vi hadoop/etc/hadoop/core-site.xml

# vi hadoop/etc/hadoop/mapred-site.xml

mapred-site.xml 파일은 mapred-site.xml.template로 저장이 되어있다.

mv 명령어 또는 cp 명령어를 이용하여 mapred-site.xml 파일을 생성한다.

# vi hadoop/etc/hadoop/yarn-env.sh

default로 설정이 안되어 있다면 위와 같이 입력한다.

# vi hadoop/etc/hadoop/yarn-site.xml

2. SSH 설정

먼저 local에 비밀번호 요구없이 SSH 접속이 가능하도록 ssh-keygen -t rsa 키를 생성한다.

# apt-get install ssh

# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

SSH Key를 통해서 서버에 접속을 할 때 Unix 계열에서는 ssh-keygen이라는 프로그램을 이용한다.

-t rsa : rsa라는 암호화 방식으로 키를 생성

/root/.ssh/id_rsa 기본 경로에 SSH 키를 저장한다.

# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# chmod 0600 ~/.ssh/authorized_keys

authorized_keys 라는 파일을 생성하고 권한을 변경한다.

id_rsa : private key, 타인에게 노출되면 안 된다.

id_rsa.pub : public key, 접속하려는 remote machine의 authorized_keys에 입력한다.

authorized_keys : remote machine의 .ssh 디렉토리 아래에 위치하면서 id_rsa.pub 키의 값을 저장한다.

ssh 접속이 잘 되는 것을 확인한다.

만약 'connect to host localhost port 22: Connection refused' 라는 오류 메시지가 뜨면

vi /etc/hosts.allow에 ssh:ALL:allow\sshd:ALL:allow 를 입력하고 ssh 서비스를 restart 한다.

3. 실행 테스트

# hadoop namenode -format

먼저 namenode를 포맷한다.

# start-all.sh

포맷을 완료했다면 실행시킨다.

# jps

자바 프로세스 명령을 실행하였을 때 위와 같이 뜬다면 하둡 데몬이 정상적으로 실행된 것이다.

# hdfs dfs -mkdir /[디렉토리명]

# hdfs dfs -ls /

디렉토리 생성 후 ls 명령으로 잘 확인이 된다면 정상적으로 작동 중인 것이다.