BigData 공부기록

Apache Zeppelin - 데이터 분석가, 개발자들을 위한 웹 기반 노트북- 시각화 툴 1. Notebook - 데이터 처리- 데이터 검색- 데이터 분석- 데이터 시각화 및 협업 2. 다중 언어 백엔드 3. Apache Spark와 통합 - 자동 SparkContext 및 SQLContext 삽입- 로컬 파일 시스템 또는 메이븐 저장소로부터의 런타임 jar 의존성로드- 작업 취소 및 진행 상황 표시 4. Visualization - Table, Line Chart, Pie Chart 등 다양한 형태로 시각화- Spark의 좋은 성능 덕분에 대부분 코드가 즉시 실행되므로 interactive하게 데이터를 다룰 수 있다.- HTML을 표현 가능하므로, 테이블에 이미지를 표시하거나, link를 넣거나 하..

Docker Hub에 내 이미지 배포하기 내가 생성한 image를 docker hub를 통해 다른 사람들과 공유를 할 수 있다. 1. docker hub 가입 먼저 https://hub.docker.com에 접속하여 계정을 생성한다.계정을 생성할 때 ID를 지정하는데, 이 ID로 다른 사용자들이 내가 올린 image들을 검색하고 사용하게 된다. 계정을 생성하면 위와 같은 메시지가 뜨며 입력했던 이메일을 확인하라 한다. 이메일을 확인해보면 Docker로부터 메일이 와있다.'Confirm Your Email'을 클릭한다. 2. Repository 생성 docker hub에 로그인하여 상단의 Repositories를 클릭 후 이미지를 등록 및 관리할 Repository를 생성한다.Repository를 생성할 ..

docker ubuntu16.04 환경에 zeppelin(제플린) 설치 이전 작업은 https://hy2on.tistory.com/123?category=733455를 참고한다. 1. zeppelin 설치 # docker run -it --name zeppelin spark생성해두었던 이미지로 컨테이너를 생성한다. # wget http://apache.tt.co.kr/zeppelin/zeppelin-0.8.0/zeppelin-0.8.0-bin-all.tgz0.8.0 버전을 설치해준다. # tar xvfz zeppelin-0.8.0-bin-all.tgz다운이 완료되었다면 압축을 풀어준다. # ln -s zeppelin-0.8.0-bin-all.tgz/ zeppelinjava, hadoop, spark와 마..

docker ubuntu16.04 환경에 Spark 설치 이전 작업은 https://hy2on.tistory.com/122?category=733455를 참고한다. 1. Spark 설치 # docker run -it --name [container 이름 지정] [image name] 이전에 생성해놨던 java, hadoop이 설치된 이미지를 이용하여 컨테이너를 생성한다. 먼저 Apache Spark를 다운받을 링크를 복사한다.http://apache.mirror.cdnetworks.com/spark/spark-2.2.3/spark-2.2.3-bin-hadoop2.7.tgz이후에 설치할 zeppelin과의 호환성을 위해 최신 버전이 아닌 2.2.3 버전으로 설치한다. # wget http://apache...

docker ubuntu16.04 환경에 하둡(hadoop) 설치 이전 작업은 https://hy2on.tistory.com/121를 참고한다. 1. Hadoop(하둡) 설치 # wget http://mirror.navercorp.com/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz이전에 생성한 /download/ 로 이동하여 하둡을 설치한다.다른 하둡 에코시스템과의 호환성을 위해 2버전을 선택하였다. # tar xvfz hadoop-2.8.5.tar.gz압축을 해제한다. 압축을 푼 디렉토리를 홈디렉토리로 이동한다. # ln -s hadoop-2.8.5/ hadoop 자바와 마찬가지로 심볼릭 링크를 걸어준다. # vi .bashrc# source .bas..

docker ubuntu16.04 환경에 java 설치 도커 환경에 Hadoop, Spark, Zeppelin을 설치하여 빅 데이터 시스템을 구축해보고자 한다.Hadoop은 HDFS로서 데이터 저장소의 역할, Spark는 분석 엔진의 역할, Zeppelin은 인터페이스의 역할을 한다. 1. 도커 컨테이너 생성 및 접속 # docker pull ubuntu:16.04 명령어로 먼저 이미지를 받아온다.# docker run -i -t --name [name] [image] 받아온 우분투 이미지를 이용하여 컨테이너를 생성하여 접속한다. 우분투(Ubuntu)에는 패키지를 관리하는 명령어가 몇가지 있다. 그 중 가장 기본이 apt-get 명령어이다.패키지 목록을 갱신하기 위해 # apt-get update 명령어..

Docker(도커) 기본 명령어 1. 이미지 다운로드# docker image pull [이미지명]:[version]# docker pull [이미지명]:[version] 도커 허브에서 이미지를 받아온다.도커 허브에서 다른 사람들이 올린 이미지를 쉽게 받아올 수 있다.version 태그를 생략하면 자동으로 최신 버전(latest)를 다운받아온다. 2. 이미지 확인# docker images 3. 이미지로 컨테이너 생성# docker create -i -t [image] --name [name] : 컨테이너 이름 지정 4. 컨테이너 목록 확인 # docker ps- a 명령어를 이용하여 생성된 컨테이너를 확인 가능하다. 현재 상태는 "Created"로 나온다.docker ps : 정지되지 않은 컨테이너 목..

CentOS에서 Docker(도커) 설치 CentOS-7 버전을 설치한다. CentOS 네트워크 환경은 Bridge 카드로, 192.168.0.30/24의 IP를 부여하였다. 1. 의존성 설치# yum install -y yum-utils device-mapper-persistent-data lvm2 2. 최신 저장소 설정# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo 3. docker 설치# yum install -y docker 4. docker 서비스 시작# systemctl enable docker# systemctl start docker docker 버전 및 설치 확인#docker --..

도커란? 도커는 컨테이너 기반의 오픈소스 가상화 플랫폼이다.컨테이너라 하면 배에 싣는 화물 수송용 박스를 생각할 수 있는데, 각각의 컨테이너 안에 다양한 화물을 넣을 수 있고 쉽게 옮길 수 있는 특징이 있다. 서버에서 이야기하는 컨테이너도 이와 비슷하다.다양한 프로그램, 실행환경을 컨테이너로 추상화하고 동일한 인터페이스를 제공하여 프로그램의 배포 및 관리를 단순하게 해준다. 1. 하이퍼바이저/컨테이너 기반 기술 비교 보통 '가상화'를 한다고 하면, 예를 들어 VMware나 VirtualBox같은 것들을 이용하는 OS 가상화를 떠올린다.VMware나 VirtualBox같은 가상머신은 호스트 OS위에 게스트 OS 전체를 가상화하여 사용하는 방식이다. 이러한 가상화 기술엔 몇 가지 단점들이 있다. 1. 호스트..