Apache Zeppelin이란?

Apache Zeppelin

- 데이터 분석가, 개발자들을 위한 웹 기반 노트북

- 시각화 툴

1. Notebook

- 데이터 처리

- 데이터 검색

- 데이터 분석

- 데이터 시각화 및 협업

2. 다중 언어 백엔드

3. Apache Spark와 통합

- 자동 SparkContext 및 SQLContext 삽입

- 로컬 파일 시스템 또는 메이븐 저장소로부터의 런타임 jar 의존성로드

- 작업 취소 및 진행 상황 표시

4. Visualization

- Table, Line Chart, Pie Chart 등 다양한 형태로 시각화

- Spark의 좋은 성능 덕분에 대부분 코드가 즉시 실행되므로 interactive하게 데이터를 다룰 수 있다.

- HTML을 표현 가능하므로, 테이블에 이미지를 표시하거나, link를 넣거나 하는 등의 동작이 가능하다.

기존의 Workflow

- 다양한 제품을 조합하여 데이터 분석을 하는 것이 일반적

- 많은 엔지니어링이 필요함

- 다방면에 경험 많은 분석가들 혹은 팀의 전유물

- 파이프라인이 복잡하기에, 고장나기 쉽고 유지보수 어려움

새로운 Workflow

- 데이터 정제, 처리, 요약 데이터 시각화, 고급 분석까지 전부 Spark와 Zeppelin으로 해결