제플린 2

[빅데이터] 제플린 사용해 보기.

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. ❓ 아파치 제플린이란?💨 데이터 탐색, 분석을 위한 도구.💨 스파크를 이용한 Web 기반의 어플리케이션.💨 Notebook 형대토 데이터를 다루고 분석 함. 제플린을 사용하여 운행지역을 분석 하여보고 시각화 하여 볼 것이다. ◼ 제플린 실행 여부 확인zeppelin-daemon.sh status ◼ 실행이 되어있다면 아래 페이지에 들어간다.http://server02.hadoop.com:8081 ◼ 노트를 하나 만들어 주자. ◼ 노트에 실행할 명령어를 적어준다.%sh hdfs dfs -cat /user/h..

빅데이터 2024.06.18

[빅데이터] 임팔라, 스쿱, 머하웃 설치 With Cloudera, 제플린 설치 With Linux

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 데이터 분석을 위한 임팔라, 제플린, 머하웃을 사용해 보고, 스쿱을 이용하여 분석 데이터를 저장 해 볼 것이다. ⭕ 임팔라 추가◼ 클러스터 - 서비스 추가 - 임팔라를 선택 설치될 서버(server02)를 선택한다.  ❓ Impala Daemon 스크래치 디렉토리란쿼리 실행 시 생성되는 임시파일을 저장하는 위치이다. 임팔라는 휴와 연동이 되어있으니◼ Hue - 구성 - Impala 검색 후 설정 해주고 저장.◼ 임팔라 재시작.◼ Hue 재시작. ⭕ 스쿱 추가. ◼ 클러스터 - 서비스 추가 - 스쿱  ◼ 서버 선..

빅데이터 2024.06.18