[빅데이터] jar 파일을 이용한 데이터 처리 및 플럼 설치

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.

🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다.

 

이전 글에 이어서 진행하도록 하겠다.

공부하는 책에 따라서 스마트카 운전자의 운행정보를 실시간으로 생성 할 것이다.

이전과 같이 server02 에서 진행 한다.

root 폴더로 이동 후 확인 해보자

cd ~

pwd

 

 

주키퍼 클라이언트 실행

zookeeper-client

 

key 값에 대한 value 값 생성

create /pilot-pjt bigdata

ls /

pilot-pjt 가 있는 것을 확인 할 수 있다.

 

 

key에 대한 value 가져오기

get /pilot-pjt

데이터 확인.

 

 

데이터 삭제

delete /pilot-pjt

삭제 후 목록에서 제거.

 

Ctrl + C 를 이용하여 빠져 나와서 다음을 실행 해준다.

스마트카 작업을 위해 폴더를 생성 하고 권한을 바꾸어 주자.

cd /home
mkdir /home/pilot-pjt
mkdir /home/pilot-pjt/working
mkdir /home/pilot-pjt/working/car-batch-log
mkdir /home/pilot-pjt/working/driver-realtime-log
chmod 777 -R /home/pilot-pjt

 

이미 파일을 생성 해 놨으므로 파일이 있다고 하더라도 버그가 아니다.

권한만 변경 해주도록 하자.

 

오라클 버전도 변경 해주자.

 

심볼릭 링크 지우기.

rm /usr/bin/java

rm /usr/bin/javac

 

심볼릭 링크를 지우겠냐고 물어보면 y 를 입력 해 준다.

 

새 버전 명시하기.

ln -s /usr/java/jdk1.8.0_181-cloudera/bin/javac /usr/bin/javac

ln -s /usr/java/jdk1.8.0_181-cloudera/bin/java /usr/bin/java

 

버전 확인.

java -version

 

 

이전 글에서 받은 jar  파일을 업로드 하여 사용할 것이다.

아래 폴더로 이동하여 업로드 할 것이다.

cd /home/pilot-pjt/working

 

해당 파일을 MobaXterm 에 드래그 하여 옮긴다.

 

해당 jar 파일을 이용하여 자바 코드를 실행 할 것이다.

java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.DriverLogMain 20240611 10

 

멈춘 것 같아 보이지만 명령어 실행 후 생성 중인 상태이다. 102 서버의 프롬프트를 하나 더 열어서 확인해 보자.

홈에서 해당 102 서버 더블클릭

cd /home/pilot-pjt/working/driver-realtime-log
tail -f SmartCarDriverInfo.log

 

위 코드를 실행하면 실시간으로 만들고 있는 것을 확인 할 수 있다.

 

프롬프트를 하나 더 열어서 실행중인 프로세스를 보자

ps -ef | grep smartcar.log

 

다음과 같이 열심히 돌아가는 것을 볼 수 있다.

해당 프로세스를 죽일수도 있는데 

해당 숫자 10818 은 위의 실행중인 프로세스에서 프로세스번호이다.

kill -9 10818

 

스마트카 실시간 상태 정보 생성

working 폴더에 들어가서 상태 정보를 생성 해 줄 것이다.

cd /home/pilot-pjt/working
java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.CarLogMain 20240611 10

 

다른 프롬프트에서 확인 해보자

cd /home/pilot-pjt/working/SmartCar
tail -f SmartCarStatusInfo_20240611.txt

 

 

이제 서버에 플럼을 추가 해 데이터 수집 실습을 해 보자.

클라우데라 매니저 - 클러스터 - 서비스 추가로 들어간다.

 

 

플럼 선택

호스트 선택 클릭

server02 를 선택 후 확인.

완료를 눌러서 추가를 완료한다.

 

 

플럼을 추가 하였으면 구성으로 이동하여 설정을 해준다.

 

힙 크기를 100 -> 50 으로 변경한다.

 

 

플럼을 시작 해보자

완료 후 닫기를 눌러준다.