[빅데이터] Storm 설치 및 사용법

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.

🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다.

 

Storm 도 Redis 와 같이 클라우데라에서 지원을 해주지 않기 때문에 따로 설치 하여야 한다.

마찬가지로 Server02 에 설치

cd /home/pilot-pjt
wget http://archive.apache.org/dist/storm/apache-storm-1.2.3/apache-storm-1.2.3.tar.gz

다음과 같이 파일을 받는다.

 

압축을 해제 해 준다.

tar -xvf apache-storm-1.2.3.tar.gz

 

심볼릭 링크를 생성 해 준다.

ln -s apache-storm-1.2.3 storm

 

conf 폴더로 이동해서 storm 파일의 기본 설정을 변경 해 줄 것이다.

cd /home/pilot-pjt/storm/conf
vi storm.yaml

 

가장 아래부분에 내용을 추가 하고 저장한다.

storm.zookeeper.servers:
 - "server02.hadoop.com"

storm.local.dir: "/home/pilot-pjt/storm/data"

nimbus.seeds: ["server02.hadoop.com"]

supervisor.slots.ports:
 - 6700

ui.port: 8088

 

로그 레벨을 수정 해 줄 것이다.

너무 많은 로그는 시스템의 성능 저하를 일으키기 때문.

로그의 정보는 6가지가 있다.

현재 info로 설정 되어있는 것을 error 로 변경 해 줄 것이다.

 

1.FATAL : 시스템 오류 500
2.ERROR : 하나이상의 기능이 제대로 동작안할떄
3.WARN : 경고
  deprecated
4.INFO : 표준 default
5.DEBUG : 개발시에 테스트시 사용
6.TRACE : debug 유사,상세하게 로그출력

 

cd /home/pilot-pjt/storm/log4j2
vi cluster.xml

제일 아래 부분에 info를 error로 변경 하여 준다. 

한꺼번에 다 수정 해 주기 위해 를 실행

ESC :%s/level="info" /level="error"/g

ESC :%s/level="INFO" /level="ERROR"/g

 

worker 파일도 변경 하여 준다.

vi worker.xml

 

스톰 경로를 등록 해 주어야 한다.

PATH=$PATH:/home/pilot-pjt/storm/bin

vi /root/.bash_profile

PATH=$PATH:/home/pilot-pjt/storm/bin

 

경로 등록 후 적용 시켜주기 위해 명령어를 입력 해 준다.

source /root/.bash_profile

 

리눅스 실행 시 storm 관련 프로그램이 자동으로 실행되도록 설정한다.

cd /etc/rc.d/init.d

설정 관련파일을 옮겨준다

 

권한을 변경 하여 준다.

chmod 755 /etc/rc.d/init.d/storm-nimbus
chmod 755 /etc/rc.d/init.d/storm-supervisor
chmod 755 /etc/rc.d/init.d/storm-ui

 

storm log, pid 디렉토리를 만들어주자

mkdir /var/log/storm
mkdir /var/run/storm

 

storm 서비스 프로세스를 실행 시켜준다.

service storm-nimbus start
service storm-supervisor start
service storm-ui start

 

실행 여부를 확인 해 본다.

service storm-nimbus status
service storm-supervisor status
service storm-ui status

 

 

http://server02.hadoop.com:8088

해당 주소로 들어가서 실시간 처리를 UI로 확인 할 수 있다.