oozie 3

[빅데이터] Oozie Workflow

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 진행에 주의 할 점은 이때까지 생성한 데이터를 이용해야한다. 자신의 데이터를 만들어둔 날짜를 변수로 넣는 것을 잊지말자. Subject2 에 스마트카 운전자 운행 기록 정보를 이용한 Workflow 를 작성 해 본다. 파일 이름 : create_table_smartcar_drive_info_2.hqlcreate external table if not exists SmartCar_Drive_Info_2 ( r_key string, r_date string, car_number string, speed..

빅데이터 2024.06.17

[빅데이터] Oozie 사용 해 보기.

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. Oozie 를 이용하여 스케줄링을 해볼 것이다. (server02)cd /home/pilot-pjt/working 프로세스를 하나 실행한다. 스마트가의 상태 로그를 만들어준다.java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.CarLogMain 20240614 100 & 데이터가 쌓이는 위치에 가서 확인 해 보자.cd /home/pilot-pjt/working/SmartCartail -f SmartCarStatusInfo_..

빅데이터 2024.06.14

[빅데이터] Cloudera에 Hive, Oozie, Hue, Spark 설치

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. Cloudera Manager에서 Hive를 추가 해 줄 것이다.클러스터 - 서비스 추가 아래와 같이 설정 해준다. server02 만 선택 WebHCat Server 는 선택하지 않는다. 내장 데이터베이스를 사용할 것인데 암호를 복사해서 기억 해두자 ( Fe4uMp4Vu7 ) 에러가 날 시 Resume 버튼을 한번 눌러보고 그래도 안된다면 다음과 같이 진행한다.클라우데라 - HBase - RegionServer 재시작 yarn 도 재시작 해보자 이후 다시 추가를 하려고 하면 다음과 같이 잘 되는 것을 볼 수 ..

빅데이터 2024.06.13