개발 일지

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다.  ◼ 임팔라에서 다음을 실행 해 본다. 해당 데이터들을 이용하여 군집 분석을 진행 할 거이다. (Impala에서 실행) select * from smartcar_master limit 100; ◼ 해당 데이터들을 가공하여 파일을 만들어 주자. (Hive 에디터에서 실행)insert overwrite local directory '/home/pilot-pjt/mahout-data/clustering/input'ROW FORMAT DELIMITEDFIELDS TERMINATED BY ' 'select car_..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. ◼ Hive 쿼리 에디터로 아래 내용을 돌려 데이터셋을 가공한다.insert overwrite local directory '/home/pilot-pjt/spark-data/classification/input'ROW FORMAT DELIMITEDFIELDS TERMINATED BY ','select sex, age, marriage, region, job, car_capacity, car_year, car_model, tire_fl, tire_fr, tire_bl, tire_br, light_fl, li..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 차량 2대에 대해 배터리 잔량이 20에서 50사이인 데이터가다음과 같이 조회되도록 sql를 작성 (단,차량번호 내림차순)차량번호건수XXXX   XXX답 : SELECT car_number, COUNT(battery) as count FROM SmartCar_Status_Info WHERE car_number in('C0001','Q0002') AND battery BETWEEN 20 AND 50 group by car_number order by car_number;   외부에 테이블을 생성하고 ..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 이제 리눅스 서버(server02) 로 이동하여 데이터를 생산하여 보자.cd /home/pilot-pjt/working# 오늘 날짜로 운전자 100개에 대한 데이터를 생성. 백그라운드에서 실행.java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.DriverLogMain 20240613 100 &# 오늘 날짜로 차 로그 100개에 대한 데이터를 생성. 백그라운드 실행.java -cp bigdata.smartcar.loggen-..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. Cloudera Manager에서 Hive를 추가 해 줄 것이다.클러스터 - 서비스 추가 아래와 같이 설정 해준다. server02 만 선택 WebHCat Server 는 선택하지 않는다. 내장 데이터베이스를 사용할 것인데 암호를 복사해서 기억 해두자 ( Fe4uMp4Vu7 ) 에러가 날 시 Resume 버튼을 한번 눌러보고 그래도 안된다면 다음과 같이 진행한다.클라우데라 - HBase - RegionServer 재시작 yarn 도 재시작 해보자 이후 다시 추가를 하려고 하면 다음과 같이 잘 되는 것을 볼 수 ..