개발 일지

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 차량 2대에 대해 배터리 잔량이 20에서 50사이인 데이터가다음과 같이 조회되도록 sql를 작성 (단,차량번호 내림차순)차량번호건수XXXX   XXX답 : SELECT car_number, COUNT(battery) as count FROM SmartCar_Status_Info WHERE car_number in('C0001','Q0002') AND battery BETWEEN 20 AND 50 group by car_number order by car_number;   외부에 테이블을 생성하고 ..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 이제 리눅스 서버(server02) 로 이동하여 데이터를 생산하여 보자.cd /home/pilot-pjt/working# 오늘 날짜로 운전자 100개에 대한 데이터를 생성. 백그라운드에서 실행.java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.DriverLogMain 20240613 100 &# 오늘 날짜로 차 로그 100개에 대한 데이터를 생성. 백그라운드 실행.java -cp bigdata.smartcar.loggen-..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. Cloudera Manager에서 Hive를 추가 해 줄 것이다.클러스터 - 서비스 추가 아래와 같이 설정 해준다. server02 만 선택 WebHCat Server 는 선택하지 않는다. 내장 데이터베이스를 사용할 것인데 암호를 복사해서 기억 해두자 ( Fe4uMp4Vu7 ) 에러가 날 시 Resume 버튼을 한번 눌러보고 그래도 안된다면 다음과 같이 진행한다.클라우데라 - HBase - RegionServer 재시작 yarn 도 재시작 해보자 이후 다시 추가를 하려고 하면 다음과 같이 잘 되는 것을 볼 수 ..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 이때까지 한 내용 요약. flume (데이터 수집) -(producer 동작)>kafka (boroker 라는 물리적 서버 안의 topic 에 저장, 카프카는 buffer 의 기능을 함) -(consumer 동작)>HBase(대용량), Redis(실시간) 로 데이터가 각각 들어감 저번 글 내용 마지막을 복습 해보자.hbase shell 클라우데라 매니저 - HBase 구성 - timeout 검색 - RPC 시간 제한을 늘려준다. (20분)  운행 지역 정보를 가져와서 알아보자scan 'DriverCarInfo'..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. HBase 테이블 생성DriverCarInfo 라는 이름의 테이블을 생성 할 것이다.hbase org.apache.hadoop.hbase.util.RegionSplitter DriverCarInfo HexStringSplit -c 2 -f cf1 CREATE, Table Name: default:DeiverCarInfo 라는 명령어가 보일 것이다.테이블 확인은 16010 포트에서 조회 할 수 있다. 파일을 하나 업로드 해 준다.cd /home/pilot-pjt/working  스톰을 이용하여 배포storm ja..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. Storm 도 Redis 와 같이 클라우데라에서 지원을 해주지 않기 때문에 따로 설치 하여야 한다.마찬가지로 Server02 에 설치cd /home/pilot-pjtwget http://archive.apache.org/dist/storm/apache-storm-1.2.3/apache-storm-1.2.3.tar.gz 압축을 해제 해 준다.tar -xvf apache-storm-1.2.3.tar.gz 심볼릭 링크를 생성 해 준다.ln -s apache-storm-1.2.3 storm conf 폴더로 이동해서 s..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 실시간 데이터 추적을 위해서 Redis를 설치 해 줄것이다.Redis는 클라우데라에서 지원을 하지 않는다.Server02에서 설치 해주자.echo "http://vault.centos.org/6.10/os/x86_64/" > /var/cache/yum/x86_64/6/base/mirrorlist.txtecho "http://vault.centos.org/6.10/extras/x86_64/" > /var/cache/yum/x86_64/6/extras/mirrorlist.txtecho "http://vault.ce..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. http://server01.hadoop.com:9870/설치한 하둡 HDFS 를 URL로 접속. (클라우데라 매니저를 설치해서 UI를 사용하여 볼 수 있다.)  이전 글에서는 flume(수집) -> kafka -> kafka(topic) 으로 데이터를 보내는것을 진행 해 보았으며이번 글에서는 kafka -> Consumer ->HDFS(or Redis) 로 데이터를 보내는 것을 진행 해 볼 것이다. 클라우데라에서 다음 내용을 변경한다.flume - 상태 - 구설 파일에서 다음의 내요으로 바꾸어 줄 것이다.Sm..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 저번 플럼 설치에 이어 카프카를 추가 설치 해 줄 것이다.클러스터 서비스 추가에 들어가 카프카를 선택 해 준다.   완료 되면 카프카가 설치 된 것을 확인 할 수 있다.  카프카 - 구성으로 들어가서 data retention 을 입력한다.15분으로 수정 후 변경 내역을 저장한다.  flume - 구성  구성 파일의 내용을 모두 삭제 파일의 내용을 복사하여 구성 파일 내용에 넣어준다. 변경 내용을 저장한후 kafka topic을 생성 해보자. server02 에서 실행한다.서버 파일에 이미 토픽이 있다고 뜰 것..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 이전 글에 이어서 진행하도록 하겠다.공부하는 책에 따라서 스마트카 운전자의 운행정보를 실시간으로 생성 할 것이다.이전과 같이 server02 에서 진행 한다.root 폴더로 이동 후 확인 해보자cd ~pwd  주키퍼 클라이언트 실행zookeeper-client key 값에 대한 value 값 생성create /pilot-pjt bigdatals /  key에 대한 value 가져오기get /pilot-pjt  데이터 삭제delete /pilot-pjt Ctrl + C 를 이용하여 빠져 나와서 다음을 실행 해준다..