개발 일지

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. HBase 테이블 생성DriverCarInfo 라는 이름의 테이블을 생성 할 것이다.hbase org.apache.hadoop.hbase.util.RegionSplitter DriverCarInfo HexStringSplit -c 2 -f cf1 CREATE, Table Name: default:DeiverCarInfo 라는 명령어가 보일 것이다.테이블 확인은 16010 포트에서 조회 할 수 있다. 파일을 하나 업로드 해 준다.cd /home/pilot-pjt/working  스톰을 이용하여 배포storm ja..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. Storm 도 Redis 와 같이 클라우데라에서 지원을 해주지 않기 때문에 따로 설치 하여야 한다.마찬가지로 Server02 에 설치cd /home/pilot-pjtwget http://archive.apache.org/dist/storm/apache-storm-1.2.3/apache-storm-1.2.3.tar.gz 압축을 해제 해 준다.tar -xvf apache-storm-1.2.3.tar.gz 심볼릭 링크를 생성 해 준다.ln -s apache-storm-1.2.3 storm conf 폴더로 이동해서 s..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 실시간 데이터 추적을 위해서 Redis를 설치 해 줄것이다.Redis는 클라우데라에서 지원을 하지 않는다.Server02에서 설치 해주자.echo "http://vault.centos.org/6.10/os/x86_64/" > /var/cache/yum/x86_64/6/base/mirrorlist.txtecho "http://vault.centos.org/6.10/extras/x86_64/" > /var/cache/yum/x86_64/6/extras/mirrorlist.txtecho "http://vault.ce..