개발 일지

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. http://server01.hadoop.com:9870/설치한 하둡 HDFS 를 URL로 접속. (클라우데라 매니저를 설치해서 UI를 사용하여 볼 수 있다.)  이전 글에서는 flume(수집) -> kafka -> kafka(topic) 으로 데이터를 보내는것을 진행 해 보았으며이번 글에서는 kafka -> Consumer ->HDFS(or Redis) 로 데이터를 보내는 것을 진행 해 볼 것이다. 클라우데라에서 다음 내용을 변경한다.flume - 상태 - 구설 파일에서 다음의 내요으로 바꾸어 줄 것이다.Sm..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 저번 플럼 설치에 이어 카프카를 추가 설치 해 줄 것이다.클러스터 서비스 추가에 들어가 카프카를 선택 해 준다.   완료 되면 카프카가 설치 된 것을 확인 할 수 있다.  카프카 - 구성으로 들어가서 data retention 을 입력한다.15분으로 수정 후 변경 내역을 저장한다.  flume - 구성  구성 파일의 내용을 모두 삭제 파일의 내용을 복사하여 구성 파일 내용에 넣어준다. 변경 내용을 저장한후 kafka topic을 생성 해보자. server02 에서 실행한다.서버 파일에 이미 토픽이 있다고 뜰 것..