Flume 2

[빅데이터] HBase 설치 및 사용 방법

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. http://server01.hadoop.com:9870/설치한 하둡 HDFS 를 URL로 접속. (클라우데라 매니저를 설치해서 UI를 사용하여 볼 수 있다.)  이전 글에서는 flume(수집) -> kafka -> kafka(topic) 으로 데이터를 보내는것을 진행 해 보았으며이번 글에서는 kafka -> Consumer ->HDFS(or Redis) 로 데이터를 보내는 것을 진행 해 볼 것이다. 클라우데라에서 다음 내용을 변경한다.flume - 상태 - 구설 파일에서 다음의 내요으로 바꾸어 줄 것이다.Sm..

빅데이터 2024.06.12

[빅데이터] jar 파일을 이용한 데이터 처리 및 플럼 설치

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 이전 글에 이어서 진행하도록 하겠다.공부하는 책에 따라서 스마트카 운전자의 운행정보를 실시간으로 생성 할 것이다.이전과 같이 server02 에서 진행 한다.root 폴더로 이동 후 확인 해보자cd ~pwd  주키퍼 클라이언트 실행zookeeper-client key 값에 대한 value 값 생성create /pilot-pjt bigdatals /  key에 대한 value 가져오기get /pilot-pjt  데이터 삭제delete /pilot-pjt Ctrl + C 를 이용하여 빠져 나와서 다음을 실행 해준다..

빅데이터 2024.06.11