개발 일지

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 저번 플럼 설치에 이어 카프카를 추가 설치 해 줄 것이다.클러스터 서비스 추가에 들어가 카프카를 선택 해 준다.   완료 되면 카프카가 설치 된 것을 확인 할 수 있다.  카프카 - 구성으로 들어가서 data retention 을 입력한다.15분으로 수정 후 변경 내역을 저장한다.  flume - 구성  구성 파일의 내용을 모두 삭제 파일의 내용을 복사하여 구성 파일 내용에 넣어준다. 변경 내용을 저장한후 kafka topic을 생성 해보자. server02 에서 실행한다.서버 파일에 이미 토픽이 있다고 뜰 것..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 이전 글에 이어서 진행하도록 하겠다.공부하는 책에 따라서 스마트카 운전자의 운행정보를 실시간으로 생성 할 것이다.이전과 같이 server02 에서 진행 한다.root 폴더로 이동 후 확인 해보자cd ~pwd  주키퍼 클라이언트 실행zookeeper-client key 값에 대한 value 값 생성create /pilot-pjt bigdatals /  key에 대한 value 가져오기get /pilot-pjt  데이터 삭제delete /pilot-pjt Ctrl + C 를 이용하여 빠져 나와서 다음을 실행 해준다..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 먼저 윈도우에 있는 파일을 HDFS 에 업로드 할 것이다.아래 받은 두가지 파일을 이용한다.  MobaXterm 의 server02 에서 다음 내용을 수행한다.1. Follow terminal folder 클릭2. 아래 위치로 이동.cd /home/bigdata 3. Sample.txt 파일을 넣어준다. 4. Sample.txt 파일을 /tmp 디렉토리에 저장hdfs dfs -put Sample.txt /tmp 잘 들어갔는지 확인 해 보자.hdfs dfs ls /tmp위와 같이 Sample.txt 가 있으면 된..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. MobaXterm 을 접속 후 왼쪽 위 Session을 클릭 해준다.SSH 란으로 들어가서 host 입력(주소)Specify username 체크(유저 이름 : root)Port : 22 아래와 같이 뜬다면 접속이 완료 된 것이다. Cloudera Manager 접속 https://server01.hadoop.com:7180/ 다음 주소로 접속하여 클라우데라 매니저에 접속기본 아이디 비밀번호는 다음과 같다.아이디 : admin비밀번호 : admin  설정을 몇가지 해 줄 것이다.HDFS - 구성 2로 변경 후 ..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 이전 서버를 추가하여 클라우데라를 이용하여 설치를 하려는데 에러가 발생하였다.이전에 올렸던 무언가와 충돌이 있는지 모르겠지만 다른 서버를 이용하여 처음부터 다시 해보기로 하였다. 아래의 새로운 서버들을 추가 할 것이다.공유받은 파일을 넣어 볼 것이다. 이미 설치한 서버를 삭제한다.삭제(클릭) - 모든파일지우기  이제 새로운 서버를 가져오자.파일 - 가상 시스템 가져오기 가져올 서버 파일을 선택한다. '모든 네트워크 어댑터 MAC 주소를 포함' 으로 변경 후 완료를 클릭.  server1, server2  2개의..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다. 🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 이전 글에서 설정해 둔 내용을 살펴보자 Server01 에서 실행 # cat /etc/hosts 127.0.0.1 localhost server01 192.168.56.101 server01.hadoop.com server01 192.168.56.102 server02.hadoop.com server02 192.168.56.103 server03.hadoop.com server03 Server02 에서 실행 # cat /etc/hosts127.0.0.1 localhost server02 192.168.56.1..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. https://www.virtualbox.org/ Oracle VM VirtualBoxWelcome to VirtualBox.org! News Flash New May 3rd, 2024VirtualBox 7.0.18 released! Oracle today released a 7.0 maintenance release which improves stability and fixes regressions. See the Changelog for details. New April 16th, 2024VirtualBox..