개발 일지

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 먼저 윈도우에 있는 파일을 HDFS 에 업로드 할 것이다.아래 받은 두가지 파일을 이용한다.  MobaXterm 의 server02 에서 다음 내용을 수행한다.1. Follow terminal folder 클릭2. 아래 위치로 이동.cd /home/bigdata 3. Sample.txt 파일을 넣어준다. 4. Sample.txt 파일을 /tmp 디렉토리에 저장hdfs dfs -put Sample.txt /tmp 잘 들어갔는지 확인 해 보자.hdfs dfs ls /tmp위와 같이 Sample.txt 가 있으면 된..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. MobaXterm 을 접속 후 왼쪽 위 Session을 클릭 해준다.SSH 란으로 들어가서 host 입력(주소)Specify username 체크(유저 이름 : root)Port : 22 아래와 같이 뜬다면 접속이 완료 된 것이다. Cloudera Manager 접속 https://server01.hadoop.com:7180/ 다음 주소로 접속하여 클라우데라 매니저에 접속기본 아이디 비밀번호는 다음과 같다.아이디 : admin비밀번호 : admin  설정을 몇가지 해 줄 것이다.HDFS - 구성 2로 변경 후 ..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 이전 서버를 추가하여 클라우데라를 이용하여 설치를 하려는데 에러가 발생하였다.이전에 올렸던 무언가와 충돌이 있는지 모르겠지만 다른 서버를 이용하여 처음부터 다시 해보기로 하였다. 아래의 새로운 서버들을 추가 할 것이다.공유받은 파일을 넣어 볼 것이다. 이미 설치한 서버를 삭제한다.삭제(클릭) - 모든파일지우기  이제 새로운 서버를 가져오자.파일 - 가상 시스템 가져오기 가져올 서버 파일을 선택한다. '모든 네트워크 어댑터 MAC 주소를 포함' 으로 변경 후 완료를 클릭.  server1, server2  2개의..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다. 🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 이전 글에서 설정해 둔 내용을 살펴보자 Server01 에서 실행 # cat /etc/hosts 127.0.0.1 localhost server01 192.168.56.101 server01.hadoop.com server01 192.168.56.102 server02.hadoop.com server02 192.168.56.103 server03.hadoop.com server03 Server02 에서 실행 # cat /etc/hosts127.0.0.1 localhost server02 192.168.56.1..