개발 일지

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 저번 플럼 설치에 이어 카프카를 추가 설치 해 줄 것이다.클러스터 서비스 추가에 들어가 카프카를 선택 해 준다.   완료 되면 카프카가 설치 된 것을 확인 할 수 있다.  카프카 - 구성으로 들어가서 data retention 을 입력한다.15분으로 수정 후 변경 내역을 저장한다.  flume - 구성  구성 파일의 내용을 모두 삭제 파일의 내용을 복사하여 구성 파일 내용에 넣어준다. 변경 내용을 저장한후 kafka topic을 생성 해보자. server02 에서 실행한다.서버 파일에 이미 토픽이 있다고 뜰 것..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 이전 글에 이어서 진행하도록 하겠다.공부하는 책에 따라서 스마트카 운전자의 운행정보를 실시간으로 생성 할 것이다.이전과 같이 server02 에서 진행 한다.root 폴더로 이동 후 확인 해보자cd ~pwd  주키퍼 클라이언트 실행zookeeper-client key 값에 대한 value 값 생성create /pilot-pjt bigdatals /  key에 대한 value 가져오기get /pilot-pjt  데이터 삭제delete /pilot-pjt Ctrl + C 를 이용하여 빠져 나와서 다음을 실행 해준다..

종류모드명령키기능저장과 종료마지막 행 모드:qvi에서 작업한 것이 없을 때 그냥 종료:q!작업한 내용을 저장하지 않고 종료:w [파일명]작업한 내용을 저장만 함 파일명 지정 시 새 파일로 저장:wq, :wq!작업한 내용을 저장하고 vi 종료명령 모드ZZ작업한 내용을 저장하고 vi 종료입력 모드로 전환i커서 앞에 입력l커서가 위치한 행의 첫 컬럼으로 이동하여 입력a커서 뒤에 입력A커서가 위치한 행의 마지막 컬럼으로 이동하여 입력o커서가 위치한 행의 다음 행에 입력커서 이동하기명령 모드k커서를 한 행 위로 이동j커서를 항 행 아래로 이동l커서를 한 글자 오른쪽으로 이동h커서를 한 글자 왼쪽으로 이동^ 또는 O커서를 현재 행의 처음으로 이동$커서를 현재 행의 마지막으로 이동-커서를 앞 행의 처음으로 이동+ 또..

파일(File) 관련 명령어ls디렉토리 목록 나열ls -al숨김 파일 포함한 상세 목록 나열cd dir지정 dir로 작업 디렉토리 이동하기cd홈으로 작업 디렉토리 이동하기pwd현재 작업 디렉토리 보여주기mkdir dir지정 dir 디렉토리 생성rm file지정 file 삭제rm -r fir지정 dir 디렉토리 삭제rm -f file지정 file 파일 강제 삭제ㅔrm -rf dir지정 dir 디렉토리 강제 삭제cp file1 file2file1을 file2로 복사cp -r dir1 dir2디렉토리 dir1을 dir2로 복사하기, 만일 dir2가 없으면 파일 dir2가 생성mv file1 file2file1에서 file2로 이동, 이름 변경, 만인 file2가 존재하는 디렉토리라면 디렉토리 file1은 티렉..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 먼저 윈도우에 있는 파일을 HDFS 에 업로드 할 것이다.아래 받은 두가지 파일을 이용한다.  MobaXterm 의 server02 에서 다음 내용을 수행한다.1. Follow terminal folder 클릭2. 아래 위치로 이동.cd /home/bigdata 3. Sample.txt 파일을 넣어준다. 4. Sample.txt 파일을 /tmp 디렉토리에 저장hdfs dfs -put Sample.txt /tmp 잘 들어갔는지 확인 해 보자.hdfs dfs ls /tmp위와 같이 Sample.txt 가 있으면 된..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. MobaXterm 을 접속 후 왼쪽 위 Session을 클릭 해준다.SSH 란으로 들어가서 host 입력(주소)Specify username 체크(유저 이름 : root)Port : 22 아래와 같이 뜬다면 접속이 완료 된 것이다. Cloudera Manager 접속 https://server01.hadoop.com:7180/ 다음 주소로 접속하여 클라우데라 매니저에 접속기본 아이디 비밀번호는 다음과 같다.아이디 : admin비밀번호 : admin  설정을 몇가지 해 줄 것이다.HDFS - 구성 2로 변경 후 ..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 이전 서버를 추가하여 클라우데라를 이용하여 설치를 하려는데 에러가 발생하였다.이전에 올렸던 무언가와 충돌이 있는지 모르겠지만 다른 서버를 이용하여 처음부터 다시 해보기로 하였다. 아래의 새로운 서버들을 추가 할 것이다.공유받은 파일을 넣어 볼 것이다. 이미 설치한 서버를 삭제한다.삭제(클릭) - 모든파일지우기  이제 새로운 서버를 가져오자.파일 - 가상 시스템 가져오기 가져올 서버 파일을 선택한다. '모든 네트워크 어댑터 MAC 주소를 포함' 으로 변경 후 완료를 클릭.  server1, server2  2개의..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다. 🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 이전 글에서 설정해 둔 내용을 살펴보자 Server01 에서 실행 # cat /etc/hosts 127.0.0.1 localhost server01 192.168.56.101 server01.hadoop.com server01 192.168.56.102 server02.hadoop.com server02 192.168.56.103 server03.hadoop.com server03 Server02 에서 실행 # cat /etc/hosts127.0.0.1 localhost server02 192.168.56.1..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. https://www.virtualbox.org/ Oracle VM VirtualBoxWelcome to VirtualBox.org! News Flash New May 3rd, 2024VirtualBox 7.0.18 released! Oracle today released a 7.0 maintenance release which improves stability and fixes regressions. See the Changelog for details. New April 16th, 2024VirtualBox..

다음과 같은 테이블을 만들어 보자.IDNameDateRoomNum1홍길동2016-01-0520142임꺽정2016-02-129183장길산2016-01-1612054홍길동2016-03-17504  연결 후 사용할 데이터 베이스를 선택한다. use 데이터베이스명;use test1; 명령어 입력 후 번개 모양 버튼을 클릭하면 쿼리가 실행되며 아래 화면에 실행 내역이 나오게 된다. 🧷 데이터를 넣을 테이블을 하나 만들어보자.create table t4 ( ID int NOT NULL auto_increment primary key, Name varchar(10), Date date, RoomNum int); 명령어 실행 후 왼쪽 네비게이션에서 Schemas - 데이터베이스명 - 테이블 에 새로 만들 테이블..