개발 일지

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 실시간 데이터 추적을 위해서 Redis를 설치 해 줄것이다.Redis는 클라우데라에서 지원을 하지 않는다.Server02에서 설치 해주자.echo "http://vault.centos.org/6.10/os/x86_64/" > /var/cache/yum/x86_64/6/base/mirrorlist.txtecho "http://vault.centos.org/6.10/extras/x86_64/" > /var/cache/yum/x86_64/6/extras/mirrorlist.txtecho "http://vault.ce..

종류모드명령키기능저장과 종료마지막 행 모드:qvi에서 작업한 것이 없을 때 그냥 종료:q!작업한 내용을 저장하지 않고 종료:w [파일명]작업한 내용을 저장만 함 파일명 지정 시 새 파일로 저장:wq, :wq!작업한 내용을 저장하고 vi 종료명령 모드ZZ작업한 내용을 저장하고 vi 종료입력 모드로 전환i커서 앞에 입력l커서가 위치한 행의 첫 컬럼으로 이동하여 입력a커서 뒤에 입력A커서가 위치한 행의 마지막 컬럼으로 이동하여 입력o커서가 위치한 행의 다음 행에 입력커서 이동하기명령 모드k커서를 한 행 위로 이동j커서를 항 행 아래로 이동l커서를 한 글자 오른쪽으로 이동h커서를 한 글자 왼쪽으로 이동^ 또는 O커서를 현재 행의 처음으로 이동$커서를 현재 행의 마지막으로 이동-커서를 앞 행의 처음으로 이동+ 또..

파일(File) 관련 명령어ls디렉토리 목록 나열ls -al숨김 파일 포함한 상세 목록 나열cd dir지정 dir로 작업 디렉토리 이동하기cd홈으로 작업 디렉토리 이동하기pwd현재 작업 디렉토리 보여주기mkdir dir지정 dir 디렉토리 생성rm file지정 file 삭제rm -r fir지정 dir 디렉토리 삭제rm -f file지정 file 파일 강제 삭제ㅔrm -rf dir지정 dir 디렉토리 강제 삭제cp file1 file2file1을 file2로 복사cp -r dir1 dir2디렉토리 dir1을 dir2로 복사하기, 만일 dir2가 없으면 파일 dir2가 생성mv file1 file2file1에서 file2로 이동, 이름 변경, 만인 file2가 존재하는 디렉토리라면 디렉토리 file1은 티렉..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 먼저 윈도우에 있는 파일을 HDFS 에 업로드 할 것이다.아래 받은 두가지 파일을 이용한다.  MobaXterm 의 server02 에서 다음 내용을 수행한다.1. Follow terminal folder 클릭2. 아래 위치로 이동.cd /home/bigdata 3. Sample.txt 파일을 넣어준다. 4. Sample.txt 파일을 /tmp 디렉토리에 저장hdfs dfs -put Sample.txt /tmp 잘 들어갔는지 확인 해 보자.hdfs dfs ls /tmp위와 같이 Sample.txt 가 있으면 된..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 이전 서버를 추가하여 클라우데라를 이용하여 설치를 하려는데 에러가 발생하였다.이전에 올렸던 무언가와 충돌이 있는지 모르겠지만 다른 서버를 이용하여 처음부터 다시 해보기로 하였다. 아래의 새로운 서버들을 추가 할 것이다.공유받은 파일을 넣어 볼 것이다. 이미 설치한 서버를 삭제한다.삭제(클릭) - 모든파일지우기  이제 새로운 서버를 가져오자.파일 - 가상 시스템 가져오기 가져올 서버 파일을 선택한다. '모든 네트워크 어댑터 MAC 주소를 포함' 으로 변경 후 완료를 클릭.  server1, server2  2개의..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다. 🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. 이전 글에서 설정해 둔 내용을 살펴보자 Server01 에서 실행 # cat /etc/hosts 127.0.0.1 localhost server01 192.168.56.101 server01.hadoop.com server01 192.168.56.102 server02.hadoop.com server02 192.168.56.103 server03.hadoop.com server03 Server02 에서 실행 # cat /etc/hosts127.0.0.1 localhost server02 192.168.56.1..

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다. https://www.virtualbox.org/ Oracle VM VirtualBoxWelcome to VirtualBox.org! News Flash New May 3rd, 2024VirtualBox 7.0.18 released! Oracle today released a 7.0 maintenance release which improves stability and fixes regressions. See the Changelog for details. New April 16th, 2024VirtualBox..

마이크로스토어에서 wsl을 검색 아래 LTS 버전을 받아준다.WSL(Windows Subsystem for Linux) 리눅스를 윈도우에서 사용하기 위한 프로그램. windows terminal 을 검색하여 아래 터미널을 받아준다. 윈도우의 '선택적 기능' - '기타 windows 기능'에 들어간다. Linux 용 Windows 하위 시스템을 체크 후 확인을 누른다. 컴퓨터를 재시작한다. 이후 우분투 22.04.3 WSL 파일을 실행한다.아래 문구가 나오고 조금 기다리면아이디, 비밀번호를 치는 구간이 나온다. 사용할 아이디, 비밀번호, 비밀번호 확인을 입력해주자.비밀번호는 키 입력이 있어도 나오지 않는게 정상이다. 다음과 같은 라인이 나왔으면 완료 된 것이다. (ls 제외) 윈도우즈 터미널은 가독성 설정..