[빅데이터] 데이터 파일 업로드 및 시스템 검사.

🎁 본 글은 실무로 '배우는 빅데이터기술' 책을 따라해보고 실행하여보는 과정을 기록한 글이다.

🎁 빅데이터 처리의 전체적인 흐름과 과정을 학습하기 쉬우며 빅데이터에 관심있는 사람들에게 추천한다.

 

먼저 윈도우에 있는 파일을 HDFS 에 업로드 할 것이다.

아래 받은 두가지 파일을 이용한다.

 

 

MobaXterm 의 server02 에서 다음 내용을 수행한다.

1. Follow terminal folder 클릭

2. 아래 위치로 이동.

cd /home/bigdata

 

3. Sample.txt 파일을 넣어준다.

 

4. Sample.txt 파일을 /tmp 디렉토리에 저장

hdfs dfs -put Sample.txt /tmp

 

잘 들어갔는지 확인 해 보자.

hdfs dfs ls /tmp

위와 같이 Sample.txt 가 있으면 된다.

 

HDFS에 저장한 파일 상태 확인

hdfs dfs -stat '%b %o %r %u %n' /tmp/Sample.txt

 

HDFS 업로드한 파일 이름 변경

hdfs dfs -mv /tmp/Sample.txt /tmp/Sample2.txt

 

변경된 이름 확인

hdfs dfs -ls /tmp

 

 

HDFS 파일 시스템 상태 검사

hdfs fsck /

 

 

HDFS 파일 시스템 전체 검사.

hdfs dfsadmin -report