하둡 독자모드 설치하기

하둡 독자모드 설치하기

wget https://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/hadoop-1.0.3.tar.gz 를 터미널에 입력하여 하둡을 다운로드 한다. 하둡의 버전중에 1.0.3을 이용한다. 아파치 재단의 미러 사이트들에서 다운 받을 수 있다. 하지만 미러 사이트에서 해당 버전이 없어질 수도 있기 때문에 아파치의 아카이브 사이트에서 다운 받는다.

ls -l 를 입력하여 하둡이 다운로드 된것을 확인한다.

tar xvfz Hadoop-1.0.3.tar.gz 를 입력하여 압축을 풀면 아래와 같이 완료된다. 이후 export를 사용하여 하둡 프로그램의 위치를 HADOOP_HOME이란 환경변수에 저장하기 위해 export HADOOP_HOME=/home/minah/hadoop-1.0.3 을 입력한다. /home/minah/ 는 홈 디렉토리의 경로이다. cd ~/ 입력후 pwd 를 입력해서 알아낼 수 있다.  

sudo apt-get install default-jdk 를 입력해 java를 설치해 준다. 참고한 책에서는 자바 1.6을 설치했지만 1.8을 설치해도 하둡이 실행 된다.

아래와 같이 계속할꺼냐고 물어보면 Y 를 입력한다.

이후 아래와 같이 완료된다.

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk 를 입력해 환경변수 설정을 해준다. 이 환경변수의 설정이 제대로 되었는지 ls -tl $JAVA_HOME 을 입력해서 확인한다. 만약 디렉토리가 없다면 JAVA_HOME=$(readlink -f /usr/bin/javac | sed "s:bin/javac::") 를 입력해 환경변수를 설정 후 다시 확인한다.

설치가 모두 끝나면 환경설정 파일 3개를 편집해야 한다. vi $HADOOP_HOME/conf/mapred-site.xml 를 입력하여 <config>와 </config>사이에 아무 것도 없게 설정한다. vi $HADOOP_HOME/conf/hdfs-site.xml 를 입력하여 <config>와 </config>사이에 아무 것도 없게 설정한다. vi $HADOOP_HOME/conf/core-site.xml 를 입력하여 <config>와 </config>사이에 아무 것도 없게 설정한다.

wordcount를 이용하여 하둡 작동 확인

cd $HADOOP_HOME 를 입력한다. 이후 bin/hadoop jar hadoop-examples-1.0.3.jar wordcount README.txt ~/wordcount-output 를 입력한다. 

ls -tl ~/hadoop-output 를 입력하여 제대로 작동한지 확인한다.

more ~/wordcount-output/part-r-00000 를 입력하여 아래와 같이 단어별로 빈도수를 확인할 수 있다.

환경

Ubuntu 17.10 (Azure를 이용해 가상머신을 만들고 ssh로 서버 접속)

참고

Do it! 직접 해보는 하둡 프로그래밍 국내도서 저자 : 한기용 출판 : 이지스퍼블리싱 2013.02.20 상세보기