Diary of Life

hadoop-1.1.1\conf\ 폴더안에 보면

코어속성     : core-site.xml 

HDFS 속성    : hdfs-site.xml

맵리듀스 속성    : mapred-site.xml

에 각각 설정한다.

hadoop은 다음의 세 가지 방식 중 하나로 동작한다.

1. 독립 실행(로컬) 모드 (Standalone (or local) mode )

2. 의사 분산 모드 (Pseudo-distributed mode)

3. 완전 분산 모드 (Fully distributed mode)

여기서 작성자는 의사 분산 모드를 사용할 것이다. 각가 코드를 다음과 같이 삽입하면 된다.

core-site.xml, hdfs-site.xml 및 mapred-site.xml파일에서 <configuration> </configuration>사이에 삽입한다.

1. core-site.xml

<property>

<name>fs.default.name</name>

<value>hdfs://localhost/</value>

<property>

2. hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>1</value>

<property>

3. mapred-site.xml

<property>

<name>mapred.job.tracker</name>

<value>localhost:8021</value>

<property>

ssh 설정

ssh 설치

sudo apt-get install ssh

암호키 생성

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

테스트

ssh localhost

성공하면 암호를 입력할 필요가 없다.

hdfs 파일 시스템 포맷팅

hadoop namenode -format ( 이명령어는 hadoop-1.1.0/conf/에서 실행하여야 한다.)

데몬 프로세스의 실행과 중지

start-dfs.sh

start-mapred.sh

stop-dfs.sh

stop-mapred.sh

아파치 하둡 릴리즈 페이지 http://hadoop.apache.org/common/releases.html 에서 다운 받을수 있다. 작성자는 hadoop-1.1.1.tar.gz를 다운 받아서 설명할 것이다.

다운 받은것을 압축을 푼다.

>> tar -xvfz hadoop-1.1.1.tar.gz

환경 변수를 설정한다. 

export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home

export HADOOP_INSTALL=~/Dropbox/2013Y/_Hadoop/hadoop-1.1.1

export PATH=$PATH:$HADOOP_INSTALL/bin

설정은 위와 같으며 두번째 줄 HADOOP_INSTALL은 HADOOP의 경로를 지정해주면 된다. 작성자는 Dropbox에 저장해 놓았기 때문에 다음과 같이 경로를 지정하였다.

설치가 제대로 되었는지 다음 명령어로 확인한다.

$ hadoop version

Hadoop 1.1.1

Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.1 -r 1411108

Compiled by hortonfo on Mon Nov 19 10:48:11 UTC 2012

From source with checksum 9be520e845cf135867fb8b927a40affb

이와 같이 확인 하였으면 HADOOP이 제대로 설치가 된것이다.