[HADOOP] Hadoop 환경 설정

hadoop-1.1.1\conf\ 폴더안에 보면

코어속성     : core-site.xml 

HDFS 속성    : hdfs-site.xml

맵리듀스 속성    : mapred-site.xml

에 각각 설정한다.

hadoop은 다음의 세 가지 방식 중 하나로 동작한다.

1. 독립 실행(로컬) 모드 (Standalone (or local) mode )

2. 의사 분산 모드 (Pseudo-distributed mode)

3. 완전 분산 모드 (Fully distributed mode)

여기서 작성자는 의사 분산 모드를 사용할 것이다. 각가 코드를 다음과 같이 삽입하면 된다.

core-site.xml, hdfs-site.xml 및 mapred-site.xml파일에서 <configuration> </configuration>사이에 삽입한다.

1. core-site.xml

<property>

<name>fs.default.name</name>

<value>hdfs://localhost/</value>

<property>

2. hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>1</value>

<property>

3. mapred-site.xml

<property>

<name>mapred.job.tracker</name>

<value>localhost:8021</value>

<property>

ssh 설정

ssh 설치

sudo apt-get install ssh

암호키 생성

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

테스트

ssh localhost

성공하면 암호를 입력할 필요가 없다.

hdfs 파일 시스템 포맷팅

hadoop namenode -format ( 이명령어는 hadoop-1.1.0/conf/에서 실행하여야 한다.)

데몬 프로세스의 실행과 중지

start-dfs.sh

start-mapred.sh

stop-dfs.sh

stop-mapred.sh