하둡 설치 - 2

하둡 클러스터를 구성하기 위해 각 노드들끼리 암호 요청없이 접속하기 위해

ssh 키 설정

각 노드에서 하둡을 사용할 계정에서 실행함

ssh-keygen -t rsa -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

각 노드의 하둡 계정에서 위에 문자을 실행한 다음

다시 아래 문장으로 자신의 키를 각 노드들에 복사해 암호 없이 접속 할 수 있도록 함

cat ~/.ssh/id_rsa.pub | ssh 계정명@NameNode "cat >> ~/.ssh/authorized_keys"

위에 문장을 설치 1에서 설정한 호스트들에 적용하여 실행해준 후

ssh NameNode

ssh SecondaryNameNode

데이터 노드들까지 모두 수행하여 암호 없이 로그인되는지 확인한 후

위의 과정을 모든 노드들에서 한다

모든 노드에서 모든 노드로 암호 없이 접속되는지 확인함

하둡이 설치된 디렉토리의 권한을 하둡 사용자로 설정함

sudo chown -R hadoop:hadoop hadoop-x.y.z

버전이 바뀔때를 대비해 심볼 링크를 걸어 놓음

sudo ln -s hadoop-x.y.z /home/hadoop/hadoop

다음으로 하둡 파일들이 저장될 디렉토리들을 만듬

mkdir ~/temp

mkdir ~/temp/data

mkdir ~/temp/name

mkdir ~/temp/mapreduce

mkdir ~/temp/mapreduce/local

mkdir ~/temp/mapreduce/system

방금 만든 디렉토리의 권한을 755로 줌

chmod -R 755 ~/temp

하둡 디렉토리 밑에 logs 폴더 생성

mkdir ~/hadoop/logs

chmod -R 755 ~/hadoop/logs