좋은 프로그램은 마음의 여유에서 나온다.

하둡 설치 - 2 본문

클라우드,빅데이터/하둡

하둡 설치 - 2

좋은데이 2012. 9. 14. 13:20

하둡 클러스터를 구성하기 위해 각 노드들끼리 암호 요청없이 접속하기 위해

ssh 키 설정


각 노드에서 하둡을 사용할 계정에서 실행함


ssh-keygen -t rsa -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys


각 노드의 하둡 계정에서 위에 문자을 실행한 다음


다시 아래 문장으로 자신의 키를 각 노드들에 복사해 암호 없이 접속 할 수 있도록 함


cat ~/.ssh/id_rsa.pub | ssh 계정명@NameNode "cat >> ~/.ssh/authorized_keys"


위에 문장을 설치 1에서 설정한 호스트들에 적용하여 실행해준 후


ssh NameNode

ssh SecondaryNameNode

데이터 노드들까지 모두 수행하여 암호 없이 로그인되는지 확인한 후


위의 과정을 모든 노드들에서 한다

모든 노드에서 모든 노드로 암호 없이 접속되는지 확인함


하둡이 설치된 디렉토리의 권한을 하둡 사용자로 설정함


sudo chown -R hadoop:hadoop hadoop-x.y.z


버전이 바뀔때를 대비해 심볼 링크를 걸어 놓음


sudo ln -s hadoop-x.y.z /home/hadoop/hadoop


다음으로 하둡 파일들이 저장될 디렉토리들을 만듬


mkdir ~/temp

mkdir ~/temp/data

mkdir ~/temp/name

mkdir ~/temp/mapreduce

mkdir ~/temp/mapreduce/local

mkdir ~/temp/mapreduce/system


방금 만든 디렉토리의 권한을 755로 줌


chmod -R 755 ~/temp


하둡 디렉토리 밑에 logs 폴더 생성


mkdir ~/hadoop/logs

chmod -R 755 ~/hadoop/logs


'클라우드,빅데이터 > 하둡' 카테고리의 다른 글

하둡 설치 - 1  (0) 2012.08.25
Comments