좋은 프로그램은 마음의 여유에서 나온다.

1. VSFTPD 설치 sudo apt-get install vsftpd 2. VSFTPD 설정 sudo vi /etc/vsftpd.conf 3. VSFTPD 설정 파일에 아래 내용을 변경 및 추가 * anonoymous가 아닌 계정으로 접속할 때 이 옵션을 반드시 주석 해제local_enable=YES * 쓰기 활성화write_enable=YES * 패시브 모드 활성화pasv_enable=YESport_enable=YESpasv_addr_resolve=YESpasv_address=example.co.kr (해당 호스트 )pasv_min_port=12000 (패시브 포트)pasv_max_port=12100 4. AWS EC2 콘솔창에 NETWORK & SECURITY -> Security Group에 해..

현재 접속중인 인스턴스에 설정된 값을 그대로 사용할 경우 인스턴스 만들기동영상 강의 http://s3.amazonaws.com/awsVideos/CustomizeAnExistingAMI/Customize%20an%20Existing%20AMI.html 커스텀할 경우 http://www.cyworld.com/dragon_fly2500/3709811http://geekdani.wordpress.com/2012/06/24/how-to-create-an-ec2-ami-amazon-machine-image/ 준비물private key는 x509 만들때 한번 다운로드 됨. 잃어버리면 x509를 재생성해야함 account number (내 계정/콘솔 -> 내 계정에서 확인)access key (내 계정/콘솔 -> 보..

하둡 클러스터를 구성하기 위해 각 노드들끼리 암호 요청없이 접속하기 위해ssh 키 설정 각 노드에서 하둡을 사용할 계정에서 실행함 ssh-keygen -t rsa -f ~/.ssh/id_rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 각 노드의 하둡 계정에서 위에 문자을 실행한 다음 다시 아래 문장으로 자신의 키를 각 노드들에 복사해 암호 없이 접속 할 수 있도록 함 cat ~/.ssh/id_rsa.pub | ssh 계정명@NameNode "cat >> ~/.ssh/authorized_keys" 위에 문장을 설치 1에서 설정한 호스트들에 적용하여 실행해준 후 ssh NameNodessh SecondaryNameNode데이터 노드들까지 모두 수행하여 암호 없이 로..

사용자 가이드 : http://mczo.blogspot.com/2012/04/sqoop.html 개발자 가이드 : http://mczo.blogspot.com/2012/03/sqoop.html

https://github.com/silas/scribe_log/blob/master/scribe_log 아파치나 리눅스 로그 파일들을 왓치하면서 파일에 로그가 추가될 때마다 스크라이브로 전송해주는 코드 리눅스 명령어는 tail -f 파일명

아마존 SDK를 이용해 scribe 소스를 수정해 수집한 로그들을 s3에 업로드 하려고 했더니 당연히 있을 줄 알았던 C++ SDK는 없더라..java 같은 걸로 만들면 되지만 구글링 중 s3fs라는 것을 발견 C++로 제작되었음s3fs를 이용하면 ec2의 저장공간의 내용을 s3에 업로드하여 데이터를 유지할 수 있음물론 저장만 되고 s3에 있는걸 읽어오는 것은 안되는 듯, 아마존 sdk를 이용하면 쉽게 제작할 수 있음s3에 로그들을 저장 후 추후에 emr로 분석 http://code.google.com/p/s3fs/ 그냥 실행할 경우 연결해 놓은 디렉토리의 권한이 ???? 이런식으로 바뀌면서 접근을 할 수가 없음, 실행시 아래 처럼 옵션을 주면 됨다른 사용자 접근할 수 있도록 하기s3fs -0 allow..

페이스북 예제 따라하기 https://github.com/facebook/scribe/tree/master/examples Example1. 로컬에서 로컬에 로그 남기기 /tmp/scribetest 디렉토리를 만든다 $ mkdir /tmp/scribetest example1.conf파일을 매개변수로 스크라이브를 실행한다. scribed 스크라이브소스폴더/examples/example1.conf "Starting scribe server on port 1463" 이런 메시지와 함께 스크라이브 서버가 시작됨 다른 터미널을 열어 접속한 후 스크라이브소스디렉토리 밑의 examples로 이동한다 cd examples 스크라이브서버로 로그를 남긴다 카테고리는 test가 되고 로그 내용은 hello world임 ec..

스크라이브 설치 전 필요한 것들 libeventboostsudo apt-get install libboost-all-dev libevent-dev automake libtool flex bison pkg-config g++ libssl-dev 쓰리프트 설치방법 보기fb303쓰리프트 압축 해제한 디렉토리 밑에 contrib/fb303 디렉토리로 이동./bootstrap.sh./configure --prefix=설치경로 --with-thriftpath=쓰리프트 설치경로 --prefix=설치경로 --with-thriftpath=쓰리프트 설치경로 생략시 기본 설치 경로makesudo make install 파이썬 라이브러리 설치cd pysudo python setup.py install 이방법으로 안되면 ./c..

1) 먼저 사용자를 생성 sudo adduser kylee 2) 생성한 유저를 admin 그룹에 등록 sudo adduser kylee admin 3) ssh 설정 sudo vi /etc/ssh/sshd_config 아래 패스워드 인증 부분을 yes로 설정PasswordAuthentication yes 4) 데몬 재시작 sudo service ssh restart

같은 아이피에 인스턴스를 바꾸면 아래와 같은 에러가 남캐쉬된 파일을 지워주면 됨 @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!Someone could be eavesdropping on you right now (man-in-the-middle attack)!It is also possible that a host key has just been chang..