s3 sync ec2 linux directory

아마존 SDK를 이용해 scribe 소스를 수정해 수집한 로그들을 s3에 업로드 하려고 했더니 당연히 있을 줄 알았던 C++ SDK는 없더라..

java 같은 걸로 만들면 되지만 구글링 중 s3fs라는 것을 발견 C++로 제작되었음

s3fs를 이용하면 ec2의 저장공간의 내용을 s3에 업로드하여 데이터를 유지할 수 있음

물론 저장만 되고 s3에 있는걸 읽어오는 것은 안되는 듯, 아마존 sdk를 이용하면 쉽게 제작할 수 있음

s3에 로그들을 저장 후 추후에 emr로 분석

http://code.google.com/p/s3fs/

그냥 실행할 경우 연결해 놓은 디렉토리의 권한이 ???? 이런식으로 바뀌면서 접근을 할 수가 없음, 실행시 아래 처럼 옵션을 주면 됨

다른 사용자 접근할 수 있도록 하기

s3fs -0 allow_other mybucket /mnt