amazon-s3 - 아마존 - aws s3 파일 다운로드



Amazon S3 버킷을 백업하거나 동기화하려면 어떻게해야합니까? (3)

가장 좋은 방법은 내 버킷을 데이터 손실의 경우 다른 지역의 새 버킷과 동기화하는 것입니다.

2015 년 3 월 24 일부터는 S3의 교차 영역 복제 기능을 사용하여이를 수행 할 수 있습니다.

나열된 유스 케이스 시나리오 중 하나는 "규정 준수 요구 사항"으로, 중요한 데이터를 추가로 보호 한 사례를 데이터 손실과 비교 한 것 같습니다.

기본적으로 Amazon S3는 지리적으로 멀리 떨어져있는 여러 가용 영역에 데이터를 저장하지만 컴플라이언스 요구 사항에 따라 더 먼 거리에 데이터를 저장해야 할 수도 있습니다. 교차 영역 복제를 사용하면 먼 거리의 AWS 영역간에 데이터를 복제하여 이러한 컴플라이언스 요구 사항을 충족시킬 수 있습니다.

설정 지침은 교차 영역 복제 설정 방법을 참조하십시오.

Amazon S3 버킷에 중요한 데이터가 있습니다. 다른 클라우드 서비스 나 심지어 S3 내에서 다른 컨텐츠를 매주 백업하려고합니다. 가장 좋은 방법은 내 버킷을 데이터 손실의 경우 다른 지역 내부의 새 버킷과 동기화하는 것입니다.

어떻게해야합니까?


동기화를 사용하여 로컬로 백업하는 편이 좋으며 변경 사항 만 업데이트됩니다. 완벽한 백업 솔루션은 아니지만 필요할 때마다 정기적 인 업데이트를 구현할 수 있습니다.

s3cmd sync --delete-removed s3://your-bucket-name/ /path/to/myfolder/

s3cmd를 사용한 적이없는 경우 다음을 사용하여 설치하고 구성하십시오.

pip install s3cmd
s3cmd --configure

또한 $ 5 / 월을위한 S3 백업 서비스가 있어야하지만 아마존 빙하를 검사하여 다중 파트 업로드를 사용하는 경우 약 40GB 단일 아카이브 파일을 넣을 수 있습니다.

http://docs.aws.amazon.com/amazonglacier/latest/dev/uploading-archive-mpu.html#qfacts

S3 계정이 해킹 당하면 빈 폴더 또는 잘못된 형식의 파일을 동기화 할 때 모든 데이터가 손실 될 수 있습니다. 따라서 예를 들어 요일을 감지하여 백업을 몇 번 보관하는 스크립트를 작성하는 것이 좋습니다.

업데이트 01/17/2016 :

파이썬 기반 AWS CLI는 이제 매우 성숙합니다.

다음을 사용하십시오. https://github.com/aws/aws-cli
예 : aws s3 sync s3://mybucket .


저는 과거에이 작업을 시도 했었습니다. 특히 대량, 수백 GB 파일, 수백만 파일 수의 버킷을 사용하는 것은 여전히 ​​귀찮은 일입니다. 내가 찾은 최고의 솔루션은 바로 이러한 목적으로 만들어진 S3S3Mirror 였습니다.

스위치를 그냥 내리는 것만 큼 사소한 것은 아니지만, 제가 시도한 대부분의 다른 DIY 솔루션보다 여전히 좋습니다. 멀티 스레드이며 유사한 단일 스레드 방식보다 훨씬 빠르게 파일을 복사합니다.

하나의 제안 : 별도의 EC2 인스턴스에서 설정하고 일단 실행하면 컴퓨터를 종료하고 AMI는 그대로 둡니다. 그런 다음 다시 실행해야 할 때 기계를 다시 가동하면 모든 설정이 완료됩니다. 이 솔루션은 진정한 자동화 솔루션만큼이나 훌륭하지만 매월 또는 매주 백업을 관리 할 수 ​​있습니다.





backup