| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
- 14일 공부
- Til
- AWS 비용 절감
- Playwright
- 경로 계획 알고리즘
- 커머스
- 논문 정리
- 신혼 여행
- 오블완
- DevOps
- leetcode
- github
- MAPF
- 회고
- 디자인 패턴
- AWS
- study
- 생성 패턴
- 실용주의 프로그래머
- terraform
- 지표
- 청첩장 모임
- Rust
- ssh
- docker
- amazon ecs
- Go-lang
- 구조 패턴
- 티스토리챌린지
- PostgreSQL
- Today
- Total
밤 늦게까지 여는 카페
[2025.02.06] Amazon S3 Glacier Deep Archive 복구 경험 본문
안녕하세요. 이번에는 Amazon S3 서비스의 Glacier Deep Archive 복구 경험을 기록하고자 합니다.
Amazon S3 서비스는 다양한 스토리지 클래스를 지원하고 있습니다.
상황에 맞게 적절한 스토리지를 사용한다면 보다 저렴한 비용으로 데이터를 저장할 수 있는 것이죠.
그중에서 Glacier Deep Archive는 GB당 0.002달러로 Standard 클래스 비용의 십 분의 일보다 더 저렴합니다!
대신에 데이터를 조회하기 위해서는 1~2일이라는 데이터 복구 시간을 필요로 합니다.
일반적으로 로그 데이터처럼 시간이 지날수록 조회 빈도가 떨어지는 데이터들을 Glacier Deep Archive에 저장합니다.
1달 정도의 시간이 지난 이후에 Glacier Deep Archive로 옮기면 데이터 저장 비용을 많이 절약할 수 있습니다.
- 객체 수명 주기 관리 기능을 사용하면 이런 과정을 자동으로 수행해줍니다!
- 참고: https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/object-lifecycle-mgmt.html
0. Glacier Deep Archive는 왜 사용하세요?
위에서 설명드린 것처럼 로그 데이터를 저장하고 있습니다.
로봇들은 매우 많은 양의 데이터를 서버로 전송하는데 이를 모두 Standard 클래스로 저장하면 상당한 비용이 지출됩니다.
결론: 로봇의 로그 데이터 데이터 저장 비용을 절약하기 위해 Glacier Deep Archive 클래스를 사용하고 있습니다.
1. 어쩌다가 Glacier Deep Archive에 있는 데이터를 복구하신 건가요?
로봇의 데이터를 분석하기 위해서 복구하게 되었습니다.
흔히 말하는 Business Intelligence나 Data Analysis입니다!
2. Glacier Deep Archive에 있는 데이터를 복구하는 과정을 알려주세요
S3 콘솔 페이지에서 Glacier Deep Archive에 저장된 데이터를 조회하면 다음과 같이 다운로드 버튼 대신에 복원 시작 버튼이 활성화되어 있습니다.
복구하고 싶은 오브젝트들을 선택하고, 복원 버튼을 클릭하면 1~2일 정도 소요된다고 메시지가 나옵니다.
2일 후에 해당 버킷에 들어가보니 다운로드 버튼이 활성화 되어 있습니다!
하지만 콘솔에서 다운로드를 하려면 모든 오브젝트에 대해서 다운로드 버튼을 클릭해줘야 합니다;;;
- Glacier Deep Archive에서 복원된 파일들을 일괄적으로 다운로드 할 수가 없더라고요.
그래서 awscli를 이용해서 오브젝트들을 한번에 다운로드 받았습니다.
- aws s3 cp s3://오브젝트경로/ --recursive --force-glacier-transfer
- recursive 플래그가 있어야만 디렉토리 내의 오브젝트들을 한번에 다운로드 받을 수 있습니다.
- force-glacier-transfer 플래그가 없으면 Unable to perform download operations on GLACIER objects. You must restore the object to be able to perform the operation 이런 경고 메시지가 뜨면서 오브젝트가 다운로드 되지 않습니다.
