[AWS CCP] 10강 EC2 Storage

AWS는 클라우드에서 데이터 저장, 액세스, 관리, 백업하는 다양한 솔루션 제공

이러한 가상 스토리지 시스템 사용 시 물리적 하드웨어 설치할 필요없고, 요구사항 변화에 따라 유연 확장 가능

3가지 유형 스토리지 제공(블록 스토리지, 객체 스토리지, 파일 스토리지)

 

[Block 스토리지]

물리적 하드 드라이브처럼, EC2인스턴스에 연결되는 영구적, 지연 시간 짧은 스토리지 볼륨 제공

1. Amazon EC2 인스턴스 스토어

임시 데이터 위한 EC2에 연결되는 비영구적 비관리형 고성능 블록 스토리지

2. EBS(Elastic Block Store)

EC2 위한 영구적 블록 스토리지 볼륨 제공

인터넷으로 연결된 네트워크 드라이브

데이터 영구히 보관해야할 때 사용

 

[객체 스토리지]

데이터를 플랫 주소 공간의 객체로 관리

제한 없는 확장성 제공하므로 용량 제약에 대한 걱정 없이 방대한 양의 비정형 데이터 저장 가능

1. S3(Simple Storage Service)

어디서든 원하는 양의 데이터를 저장 및 검색할 수 있는 확장 가능한 완전관리형 객체 스토리지 서비스

 

[파일 스토리지]

네트워크 통해 엑세스 가능한 공유 파일 시스템 제공하므로 여러 사용자와 애플리케이션이 동일한 데이터에 동시에 액세스 가능

확장성, 유연성 제공하므로 물리적 인프라 관리하지 않아도 스토리지 용량 확장 가능

1. EFS(Elastic File System)

클라우드 및 온프렘 리소스에서 사용가능한 확장가능 완전관리형 NFS 파일 시스템

2. Amazon FSx

windows, lustre, netapp ontap 같은 널리 사용되는 파일 시스템 위한 완전관리형 파일 스토리지 서비스

 

[추가 스토리지 서비스]

1. Storage Gateway

온프렘에서 무제한 클라우드 스토리지에 액세스가능한 완전관리형 하이브리드 클라우드 스토리지 서비스

2. Elastic Disaster Recovery

물리적 서버, 가상 서버, 클라우드 기반 서버를 AWS로 복구하는 과정을 간소화하는 완전관리형 서비스

 

---

[Amazon EC2 인스턴스 스토어]

Amazon EC2 인스턴스에 임시 블록 수준 스토리지를 제공 

EC2 인스턴스 호스트 컴퓨터에 물리적으로 연결된 블록 레벨 스토리지 의미

데이터 지속성 없음 : EC2 종료 시 기록된 모든 데이터 삭제

(장점)

1. 자동으로 사용 가능 스토리지

호스트컴퓨터에 물리적으로 연결돼있어서 추가비용없이 자동 연결

2. 비용 효율성

EC2 요금에 포함돼있으므로 추가 요금 지불 필요 없음

3. 고성능

EC2 호스트 서버에 직접 연결되어 지연시간 매우 짧음

I/O 성능 매우 높음(빠른 처리 필요한 데이터 임시 저장에 적합)

 

(ex) ec2 인스턴스 스토어 구현하려면 애플리케이션 성능 어떻게 개선할 수 있는가?

A. 임시 스토리지 요구 사항을 위한 높은 i/o 성능 제공

-> 호스트에 직접 연결되므로, 빠른 액세스와 함께 임시 스토리지가 필요한 애플리케이션에 짧은 지연시간과 높은 I/O 성능 제

 

[EBS(Elastic Block Store)]

동일한 가용영역 내에서 자동 복제를 통해 데이터 확실하게 보호할 수 있음

EC2에 사용가능한 영구 블록 수준 스토리지 볼륨 제공

일관성있고 지연시간 짧은 성능 제공

다른 EC2 인스턴스에 연결 가능

데이터 지속성 ! : EC2 종료해도 연결된 EBS의 모든 데이터 사용 가능

한번에 하나의 EC2에 연결 가능

(사용 사례)

데이터베이스 호스팅, 애플리케이션 백업 스토리지, 볼륨 스냅샷을 사용한 개발 환경의 신속 배포

(장점)

1. 데이터 마이그레이션

EBS 스냅샷 활용하여 마이그레이션 가능(일종의 복붙하는것처럼)

2. 인스턴스 유형 변경

EC2와 독립적으로 유지되므로 다른 인스턴스 유형에 연결하는게 복잡하지않음

데이터 손실없이 인스턴스 업그레이드, 다운그레이드 가능

3. 재해 복구

여러 region에서복원할 수 있는 신뢰성 높은 백업 솔루션 제공

정기적인 EBS 스냅샷으로 데이터 지속적으로 보호 및 신속 복구

4. 비용 최적화

가동 중지 시간 없이 스토리지 유형 서로 전환하거나 용량 조정하는 작업 가능

5. 성능 튜닝

볼륨 성능 특성 즉시 조정하여 변화하는 애플리케이션 수요 충족 가능

 

(ex) EBS는 데이터 지속성 문제를 어떤 방식으로 해결하나?

A. 인스턴스와 독립적으로 존재하며 인스턴스가 종료된 후에도 계속 유지됨

-> EBS는 EC2와 별개임

한 인스턴스에서 분리 후 다른 인스턴스에 연결가능하며, 인스턴스가 중지되더라도 데이터는 그대로 유지

 

+ EBS SnapShot

EBS 볼륨의 특정 시점 백업임

여러 개의 새 볼륨을 생성하는 데 사용 가능하며, 스냅샷에서 생성된 볼륨은 스냅샷 생성 시점 원본 볼륨과 똑같은 사본임

-> 기존 데이터에서 새 볼륨 빠르게 생성할 수 있어서, 동일한 테스트 환경 신속하게 배포 가능

S3 사용하여 여러 가용영역(AZ)에 중복으로 저장됨

ebs는 하나의 region, 하나의 AZ(Availability zone)안에서 사용할 수 있음

일종의 중립지대에 보관됨

snapshot 떠서 중립지대로 보냄, 거기서 가져옴

일종의 복붙하는것처럼 snapshot기능을 통해 데이터를 az 밖으로 보낼 수 있음

snapshot을 떠야 복사해올수가 있음

(이점)

1. 데이터 보호 및 복구

특점 시점 백업 사용하여 실수로 인한 삭제 또는 데이터를 빠르게 복구 가

2. 운영 유연성

3. 비용 효율

증분 백업 기술 사용하여 초기 백업 후 변경된 블록만 저장하므로 스토리지 비용 및 백업 시간 단

 

+ Amazon Data Lifecycle Manager

일정에 따라 스냅샷 관리 자동화하는 수명 주기 정책 정의함

따라서 스냅샷을 수동으로 관리할 필요 없음

 

[Amazon S3(Simple Storage Service)]

AWS 클라우드에 데이터 무제한으로 저장가능한 완전관리형 고가용성 객체 스토리지 서비스(대량의 비정형 데이터 처리에 적합)

파일을 버킷이라는 컨테이너에 객체 형태로 저장하며, 각 객체 크기는 다양함

 

S3의 객체는 데이터 스토리지의 기본 단위

S3에 파일 업로드하면 해당 파일은 객체가 되며, 선택한 region 내 여러 시설에 안정적으로 저장됨

각 객체에는 데이터, 메타데이터, 키 포함

 

(s3 버킷)

s3에 객체 저장하기 위한 컨테이너

버킷은 액세스 제어의 기본 단위 역할하며, 객체를 무제한으로 저장 가능

관련 객체 그룹화하고 버킷수준에서 정책 적용하여 데이터 관리에 중요한 역할을 함

(이점)

1. 사실상 무제한 스토리지

s3에는 고정된 스토리지 제한이 없어서 데이터 양에 맞게 자동으로 규모 조정

사용 스토리지에 대해서만 비용 지불하여 비용 효율적

2. 객체 수명 주기 관리

3. 광범위한 사용 사례

 

+ s3에 저장하는 모든 항목은 기본적으로 비공개

따라서 리소스에 엑시스할 수 있는 권한 명시적으로 부여해야함

 

(ex) 다양한 유형의 데이터스토리지 요구사항 처리가능한 신뢰성 높은 서비스 필요할 때, 활용가능한 s3의 측면은?

A. 모바일 애플리케이션 콘텐츠 및 사용자 생성 미디어 파일 저장 및 배포

-> S3는 다양한 콘텐츠 유형을 효율적으로 저장하고 제공할 수 있는 확장 가능한 객체 스토리지에 사용가능하도록 설계됨

따라서 사진 및 동영상 같은 사용자 생성 콘텐츠저장 및 배포해야하는 모바일 애플리케이션에 적합함

 

(ex) s3버킷을 생성함. 모든 사용자가 이미지 액세스할 수 있어야 하는데 액세스할 수 없다는 사용자 의견이 보고됨

액세스 문제를 초래하는 원인은?

A. 블록 퍼블릭 액세스 설정이 계정 또는 버킷 수준에서 활성화돼있음

-> s3 block public access 설정은 버킷 정책을 재정의하므로, 정책에서 허용하는 경우에도 퍼블릭 액세스 차단

-> S3버킷은 적절한 권한이 있을 경우, 버킷 생성된 region과 관계없이 전세계에서 액세스 가능

---

[EFS(elastic file system)]

여러 az를 한번에 연결해야할 때 사용

클라우드 및 온프렘 리소스와 함께 사용가능한 확장가능한 완전관리형 파일 스토리지 서비스

linux 네트워크 파일 시스템(NFS) 프로토콜 사용하여 작동

자동으로 규모 조정

여러 EC2 인스턴스에서 동시에 액세스 가능'

(이점)

1. 다중 AZ 이중화

여러 가용 영역에 데이터 자동 복제함(고가용성)

내장된 이중화 가능은 AZ 실패 방지하고 파일 시스템에 지속적 액세스 제공

2. 공유 액세스

수천개의 NFS 연결 지원하므로, 여러 EC2가 동일 파일시스템 동시 액세스 가

3. 탄력적 스토리

파일 추가 및 제거 시 자동으로 확장 및 축소됨

스토리지용량을 관리할 필요가 없음

사용 스토리지에 대해서만 비용 지불(비용효율적)

 

(EFS Infrequent Access(EFS-IA))

돈을 아껴주는 기능

파일시스템 쓰는데 원래 저장소 공간마다 돈이 다름, 하드디스크는 싼데 느리고 SSD는 빠르지만 비쌈

자주쓰지않는것들은 굳이 좋은 저장소에 보관할 필요가 없음

잘쓰지않는것들은(30일 미사용) 싼 공간으로 자동으로 보내버림

돈이 많이 싸짐

한줄로 소개하면, 자동으로 안쓰는 파일들을 싼 공간으로 보내서 돈을 절약하게 해주는 기술

30일을 60일로 늘릴수도있고..설정가능

 

(EFS-Archive)

90일 미사용 파일은 archive로 전환

 

IA와 STANDARD 둘 중 뭐가 더 빠를까? > STANDARD(얘가 더 비쌈)

 

(ex)

공용으로 파일시스템에 동시에 접속해야함 > EFS

꺼도 살아있는 친구 > EBS(elastic block store)

 

(요약)

EC2에서저장할 때 3가지 옵션

 

1. EC2 Instance Store : 꺼지면 안되는애

2. EBS : 꺼져도 살아잇는애

3. EFS : 뭔가 동시에 해야할 때

 

---

[QUIZ]

Q1. 대규모 고해상도 이미지, 동영상, 디자인 파일 배포하는데 사용가능한 스토리지 솔루션이 필요함

아래 기준 충족하는 솔루션은?

- 무제한 스토리지 용량

- 높은 내구성

- URL통한 간편한 파일 공유

- 고객 및 프로젝트별로 자산 정리가능한 기능

- 비용 효율적인 스토리지 옵션

- 특정 자산에 대한 무단 액세스를 방지 위한 보안 제어

A. S3

-> 미디어 파일 저장 및 배포하는데 알맞은 확장가능한 객체 스토리지 제공

 

Q2. 대용량 크리에이티브 파일 다루는 디자인팀 지원하기위해 기존 파일 공유를 AWS로 마이그레이션해야함

아래 요구사항 충족하는 AWS 스토리지 서비스는?

- 완전관리형 서비스 제공

- Windows 애플리케이션과 원활하게 통합

- SMB 프로토콜 지원

- 사용자 인증 위한 AD 통합 제공

- 데이터 중복 제거 지원하으 스토리지 비용 최적화

- 일관된 밀리초 미만의 지연 시간 제공

- 고가용성 제공

A. Amazon FSx for Windows File Server

 

Q3. EBS 가장 잘 설명한 문장은?

A. EC2 인스턴스에 영구 스토리지 볼륨 제공하는 블록 수준 스토리지 서비스

-> EC2 인스턴스에 연결할 수 있고, 인스턴스 종료 후에도 유지되는 영구 볼륨을 제공하는 블록 스토리지 서비스로 특별히 설계됨

 

Q4. 자주 사용하는 파일에 대한 액세스 지연 시간을 줄이면서 로컬 스토리지 비용을 낮추기 위해 파일을 점진적으로 AWS로 마이그레이션하고자 함.

아래 기준 충족하는 AWS 스토리지 서비스는?

- 기존 파일 기반 워크플로와 통합함

- 현재 운영을 중단하지 않으면서 클라우드 스토리지로 이동하는 원활한 경로 제공

- 자주 사용하는 파일에 대해 지연 시간이 짧은 로컬 액세스 유지

A. AWS Storage Gateway - File Gateway

-> s3 객체 스토리지에 파일 인터페이스를 제공함

로컬 캐싱을 통해 자주 액세스하는 데이터에 대해 지연시간 짧은 로컬 액세스 유지하고, 기존의 파일 기반 워크플로와 원활하게 통합

 

Q5. 최근에 기본 애플리케이션을 EC2로 마이그레이션함. 고객층이 확장하면서 동적으로 증가가능한 스토리지 솔루션을 모색함

아래 기준 충족하는 솔루션은?

- 지연 시간이 짧은 일관된 성능 제공하는 영구적인 블록 스토리지 보유

- 필요에 따라 EC2 인스턴스에 연결하거나 분리 가능

- 인스턴스 중단없이 스토리지 용량 크기를 독립적으로 조정 가능

- 특정 시점 백업을 생성하여 중요한 고객 데이터 및 인벤토리 데이터 보호

A. EBS(elastic block store)

인스턴스에 연결가능한 영구적인 블록 스토리지 볼륨 제공

지연시간이 짧은 일관된 성능 제공하고, EC2 인스턴스와 별개로 확장가능하며 백업을 위한 특점 시점 스냅샷 제공

 

Q6. 아래 기준 충족하는, 데이터 백업에 사용가능한 AWS 서비스는?

- 정기적인 데이터 백업 생성

- 테스트 위한 중복 환경 생성

- 재해 복구 전략 세움

- 애플리케이션 성능에 영향주지 않으면서 전체 또는 증분 백업 생성

- 장기 보관을 위한 비용 효율적인 서비스 제공

A. EBS 스냅샷

-> EBS 볼륨의 특정 시점 사본으로, 정기 백업에 사용가능함

이를 통해 테스트용 중복 볼륨을 생성하고, 전체 볼륨을 복원하여 신속한 재해 복구 지원

 

Q7. Amazon FSx 가장 잘 설명한 내용은?

A. 널리 사용되는 파일 시스템을 기반으로 구축된 비용 효율적이고 확장 가능한 파일 스토리지 제공하는 완전관리형 서비스

-> Window file server, lustre, openZFS, NetAPP ONTAP 같은 널리 사용되는 파일 시스템 기반으로 파일 스토리지 제공하는 완전관리형 서비스로 특별히 설계됨

 

Q8. EBS 가장 잘 설명한 내용은?

A. 파일이 추가되거나 제거되면 자동으로 규모 조정하는 탄력적인 완전관리형 파일시스템

-> 수동 프로비저닝 없이 스토리지 요구사항에 따라 자동으로 확장 및 축소되는 서비스

 

Q9. Amazon S3 가장 잘 설명한 것은?

A. 웹상의 어디서나 원하는 양의 데이터 저장하고 검색하는데 사용되는 확장 가능한 객체 스토리지 서비스

-> 확장성을 고려하여 설계된 객체 스토리지 서비스

사용자 인터넷 연결을 통해 어디서나 액세스 가능한 데이터를 무제한으로 저장 가능

 

Q10. 아래 기준 충족하는 AWS 서비스는?

- 가능한 최고의 I/O 성능

- 자사의 EC2 인스턴스 직접 연결

- 임시 스토리지 - 인스턴스 중지되거나 종료되면 데이터가 계속 유지되지 않음

A. Amazon EC2 인스턴스 스토어

-> 호스트 컴퓨터에 물리적으로 연결된 임시 블록 수준 스토리지 제공

임시 데이터 처리에 필요한 최고 수준의 i/o 성능 제공

 

Q11. AWS Storage Gateway 가장 잘 설명한 내용

A. 온프렘 애플리케이션이 클라우드 스토리지에 무제한으로 액세스할 수 있도록 하는 하이브리드 클라우드 스토리지 솔루션

-> 기본적으로 온프렘 환경을 AWS 클라우드 스토리지에 연결하는 하이브리드 솔루션으로 설계됨

이로인해 로컬 애플리케이션은 로컬 액세스 패턴 유지하면서 AWS 스토리지에 원활하게 액세스 가능