Amazon S3

• S3 Select 기능 소개
• 추천 링크
• 예제 데이터

S3 Select 기능 소개

소개

Amazon Simple Storage Solution(S3)은 무한하고 내구성이 뛰어나며 탄력적이고 비용 효율적인 스토리지 솔루션입니다. 그러나 S3를 사용하는 애플리케이션은 방대한 데이터 세트의 하위 집합을 가져와야 하는 경우가 많으며, 매번 전체 개체를 처리하여 개체의 하위 집합을 가져오는 것은 불가능합니다. 이는 애플리케이션의 속도에 영향을 미치기 때문에 Amazon S3는 S3 Select라는 기능을 만들었습니다.

즉, S3를 사용하면 더 이상 다운로드, 추출, 처리 후 출력을 받을 필요가 없습니다. 또한 S3 Select는 GZIP 또는 BZIP2 압축 개체와 서버 측 암호화 개체 등 다양한 파일 유형을 지원합니다.

제한점

한 가지 제한 사항은 SQL 표현식의 최대 길이가 256KB라는 점입니다. 또한 입력 또는 결과에서 레코드의 최대 길이는 1MB입니다. 또한 복잡한 분석 쿼리 및 조인은 지원되지 않습니다. 마지막으로, 선택 쿼리는 한 번에 하나의 파일에서만 실행할 수 있습니다.

 

사용해보기

SQL Query 결과

추천 링크

다음 튜토리얼에서는 일반적인 Amazon S3 작업에 대한 완전한 엔드투엔드 절차를 소개합니다. 이 튜토리얼은 실습 유형 환경을 위한 것으로 가상의 회사 이름, 사용자 이름 등을 사용합니다. 일반적인 지침을 제공하는 것이 목적입니다. 조직 환경의 고유한 요구 사항을 충족하기 위한 신중한 검토 및 조정 없이 프로덕션 환경에서 직접 사용하기 위한 것이 아닙니다.

https://docs.aws.amazon.com/AmazonS3/latest/userguide/tutorials.html

S3 워크샵 #1

S3 워크샵 #2

• Creating a bucket in S3
• Adding an object to the S3 bucket
• View the object in S3
• Move the object in S3
• Enable bucket versioning
• Delete the object and the bucket in S3

 

 

예제 데이터

 

 

https://github.com/aws-samples/s3-select-phonebook-search/blob/master/src/test/resources/sample_data.csv

Name,PhoneNumber,City,Occupation
Sam,(949) 555-1234,Irvine,Solutions Architect
Vinod,(310) 555-1234,Los Angeles,Solutions Architect
Jeff,(206) 555-1234,Seattle,AWS Evangelist
Jane,(312) 555-1234,Chicago,Developer
Sean,(773) 555-1234,Chicago,Developer
Mary,(708) 555-1234,Chicago,Developer
Akira,(619) 555-1234,San Diego,Head of Marketing
Siyang,(720) 555-1234,Denver,AWS Evangelist
Casey,(512) 555-1234,Austin,Specialist Solutions Architect
Katerina,(917) 555-1234,New York,Software Development Manager
Onyx,(213) 555-1234,Los Angeles,Specialist Solutions Architect
Jinhyun,(617) 555-1234,Boston,AWS Evangelist