Amazon S3를 사용해 공유받은 데이터 다운로드

실습 데이터 설명

소개

https://www.ncbi.nlm.nih.gov/sra/?term=SRR6327875

NOTE: SRA Lite 포멧에 대한 설명

실습 데이터 준비

다운로드

wget https://sra-downloadb.be-md.ncbi.nlm.nih.gov/sos5/sra-pub-zq-14/SRR006/327/SRR6327875.sralite.1

R1, R2 파일로 추출

fastq-dump --split-files --gzip SRR6327875.sralite.1

AWS CLI 사용을 위한 credential 적용 

AWS에서 제공하는 워크샵 스튜디오를 통해 실습하는 경우 아래와 같이 Get AWS CLI credentials를 클릭하여 credential 정보를 얻을 수 있습니다.

아래의 정보를 쉘에 복사하여 붙여넣습니다.

S3를 위한 AWS CLI 사용법

S3의 버킷 목록 조회

aws s3 ls

버킷 생성

이때  --bucket 의 값으로는 임의로 버킷을 생성하게 됩니다. 단, 전세계 S3 사용자 누군가가 이미 사용중인 버킷명은 사용할 수 없습니다.

여기서는 brandon-20230927 로 예를 들었습니다.

aws s3api create-bucket \
    --bucket brandon-20230927 \
    --region us-east-1

AWS 계정 내 생성된 버킷 확인

생성된 버킷은 S3 콘솔에서도 확인할 수 있음습니다.

S3를 위한 AWS CLI 사용법

S3의 버킷 목록 조회

aws s3 ls

S3로 데이터 복사

aws s3 cp SRR6327875.sralite.1_1.fastq.gz s3://brandon-20230927/raw/SRR6327875_1.fastq.gz
aws s3 cp SRR6327875.sralite.1_2.fastq.gz s3://brandon-20230927/raw/SRR6327875_2.fastq.gz