Search Results

앞에서 배운 것들을 토대로 새로운 EC2를 생성하고 접속한 뒤 오픈소스 프로그램인 Hail 을 설치 및 사용해 봅시다.   Python3 버전 확인 python3 --version Python3는 설치되어 있다면 아래와 같이 pip을 설치합니다. curl -O https://bootstrap.pypa.io/get-pip.py python3 get-pip.py --user Hail 툴 의존성 패키지 및 프로그램 설치 sudo yum insta...

여기서는 Hail을 VCF to Parquet 목적으로 사용하는 법을 설명합니다. 스크린샷이 첨부된 버전은 여기서 확인할 수 있습니다. 사전 준비 hail-all-spark.jar 파일을 다운로드 받습니다. Amazon S3 서비스로 접속해서 앞에서 다운로드 받은 hail-all-spark.jar 파일을 본인에 알맞은 버킷에 업로드합니다. 업로드한 hail-all-spark.jar 파일을 선택하고 Copy S3 URL을 눌러 주...

RES(Research and Engineering Studio on AWS)는 관리자가 안전한 클라우드 기반 연구 및 엔지니어링 환경을 만들고 관리할 수 있는 사용하기 쉬운 오픈 소스 웹 기반 포털입니다. 과학자와 엔지니어는 RES를 사용하여 클라우드 전문 지식 없이도 데이터를 시각화하고 대화형 애플리케이션을 실행할 수 있습니다. https://aws.amazon.com/hpc/res/ https://aws.amazon.com/blogs/hpc/new-re...

노트북 셋업 EMR 스튜디오에서 동일한 VPC에 새 스튜디오를 만듭니다. 생성한 스튜디오에 대한 새 작업 공간(노트북)을 생성하면 완료되면 jupyterHub에 대한 새 탭이 자동으로 열립니다. python3 커널을 사용하여 새 노트북을 시작합니다. EMR 노트북에 Hail 설치 pip install hail 추후 S3a 프로토콜 사용을 위한 내용  (Hadoop-AWS module) Ssh into primary node (a...

cd aws-healthomics-eventbridge-integration/workflows/vep aws stepfunctions start-execution \ --state-machine-arn arn:aws:states:<aws-region>:<aws-account-id>:stateMachine:omx-container-puller \ --input file//container_image_manifest.json AWS He...

AWS HealthOmics의 Analytics 기능을 활용하여 annotation작업을 수행할 수 있습니다. 준비물 입력 샘플 VCF Annotation할 정보 소스 VCF (예: ClinVar) s3://omics-eventbridge-solutio-healthomicsckaoutput6642-xbtuwqnxt8uw/outputs/9881593/out/output_vcf/NA12878.hg38.g.vcf.gz Variant stores...

스택 준비 AWS CLI credential을 준비하고 터미널에서 적용합니다. export AWS_DEFAULT_REGION="us-east-1" export AWS_ACCESS_KEY_ID="{ACCESS_KEY}" export AWS_SECRET_ACCESS_KEY="{SECRET_ACCESS_KEY}" export AWS_SESSION_TOKEN="{SESSION_TOKEN}" 이 CloudFormation 스택을 시작하려는 reg...

이 가이드는 AWS CLI를 사용하여 윈도우 서버 EC2 인스턴스를 여러 개 자동으로 설정하는 과정을 상세히 설명합니다. 실제 환경에서는 사용자의 요구사항에 맞게 설정을 조정해야 하며, 실제 테스트가 반드시 필요합니다. 사전 요구사항 AWS CLI 설치 및 구성 Bash 스크립트에 대한 기본 지식 AWS 계정 및 필요한 권한 전체 워크플로우 초기 EC2 인스턴스 실행 윈도우 인스턴스에 접속하여 필요한 프로그램 설치 커스텀 AMI 생성...

오믹스의 스토리지 컴포넌트는 2개가 있습니다. Reference store Sequence stores 이름에서도 알 수 있듯이 레퍼런스 스토어는 1개만 생성이 가능하며, 이 스토어 1개 안에 다수의 레퍼런스를 등록할 수 있습니다. 사람 유전체 지도 외에도 모델 Organism등 FASTA 파일 형식의 데이터는 모두 레퍼런스로 등록하여 관리할 수 있습니다. 가장 놀라운 사실은 Reference 스토어에 관리되는 참조 유전체 데이터의 저장 비용은 무료...

참고문서: https://catalog.us-east-1.prod.workshops.aws/workshops/76d4a4ff-fe6f-436a-a1c2-f7ce44bc5d17/en-US 이 문서를 참고하여 환경을 준비합니다. 여기서는 이 과정은 생략합니다. 2025년 4월 18일 기준 scrnaseq 버전 History 2.7.1 > 3.0.0 > 4.0.0  현재 아래 내용은 2.7.0, 2.7.1에서만 테스트되었습니다. 프로젝트 셋업 버킷...

참고 문서: https://catalog.us-east-1.prod.workshops.aws/workshops/76d4a4ff-fe6f-436a-a1c2-f7ce44bc5d17/en-US 이 문서를 참고하여 환경을 준비합니다. 여기서는 이 과정은 생략합니다. 프로젝트 셋업 nf-core repository로부터 워크플로우 복제 cd ~ git clone https://github.com/nf-core/rnaseq --branch 3.14.0 --...

    공식문서 https://docs.aws.amazon.com/omics/latest/dev/troubleshooting.html   ECR_PERMISSION_ERROR Unable to access image URI: {account_id}.dkr.ecr.us-east-1.amazonaws.com/quay/quay.io/biocontainers/bioconductor-dropletutils:1.18.0--r42hf17093f_1. Ensure ...

Tagging 소개 태그 (Tag)는 AWS 리소스에 할당하는 레이블입니다. 태그는 키와 값으로 구성되니다. 예를들어 태그를 사용하여 부서, 유형, 애플리케이션 별로 리소스에 레이블을 지정할 수 있습니다. AWS Batch 의 작업 정의의 태깅을 사용해서 aws batch에서 실행되는 작업에 대한 리소스 태그를 지정할 수 있습니다. 아래는 그 내용을 설명합니다.   AWS Batch Tagging your AWS Batch resources B...

Deploy an EMR cluster on AWS, with Spark, Hail, Zeppelin and Ensembl VEP using CloudFormation service. This tool requires the following programs to be previously installed in your computer: Amazon's Command Line Interface (CLI) utility Git To insta...

CannotPullImageManifestError: Error response from daemon: manifest unknown: manifest unknown  Solution Check your docker image. bash: aws: command not found Solution Check your container image has the aws cli program. https://www.nextflow.io/...

서비스 Quota와 리전 AWS의 거의 모든 서비스가 그러하듯 HealthOmics에서도 Quota가 존재합니다. 또한 사용 가능한 리전이 현재 제한적입니다. (서울 리전은 사용 불가능) 리전 정보: https://docs.aws.amazon.com/general/latest/gr/healthomics-quotas.html Quota: https://docs.aws.amazon.com/omics/latest/dev/quotas.html Heal...

다음 문서는 WDL 워크플로우를 HealthOmics의 Private workflow에 등록하는 내용을 다루고 있습니다. 대상 워크플로우 주소: https://github.com/PacificBiosciences/HiFi-human-WGS-WDL 일단 가장 먼저 해볼만한 일은 이 WDL 워크플로우가 로컬에서 잘 동작하는지 확인해보는 일일 것입니다. EC2 인스턴스의 사양 역시 문서 내용을 참고 ( 64 cpu cores and 256 GB of ...

Amazon EC2의 Ubuntu 24버전 기준으로 아래 문서를 작성했습니다. 아래 내용은 시간이 지남에 따라 적절히 작동하지 않을 수 있으므로 필요한대로 수정하고 확인하는 것을 추천드립니다!   Amazon EC2의 User data 기능을 사용하기 위해 User Data내용을 파일로 만들어둡니다. 여기 예에서는 install_rstudio.txt라고 파일을 만들었습니다. #!/bin/bash # update indices apt update...

  Python으로 Nextflow 작성하기 import os from textwrap import dedent os.makedirs('workflows/nf/sample', exist_ok=True) nf = dedent(''' nextflow.enable.dsl = 2 params.greeting = 'hello' params.addressee = null if (!params.addressee) exit 1, "required...