Lamin

생물학 연구 데이터의 계보 추적과 버전 관리를 한 줄 코드로 해결하는 바이오 데이터 프레임워크

부분 무료WebAPI오픈소스

소개

라민(Lamin)은 생물학 분야를 위해 설계된 오픈 데이터 프레임워크로, 대규모의 데이터셋과 모델을 효율적으로 쿼리, 추적 및 검증할 수 있는 환경을 제공합니다. 이 도구의 핵심 기능으로는 데이터 계보(Lineage) 추적이 있어, 사용자는 단 한 줄의 코드로 데이터가 어디서 유래했는지와 어떻게 활용되었는지 명확히 파악할 수 있습니다. 또한 테이블 및 배열 형식을 포함한 다양한 바이오 포맷을 지원하는 레이크하우스를 통해 데이터를 쿼리하고, Postgres나 SQLite를 이용해 스키마를 메타데이터로 관리할 수 있습니다. 레지스트리와 시트(LIMS) 기능은 메타데이터와 데이터셋을 통합하여 관리하며, 내장된 온톨로지를 통해 데이터의 일관성을 검증하고 주석을 추가할 수 있습니다. 주로 생물학 연구자와 데이터 팀을 대상으로 하며, 오픈 소스인 LaminDB는 무료로 제공되고 전용 호스팅 및 지원이 포함된 유료 플랜은 월 480달러부터 시작합니다.

활용 워크플로우

입력

S3/GCP/Azure 클라우드 스토리지의 원천 데이터Jupyter/VS Code 분석 노트북 및 파이선 스크립트AnnData, Zarr, Parquet 등 바이오 데이터 포맷NCBI, Ensembl, Cell Ontology 등 공공 온톨로지

Lamin

ln.track()을 통한 소스 코드, 환경 및 데이터 계보(Lineage) 추적Bionty 라이브러리를 활용한 생물학적 엔티티 표준화 및 온톨로지 매핑ln.Curator 엔진을 이용한 데이터셋 스키마 및 메타데이터 유효성 검사Postgres/SQLite 기반의 레이크하우스 메타데이터 레지스트리 동기화

출력

버전 관리 및 해시 검증이 완료된 데이터 아티팩트(Artifacts)인터랙티브한 데이터 흐름 시각화 그래프(Lineage Graph)온톨로지 기반의 검색 및 쿼리가 가능한 통합 데이터 카탈로그재현 가능한 분석 실행 기록 및 환경 리포트(Runs)

데이터 큐레이션 워크플로우

ln.Curator를 통해 비표준 데이터를 공공 온톨로지 표준에 맞춰 정제하고 승인하는 경로

분산 협업 레이크하우스

LaminHub를 통해 팀원 간 클라우드 데이터를 공유하고 권한 및 변경 사항을 관리하는 경로

워크플로우 오케스트레이션 연동

Nextflow, Snakemake 등 외부 파이프라인의 입출력을 LaminDB에 자동 기록하는 경로

핵심 차별점: 생물학적 온톨로지와 데이터 계보를 코드 수준에서 자동 통합하여 바이오 R&D 데이터의 재현성을 보장하는 전용 데이터 레이크하우스 프레임워크입니다.