Presentation: From S3 to GPU in One Copy: Rethinking Data Loading for ML Training

Vortex를 통해 S3에서 GPU로 데이터 로딩 방식을 혁신합니다.

Onur Satici는 Vortex라는 오픈소스 컬럼형 파일 포맷을 소개하며 높은 처리량의 데이터 로딩 방식을 혁신하는 방법을 설명합니다. 그는 경량 인코딩을 단계적으로 적용하고, 레이아웃 기반 세그먼트 프루닝 및 제로 카피 메모리 파이프라인을 활용하여 CPU/NVMe 병목을 제거하는 방법을 강조합니다. 이를 통해 데이터를 S3에서 GPU로 처리하는 속도가 최대 60 Gbps에 달할 수 있음을 보여줍니다.

Vortex revolutionizes data loading from S3 to GPU.

Onur Satici introduces Vortex, an open-source columnar file format that rethinks high-throughput data loading for ML training. He explains the use of cascading lightweight encodings, layout-based segment pruning, and zero-copy memory pipelines to eliminate CPU/NVMe bottlenecks. This approach allows streaming data from S3 directly to GPUs at speeds of up to 60 Gbps without the need for upfront data reprocessing.