GPU Incident at 3am: eBPF Tracing from Page to Root Cause in 60 Seconds

3am GPU 훈련 파이프라인 문제를 eBPF로 60초 안에 진단한 사례.

3am에 발생한 GPU 훈련 파이프라인 SLA 위반 사건을 eBPF 커널 트레이싱을 사용해 진단한 사례를 다룹니다. Datadog과 nvidia-smi는 GPU 사용률이 95%로 정상임을 나타내었지만 실제 작업 속도는 예상의 3배 느렸습니다. CPU와 DataLoader 작업자의 충돌이 GPU를 방해했음을 60초 만에 발견했습니다. 이 글은 GPU 사건 대응을 위한 eBPF 활용 가이드를 제공합니다.

Case study on diagnosing a 3am GPU training pipeline issue using eBPF in 60 seconds.

This article discusses a 3am incident involving a GPU training pipeline that breached its SLA, which was diagnosed using eBPF kernel tracing. Datadog and nvidia-smi indicated normal GPU utilization at 95%, yet the job was taking three times longer than expected. The root cause was found to be interference between the host CPU and DataLoader workers, starving the GPU. This serves as a field guide for incident response in GPU environments using eBPF.