AI-generated CUDA kernels silently break training and inference [R]

AI로 생성된 CUDA 커널이 훈련과 추론을 방해하는 문제를 다룬다.

최근 NVIDIA가 발표한 SOL-ExecBench에 포함된 AI 생성 CUDA 커널들이 실제 작업에서 고장나는 문제를 소개한다. 특히, transformer 훈련의 후방 패스에서 핵심 커널이 데이터셋에 따라 다른 결과를 나타내며, 이는 디버깅 시 많은 혼란을 초래할 수 있다. 이 커널의 문제는 bf16 대신 fp32로 누적되어 발생하며, 다양한 다른 제출물에서도 고유의 버그가 발견되었다.

AI-generated CUDA kernels are causing issues in training and inference processes.

The article discusses problems with AI-generated CUDA kernels from NVIDIA's SOL-ExecBench that fail in production workloads. A specific kernel used in transformer training diverges under typical conditions, leading to debugging challenges. The bug arises from the kernel accumulating gradients in bf16 instead of fp32, which can mislead researchers about the underlying issues. Other submissions also presented unique bugs.