Fearless Concurrency on the GPU: Safe GPU inference in Rust, competitive with vLLM/SGLang [R]

Rust와 cuTile을 활용한 안전한 GPU 추론 엔진 개발에 대한 논문 소개

cuTile Rust는 안전한 GPU 커널 작성을 지원하며, 메모리 안전성과 데이터 레이스 자유를 보장합니다. Grout는 cuTile Rust를 기반으로 한 Qwen3 추론 엔진으로, 높은 처리량을 자랑하며 경쟁력 있는 성능을 보여줍니다. 현재 많은 커널이 여전히 안전하지 않은 경로를 사용하고 있지만, 안전한 변형으로 전환할 수 있는 가능성이 있습니다. 이 프로젝트는 안전하고 높은 성능의 커널 라이브러리의 성장을 도모하고 있습니다.

Introduction of a paper on safe GPU inference engine development using Rust and cuTile.

cuTile Rust enables safe GPU kernel writing, ensuring memory safety and data race freedom. Grout, based on cuTile Rust, serves as a Qwen3 inference engine showcasing competitive throughput. While many kernels currently use unsafe paths, there is potential for migration to safe variants. This project aims to grow a library of safe, high-performance kernels, enhancing future kernel synthesis.