Building a monokernel for LLM inference on AMD MI300X - up to 3,300 output tokens/s per request [P]

AMD MI300X에서 LLM 추론을 위한 모노커널 구축과 최적화에 대한 내용입니다.

AMD MI300X에서 실행되는 모노커널이 GPU 상에서 전체 디코드 시퀀스를 처리하는 방법에 대해 설명합니다. 이 최적화된 접근 방식은 최대 3,300개의 출력 토큰을 처리할 수 있습니다. 향후 대형 MoE 모델 지원 계획도 언급됩니다. 이 기술적 심층 분석은 AMD 하드웨어의 특성을 잘 활용합니다.

Building a monokernel on AMD MI300X for LLM inference with optimizations achieving 3,300 tokens/s.

This article discusses the development of a monokernel that runs the full decode sequence on AMD MI300X GPUs. It highlights optimizations leading to processing speeds of up to 3,300 output tokens per request. Future plans include support for large frontier MoE models. The analysis leverages the architecture of AMD hardware effectively.