GPU autoscaling on Kubernetes with KEDA: Building an external scaler

Kubernetes에서 KEDA를 사용하여 GPU 자동 스케일링을 설정하는 방법에 대한 글입니다.

이 글은 Kubernetes 환경에서 GPU 워크로드를 실행할 때 발생하는 자동 스케일링 문제를 다룹니다. KEDA를 사용하여 CPU와 메모리가 아닌 GPU 중심으로 자동 스케일러를 구축하는 방법을 설명합니다. 다양한 사례인 vLLM, Triton 등을 통해 실제 적용 가능성을 제시합니다.

An article about setting up GPU autoscaling using KEDA on Kubernetes.

This article addresses the challenges of autoscaling GPU workloads in Kubernetes. It explains how to build an external scaler with KEDA that focuses on GPU rather than the default CPU and memory scaling. By discussing various use cases like vLLM and Triton, it showcases the practical implementation of this approach.