I Stopped Paying for Idle GPUs - Scale-to-Zero AI Inference on OKE with KEDA

KEDA를 활용한 GPU 서버 비활성화로 비용 절감하는 방법을 설명합니다.

이 글에서는 OKE에서 KEDA를 사용하여 GPU를 비용 효율적으로 관리하는 방법을 설명합니다. GPU 사용으로 인한 높은 비용을 줄이기 위해 요청이 없을 때는 서버를 비활성화하고 필요 시 다시 활성화하는 스케일링 기술을 다룹니다. GPU 포드의 특수성을 고려하여 설정 과정을 자세히 설명하고, 비용 절감과 응답 지연 간의 트레이드오프를 논의합니다.

Explains how to reduce costs by idling GPUs using KEDA.

This article discusses how to manage GPUs cost-effectively using KEDA on OKE. It addresses the high costs associated with GPU usage and presents a scaling solution that idles the GPU servers when there are no requests and activates them when necessary. The article details the setup process while considering the unique aspects of GPU pods and discusses the trade-off between cost savings and response latency.