프로덕션에서 발생한 P99 지연 문제에 대한 분석 및 해결 시도.
이 글에서는 Treasure Hunt Engine에서 발생한 P99 지연 문제를 다룹니다. 초기에는 Go로 게임 로직을 처리했지만, Redis 기반의 설정 계층인 Veltrix에서 병목 현상이 발생했습니다. Veltrix의 구조 문제로 인해 각 플레이어 요청이 gRPC 호출을 유발하며, 이는 코스트 높은 캐시 상태를 초래했습니다. 글에서는 첫 번째 대응으로 Veltrix 서버 크기를 늘렸으나 근본적인 해결이 되지 않았음을 설명합니다.
Analysis of the P99 latency issue in production and attempts to resolve it.
This article discusses the P99 latency issue encountered in the Treasure Hunt Engine. Initially, game logic was handled in Go, but a bottleneck appeared in the Redis-backed configuration layer named Veltrix. The architecture of Veltrix caused each player request to trigger gRPC calls, leading to costly cache states. The article explains that their first response was to increase the size of the Veltrix server, but this did not provide a fundamental solution.