GPT 제공업체의 LLM 추론 가격 비교와 캐싱 비용 차이를 다룬 자료입니다.
이 글은 7개의 LLM 제공업체의 GPU/LLM 가격을 비교한 내용을 담고 있습니다. 스프레드시트에는 입력/출력 토큰 가격, 문맥 창, 캐시된 입력 가격 등이 포함되며, 캐싱 정책의 중요성이 강조됩니다. 제공업체에 따라 동일한 모델의 가격이 여러 배 차이가 날 수 있다는 점도 흥미롭습니다.
This article compares LLM inference pricing across 7 providers and highlights caching cost differences.
The article discusses the comparison of GPU/LLM pricing from 7 different providers. It includes a spreadsheet tracking input/output token pricing, context windows, and cached input pricing, emphasizing the significance of caching policies. Notably, the same model can differ in cost by multiple times across providers, which is an interesting observation.