VRAM 예산에 맞는 GGUF 양자화 레벨 선택 방법에 대한 가이드.
이 글에서는 GPU에 맞는 GGUF 양자화 레벨 선택 방법을 설명합니다. 모델을 VRAM에 맞게 조정한 후, 여유 공간을 고려한 높은 양자화 수준으로 올라가야 합니다. 예를 들어, 7B 모델은 Q4에서 약 3.9GB, Q8에서 약 7.4GB의 VRAM을 차지하며, 이외에 KV 캐시와 오버헤드를 고려해야 하는 방법을 제공합니다. 다양한 GPU 카드에 따른 최적의 양자화 수준에 대한 구체적인 추천도 포함되어 있습니다.
A guide on how to choose a GGUF quantization level based on your VRAM budget.
This article explains how to select the appropriate GGUF quantization level according to your GPU's VRAM budget. It emphasizes fitting the model within the VRAM first and then opting for the highest quantization level that still allows for overhead. For instance, a 7B model uses around 3.9GB at Q4 and approximately 7.4GB at Q8, accounting for KV cache and overhead as well. The article provides specific recommendations based on different GPU card sizes.