Qwen3.8 27B 양자화 벤치마크: 4비트는 성능 유지, 1비트는 붕괴

Qwen3.8 27B의 4비트 양자화는 성능 저하 없이 용량을 줄일 수 있음을 보여줍니다.

Qwen3.8 27B 모델을 4비트 양자화하여 55GB에서 17GB로 축소할 수 있으며, 성능 또한 원본과 큰 차이가 없었습니다. 17GB 모델은 소비자용 GPU인 24GB RTX 4090에서 64k 토큰 컨텍스트와 함께 작동할 수 있습니다. 그러나 1비트 양자화의 경우 성능이 심각하게 저하되는 것으로 나타났습니다.

Qwen3.8 27B shows that 4-bit quantization can significantly reduce size without performance loss.

The Qwen3.8 27B model can be quantized from 55GB to 17GB using 4-bit quantization, without notable performance loss compared to the original. The 17GB model is capable of running on consumer GPUs like the 24GB RTX 4090 with a 64k token context. However, performance greatly deteriorates with 1-bit quantization.