Unsloth, Qwen3.8 2.4T를 397GB로 줄여 로컬 실행 지원

Unsloth가 Qwen3.8 모델을 397GB로 축소해 로컬 실행을 지원합니다.

Unsloth가 Qwen3.8-2.4T 모델을 위한 GGUF 양자화 모델 및 로컬 실행 가이드를 공개했습니다. BF16 원본 모델이 4.89TB인 반면, Dynamic 1-bit 버전은 397GB로 축소되어 약 91%의 크기를 줄였습니다. 이 모델은 1-bit부터 8-bit/BF16까지 다양한 버전을 제공하며, 앞으로 다양한 크기의 모델을 지원할 예정입니다.

Unsloth reduces Qwen3.8 model to 397GB to support local execution.

Unsloth has released a GGUF quantization model and local execution guide for Qwen3.8-2.4T. While the BF16 original model is 4.89TB, the Dynamic 1-bit version has been reduced to 397GB, achieving about a 91% size reduction. The model offers various versions from 1-bit to 8-bit/BF16, with plans to support a range of model sizes in the future.