104GB의 Qwen3.8-Flash-Next 모델을 48GB의 Mac에서 실행하는 방법을 소개합니다.
Qwen3.8-Flash-Next는 125B 매개변수를 가진 모델로, 100GB 이상의 메모리가 필요하지만, slotstream을 이용해 16GB의 낮은 메모리 Mac에서도 실행할 수 있습니다. 이 솔루션은 MLX와 Swift를 사용하여 간편하게 설치 및 업데이트할 수 있으며, 메모리 사용량과 속도 간의 균형을 맞춘 자동 모드를 제공합니다. 앞으로 MTP 모듈을 구현하여 추측 디코딩 기능을 포팅할 예정입니다.
A method to run the 104GB Qwen3.8-Flash-Next model on a 48GB Mac is introduced.
Qwen3.8-Flash-Next is a 125B parameter model that typically requires over 100GB of memory. However, with the use of slotstream, it can run on a low-memory Mac starting from 16GB. The solution is easy to install and update, Mac-native using MLX and Swift, and includes an auto-mode for balancing memory usage and speed. Future plans include implementing and porting the MTP module for speculative decoding.