USAF는 MoE 모델의 파인튜닝을 가능하게 하는 새로운 방법을 제안합니다.
USAF는 MoE 모델을 위한 새로운 희소 파인튜닝 방법으로, GPU가 추론을 수행할 수 있다면 파인튜닝도 가능하다는 목표를 가지고 있습니다. 작성자는 AMD RX 6750 XT를 사용하여 Qwen3-30B-A3B 모델을 파인튜닝할 수 있었으며, 이 프로젝트는 Apache 2.0 라이센스하에 오픈 소스로 공유됩니다. 그는 MoE 모델을 사용하는 사람들의 피드백을 듣고 싶어합니다.
USAF proposes a new method for fine-tuning MoE models if GPUs can run inference.
USAF is a new sparse fine-tuning method for MoE models, aiming to allow fine-tuning if a GPU can perform inference. The author showcases the capability of fine-tuning the Qwen3-30B-A3B model using an AMD RX 6750 XT, focusing on training sparse expert weights and the router. This project is openly shared under the Apache 2.0 license, and the author welcomes feedback, especially from users of MoE models.