GLM-5.2 모델을 소비자용 컴퓨터에서 실행하는 방법을 소개합니다.
이 글에서는 순수 C 엔진인 colibrì를 사용하여 소비자용 컴퓨터에서 GLM-5.2 744B MoE를 실행하는 방법을 설명합니다. 약 25GB RAM을 사용하는 방법과 라우팅된 expert를 디스크에서 스트리밍하여 GPU 없이 동작하는 구조를 소개합니다. 또한, 모델의 핵심 구조와 메모리 사용량에 대한 정보도 포함되어 있습니다.
This article explains how to run GLM-5.2 on consumer machines.
The article discusses using the pure C engine colibrì to run GLM-5.2 744B MoE on consumer-grade machines with about 25GB of RAM. It details how routed experts are streamed from disk to operate without a GPU. Additionally, it provides insights into the core structure of the model and its memory usage.