Show HN: Getting GLM 5.2 running on my slow computer

GLM 5.2를 개인용 느린 컴퓨터에서 실행하는 과정과 결과를 공유합니다.

GLM 5.2의 성능과 보안성에 감명받은 후, 일반적인 개인용 컴퓨터에서도 모델이 정상 작동할 수 있는지 테스트를 시작했습니다. 모델을 int4로 변환하고, MTP 사용을 이해하며, DSA를 구현하여 긴 문맥을 처리하는 방법을 탐구했습니다. 최종적으로, 약 32GB RAM을 가진 본인의 컴퓨터에서 GLM 5.2와 소통하는 데 성공했으며, Colibrì라는 프로젝트를 통해 Mixture-of-Experts 모델을 간소화하여 더 적은 자원으로 운영할 수 있도록 했습니다.

Sharing the process and results of running GLM 5.2 on a slow personal computer.

After being impressed by the capabilities and security of GLM 5.2, I wanted to test if it could run on a normal computer without going out of memory. I experimented with converting the model to int4 and explored MTP and DSA for long contexts. Ultimately, I succeeded in communicating with GLM 5.2 on my computer with 32GB of RAM, leading to the creation of Colibrì, a project that optimizes the Mixture-of-Experts model for lower resource usage.