SSD 4개에서 스트리밍해 MacBook Pro에서 Kimi K3(2.8T)를 초당 1토큰으로 실행

맥북 프로에서 SSD 4개로 Kimi K3 모델을 효율적으로 실행하는 성능을 보여준다.

이 기사에서는 M5 Max MacBook Pro에서 4개의 SSD를 사용하여 Kimi K3(2.8조 파라미터 모델)를 실행하는 성능을 소개한다. ARGODRIVE Deltafin을 통해 128GB 메모리에서 1.45TB의 전문가 가중치를 스트리밍하여 초당 1.0015 토큰을 생성하는 성과를 보여준다. 이를 통해 대규모 AI 모델의 실행 가능성을 확인할 수 있다.

Shows performance of running Kimi K3 model on MacBook Pro using 4 SSDs.

The article showcases the performance of running the Kimi K3 (2.8 trillion parameter model) on an M5 Max MacBook Pro using four SSDs. It utilizes the ARGODRIVE Deltafin to stream 1.45TB of expert weights and achieves a generation speed of 1.0015 tokens per second from 128GB of memory. This highlights the feasibility of executing large-scale AI models.