카카오, '카나나-2'의 경량 모델 4종 오픈소스로 공개

카카오가 경량 모델 '카나나-2'의 4종을 오픈소스로 공개하였다.

카카오는 '카나나-2 SLM 모델군'의 4종 모델을 오픈소스로 공개했다. 이 모델에는 3B와 1.3B 모델의 Base 및 Instruct 가중치가 포함되어 있다. 3B 모델은 TPU 클러스터에서 사전학습되고, 인스트럭션 파인튜닝 및 강화학습이 적용되었으며, 1.3B 모델은 단계적 가지치기와 증류 과정을 거쳤다.

Kakao has released 4 lightweight models of 'Kanana-2' as open source.

Kakao has open-sourced 4 models from the 'Kanana-2 SLM model family. The models include weights for the 3B and 1.3B models. The 3B model was initially pre-trained on a TPU cluster followed by instruction fine-tuning and reinforcement learning, while the 1.3B model underwent gradual pruning and distillation.