자작 SLM 테스트 모델에 대한 피드백 요청.
이 글에서는 216.5M 파라미터를 가진 자작 SLM 테스트 모델에 대해 설명하고 있습니다. 10개의 레이어로 구성되고, 12개의 헤드를 가진 멀티 헤드 셀프 어텐션 메커니즘을 사용하며, 문맥 길이는 768입니다. 데이터셋은 551M 토큰 규모로 공용 영어 텍스트를 기반으로 전처리하였으며, 사용자와의 대화 샘플이 포함되어 있습니다.
Request for feedback on a self-built SLM test model.
The article describes a self-built SLM test model with 216.5M parameters and 10 layers. It utilizes a 12-head multi-head self-attention mechanism, with a context length of 768. The dataset is approximately 551M tokens, pretrained on public English texts and includes sample interactions between a user and the bot.