사용자가 손으로 만든 미니멀한 트랜스포머 모델을 소개합니다.
사용자는 LLM의 작동 원리를 깊이 이해하기 위해 셀에서 트랜스포머를 직접 구현했습니다. 이 모델은 6개의 단어로 구성된 어휘와 3차원 임베딩을 사용하며, 매개변수와 단어 벡터를 실시간으로 수정할 수 있습니다. 랜덤화 버튼 기능을 통해 무작위로 가중치를 변경하고 모델의 예측이 의미를 잃는 과정을 보여줍니다. 이 프로젝트는 누구나 접근할 수 있는 HTML 파일 형태로 제공됩니다.
The user introduces a minimal transformer model built from scratch.
The user constructed a transformer manually in a spreadsheet to better understand how LLMs operate. This model features a 6-word vocabulary and 3-dimensional embeddings, allowing real-time editing of weights and word vectors. A randomize button can scramble weights to demonstrate how predictions become nonsensical. The project is shared as a self-contained HTML file, accessible to anyone.