CS336 과정에서 언어 모델 개발을 처음부터 배운다.
CS336 과정은 현대 NLP 애플리케이션의 기반이 되는 언어 모델을 처음부터 만드는 방법을 가르친다. 이 과정에서는 사전학습용 데이터 수집과 정제, Transformer 구축, 모델 학습 및 배포 전 평가 등을 포함한 전체 과정을 직접 구현할 수 있다. 학생들은 실습을 통해 언어 모델링의 다양한 하위 작업을 다루는 법을 배운다.
CS336 course teaches building language models from scratch.
The CS336 course focuses on teaching how to build language models from the ground up, forming the foundation of modern NLP applications. It covers the entire process, including data collection and cleansing for pre-training, building Transformers, training, and evaluation before deployment. Students will learn to handle various subtasks related to language modeling through hands-on experience.