NextLat는 변환기가 다음 잠재 상태를 예측하도록 훈련하는 자가 지도 학습 방법입니다.
Next-Latent Prediction(NextLat)은 변환기가 보다 효율적으로 학습하게 해주는 자가 지도 학습 방법을 소개합니다. 이를 통해 변환기는 과거의 정보를 압축하여 더 compact한 모델을 형성하고, 더 나은 데이터 효율성을 제공합니다. 또한, NextLat는 빠른 추론 속도를 가능하게 하여 다음 토큰의 예측을 극복하는 접근 방식을 취합니다.
NextLat is a self-supervised learning method for transformers to predict their next latent state.
Next-Latent Prediction (NextLat) introduces a self-supervised learning approach that trains transformers to predict their own next latent state to form more compact world models. This method enhances representation learning by compressing history into belief states and provides better data efficiency through denser supervision. Moreover, it unlocks faster inference using recursive multi-step lookahead, improving the traditional next-token prediction.