DVD-JEPA는 비디오에서 월드 모델을 학습하는 새로운 접근 방식을 제시합니다.
DVD-JEPA는 비디오로부터 월드 모델을 학습하기 위한 혁신적인 방법을 보여주는 오픈소스 프로젝트입니다. 전통적인 방법이 픽셀을 예측하는 데 집중하는 반면, JEPA는 미래의 표현을 예측하여 예측 불가능한 세부사항을 제거합니다. DVD-JEPA는 16x16 박스에서 DVD 로고를 학습하여 정보 회복과 디코더를 추가한 후 꿈꾸는 능력을 개발합니다.
DVD-JEPA introduces a new approach to learning world models from video.
DVD-JEPA demonstrates an innovative open-source approach for learning world models from video. Unlike traditional methods which focus on pixel prediction, JEPA predicts the representation of future frames, discarding unpredictable details. It learns a DVD logo in a 16x16 box, achieving accurate recovery of its position, and once a decoder is added, it can generate new observations.