모델의 컨텍스트 윈도우를 초과하는 긴 텍스트를 처리하는 새로운 접근법 제안.
이 글에서는 모델의 컨텍스트 윈도우보다 긴 텍스트를 처리하기 위해 세멘틱 압축을 디퓨전 노이즈 함수로 간주하는 방법을 제안합니다. 사용자가 여러 번에 걸쳐 문서를 읽어가며 압축 수준을 점진적으로 조정하고, '통합 상태'를 정제해 나가는 방식을 설명합니다. 제안된 방법은 Zhang et al.의 Recursive Language Models와 유사한 구조를 가지며, 실험 결과는 '불가능하지 않다'고 평가됩니다.
Proposing a new approach to handle lengthy texts exceeding model context windows.
The article proposes a method to handle texts longer than a model's context window by treating semantic compression as a noise function in a diffusion-like process. The user reads the source document multiple times with decreasing compression levels and refines an 'integration state.' The proposed method bears similarities to Zhang et al.'s Recursive Language Models, and the experimental results assess the approach as 'not unfeasible.'