Proposal: Use semantic compression as input diffusion to read sessions larger than the context window [R]

기존 AI 세션의 맥락을 넘어서는 방법으로 의미 압축을 제안하는 내용입니다.

본 제안서는 매우 긴 AI 세션의 일관성을 유지하기 위한 방법으로 의미 압축을 활용하는 방안을 다룹니다. 제안된 시스템은 텍스트를 '흐리게' 하여 세션의 전체 구조를 유지하면서 압축된 버전을 먼저 읽어 개요를 구성하도록 합니다. 이후 점차 덜 압축된 조각을 읽으면서 세부 정보를 추가하여 전체 세션을 아우르는 '비장소 정보'를 보존하려고 합니다. 이 방법은 모델이 현재 슬라이스, 입력 및 출력을 읽도록 해줍니다.

A proposal to use semantic compression for maintaining coherence in extremely long AI sessions.

This proposal discusses a method using semantic compression to maintain the coherence of extremely long AI sessions. The suggested system compresses text to keep the overall structure intact, allowing users to first read a compressed version to build an outline. They then read progressively less compressed slices to add detail, aiming to preserve 'non-local information' that isn't captured in fragmented retrieval. This method enables the model to focus on relevant input and output effectively.