What comes after attention? This startup says it already knows.

Subquadratic은 1200만 토큰의 context window를 처리하는 sparse-attention 모델을 개발했다.

Subquadratic이라는 스타트업이 1200만 토큰의 context window를 처리할 수 있는 sparse-attention 모델을 출시했다. 이 모델은 기존의 attention 메커니즘을 넘어서는 가능성을 제시하고 있다. 기사에서는 이 모델의 기능과 관련된 기술적 배경에 대해 설명하고 있다.

Subquadratic has developed a sparse-attention model capable of handling a 12-million token context window.

Subquadratic, a startup, has launched a sparse-attention model that can handle a context window of 12 million tokens. This model presents possibilities beyond the conventional attention mechanism. The article discusses the features of this model and the technical background related to it.