MiniMax가 새로운 주의력 아키텍처를 발표했습니다.
MiniMax는 새로운 MiniMax Sparse Attention(MSA) 아키텍처를 공개했습니다. 이 아키텍처는 1M 토큰으로 스케일링되며, 메모리 접근 패턴을 재구성하여 계산 복잡성을 줄입니다. MSA는 KV 블록을 외부 루프로 처리하여 메모리 사용을 최적화하고 4배 빠른 실행 속도를 제공합니다. 이 모델은 또한 첫 번째 오픈 웨이트 모델로 1M 컨텍스트와 다중 양식 지원을 자랑합니다.
MiniMax has unveiled a new attention architecture.
MiniMax has introduced a new architecture called MiniMax Sparse Attention (MSA). This architecture scales to 1M tokens and reduces computational complexity by restructuring memory access patterns. MSA optimizes memory usage by treating KV blocks as the outer loop and delivers up to 4× faster execution speeds. Additionally, it is claimed to be the first open-weight model to support 1M context and native multimodality.