I released a softmax-free attention model at GPT-2 Medium scale (~354M params, 11.5B tokens): structural sparsity + tile-skipping kernels for long-context VRAM savings. Open weights + custom Triton kernels [R]

소프트맥스 없는 주의 모델이 공개되었습니다.

GPT-2 Medium 규모 (~354M 파라미터)에서 소프트맥스 없는 주의 모델이 발표되었습니다. 이 모델은 구조적 희소성과 타일 스키핑 커널을 활용하여 긴 컨텍스트의 VRAM 절약을 제공합니다. 공개된 가중치와 사용자 정의 Triton 커널이 포함되어 있습니다.

A softmax-free attention model has been released.

A softmax-free attention model at GPT-2 Medium scale (~354M params) has been released. It incorporates structural sparsity and tile-skipping kernels for long-context VRAM savings. The model is provided with open weights and custom Triton kernels.