KVarN: Variance-Normalized KV-Cache Quantization [R]

KVarN은 높은 압축 비율을 자랑하는 KV-Cache 양자화 방법입니다.

KVarN은 Hadamard 회전과 변량 정규화를 결합한 새로운 KV-Cache 양자화 방법입니다. 이 방법은 K 및 V 행렬의 두 축 모두에서 적용되며, 3-4배의 압축을 제공하면서도 정확도 손실이 거의 없습니다. 특히 decode-heavy 테스트 상황에서 성능이 향상됩니다. 이 연구는 양자화 오류의 발생 원인을 분석하고, 큰 오류를Fix하는 것이 유용하다는 점을 강조합니다.

KVarN is a KV-Cache quantization method with high compression rates.

KVarN is a new KV-Cache quantization method combining Hadamard rotations with variance normalization applied on both axes of K and V matrices. It achieves 3-4x compression with virtually no accuracy loss, making it particularly effective in decode-heavy test-time scaling scenarios. The study also analyzes quantization errors, emphasizing that fixing larger errors is disproportionately beneficial. This approach showcases a significant performance improvement over traditional methods.