Hierarchos는 232M 파라미터의 메모리 증강 언어 모델입니다.
Hierarchos는 232M 파라미터로 구성된 실험적인 메모리 증강 언어 모델로, 비전통적인 아키텍처를 활용하여 학습에 성공했습니다. 이 모델은 RWKV 방식의 순환 및 계층적 계산을 통해 더 작은 모델이 더 많은 파라미터 효율성을 제공할 수 있는지를 탐구합니다. 주요 혁신은 학습과 추론 간의 불일치를 해결하고 수치 안정성 버그를 수정하는 데서 비롯되었습니다.
Hierarchos is a 232M parameter memory-augmented language model.
Hierarchos is an experimental memory-augmented language model with 232M parameters that successfully trains using a non-traditional architecture. This model explores whether recurrent state and hierarchical computation can make a smaller model significantly more parameter-efficient. Major breakthroughs were achieved by addressing subtle train/inference mismatches and numerical stability issues.