최근 모델이 세부 정보 회상 능력은 약화되고 있다.
소형 및 MoE 모델이 적은 매개변수로도 성능을 높이고 있지만, 세부 정보 회상 능력이 떨어지는 경향을 보이고 있다. 이러한 변화는 모델이 지식보다는 추론 능력을 중시하게 되는 방안을 보여준다. 지식은 빠르게 낡지만, 문제 해결에 있어서는 더 많은 성능을 요한다.
Recent models are losing their ability to recall details.
Small and MoE models are improving performance with fewer parameters, but they exhibit a decline in detail recall ability. This trend suggests a shift in models prioritizing reasoning over knowledge retention. Factual knowledge occupies significant model capacity and becomes outdated quickly, highlighting the need for robust reasoning processes.