Routing LLMs by task verifiability: a small experiment (n=120, 3 models) inspired by Karpathy's framework [D]

LLM 작업 검증 가능성에 대한 실험 결과를 정리한 기사.

이 기사는 Karpathy의 프레임워크에서 영감을 얻어 작업의 검증 가능성에 따라 LLM의 성능을 실험한 내용을 다룹니다. 120개의 다양한 작업을 통해 세 가지 모델인 Claude Sonnet 4.6, GPT 5.5, Mistral 3을 평가하였습니다. 결과적으로 높은 검증 가능성을 지닌 작업에서는 성능 차이가 예상보다 적었지만, 다단계 추론에서는 명확한 모델 성능 차이가 드러났습니다. 특이한 점은 JSON 스키마의 문제로 인해 초기 결과가 뒤바뀌었음을 강조했습니다.

The article summarizes an experiment on LLM performance based on task verifiability.

This article discusses an experiment inspired by Karpathy's framework that evaluates LLM performance based on task verifiability. It assesses three models—Claude Sonnet 4.6, GPT 5.5, and Mistral 3—across 120 varied tasks. Results showed smaller performance gaps for high verifiability tasks than expected, but significant differences in multi-hop reasoning. Notably, an issue with the JSON schema affected the initial results, highlighting the importance of proper verifiers.