더 나은 모델, 더 나빠진 도구

모델 성능 향상에도 불구하고 도구 사용에서의 일관성이 떨어짐.

Pi의 edit 도구에서 Claude Opus 4.8과 Sonnet 5가 기존 스키마에 없는 필드를 추가해 호출이 거부되는 현상이 발생했다. 이로 인해 최신 모델이 이전 모델보다 특정 도구 스키마를 더 잘 따르지 못하는 문제가 관찰되었다. 결과적으로, 모델의 개선이 도구 사용의 일관성 악화로 이어질 수 있음을 보여준다.

Despite improved models, consistency in tool usage is declining.

In Pi's edit tool, both Claude Opus 4.8 and Sonnet 5 failed to call due to adding fields not in the existing schema. This issue highlights that the latest models are not adhering to specific tool schemas as well as their predecessors. Consequently, improvements in models may lead to decreased consistency in tool usage.