DeepSWE: new benchmark looking at how well today's frontier models can actually write code [R]

DeepSWE는 최신 코딩 모델의 성능을 평가하는 새로운 벤치마크입니다.

DeepSWE는 기존 벤치마크에 비해 네 가지 주요 개선점을 제공합니다. 모든 작업이 새로운 코드로 작성되어 모델이 사전 훈련 중에 솔루션을 본 적이 없으며, 91개의 리포지토리에서 참조하는 다양한 과제가 포함되어 있습니다. 실제 복잡성을 고려하여 솔루션은 더 많은 코드와 출력 토큰을 요구합니다. 이를 통해 현대 코딩 에이전트의 성능을 더 잘 반영하는 벤치마크가 완성되었습니다.

DeepSWE is a new benchmark assessing how well modern coding models perform.

DeepSWE provides four key advancements over existing benchmarks. Tasks are generated from scratch, ensuring no model has seen solutions during pretraining, and they draw from a diverse set of 91 repositories in five languages. Additionally, the complexity of prompts demands significantly more code and output tokens. The benchmark aims to accurately reflect the performance of today's frontier coding agents in software engineering.