Senior SWE-Bench는 시니어 엔지니어 평가를 위한 오픈소스 벤치마크입니다.
Senior SWE-Bench는 시니어 엔지니어가 수행하는 기능 개발, 버그 수정 및 성능 문제를 평가하는 벤치마크입니다. 주니어 과제를 사용하는 대신, 현실적인 지시사항을 통해 코딩 에이전트를 평가합니다. 이를 통해 실제 엔지니어의 업무에 가까운 평가가 가능해집니다.
Senior SWE-Bench is an open-source benchmark for evaluating senior engineers.
Senior SWE-Bench aims to assess coding agents in a way that reflects the tasks of a senior engineer, focusing on feature development, bug fixing, and performance issues. Instead of overly simplified junior tasks, it utilizes realistic directives written in natural language. This approach allows for a more accurate evaluation of real engineering work.