AI 모델 코딩 평가의 신뢰성 문제를 다루는 기사입니다.
AI 모델의 코딩 능력 평가는 배포와 안정성에 매우 중요하지만, OpenAI의 감사 결과 SWE-Bench Pro에서 약 30%가 깨진 상태로 추정됩니다. 이 모델은 현실적인 과제를 목표로 하였으나, 731개의 공개 작업에서 8개월 동안 통과율이 23.3%로 저조한 성과를 보였습니다. 이러한 결과는 AI 모델 평가의 신뢰성과 효과에 대한 우려를 불러일으킵니다.
The article discusses reliability issues in AI coding assessments.
AI model coding assessments are crucial for deployment and safety, yet an audit by OpenAI indicates that about 30% of the SWE-Bench Pro tasks are estimated to be broken. This model aimed for realistic tasks but showed a passing rate of only 23.3% over 8 months across 731 public tasks. These results raise concerns about the reliability and effectiveness of AI model evaluations.