AI 코딩 에이전트의 대규모 리팩토링 성능에 대한 분석.
AI 코딩 에이전트는 대규모 리팩토링에서 여전히 어려움을 겪고 있으며, 최고의 모델도 41.2%의 해결률을 기록하고 있습니다. 기존의 벤치마크는 대규모 리팩토링을 건너뛰는 경향이 있지만, 이 기사에서는 그러한 문제를 다루고 있습니다. AI 모델의 성능에 대한 보다 깊은 통찰을 제공합니다.
Analysis of AI coding agents' performance on large-scale refactoring.
AI coding agents still struggle with large-scale refactoring, with the best model achieving only a 41.2% resolve rate. Most existing benchmarks tend to skip large-scale refactoring, but this article addresses that gap. It provides deeper insights into the performance of AI models.