코딩 하네스 9종 vs. 노트북

하네스 9종과 노트북의 성능 차이를 비교한 분석.

하네스와 동일한 노트북을 사용하여 로컬 모델의 첫 토큰 대기 시간을 측정한 결과, llama.cpp 기준으로 12.2초에서 225.7초까지 차이가 발생했다. 이는 모델의 속도만으로는 실제 응답성을 판단하기 어렵다는 것을 의미한다. 또한, 긴 시스템 프롬프트와 도구 스키마, 부가 요청이 로컬 자원에 큰 부담을 주고 있음을 지적하고 있다.

Analysis comparing performances of 9 harnesses vs. laptops.

Using the same laptop to test local models, the first token waiting time varied from 12.2 to 225.7 seconds based on the harness. This indicates that model speed alone is insufficient for assessing actual responsiveness. Furthermore, long system prompts, tool schemas, and additional requests significantly strain local resources.