We Built a 'Grovel Index' to Measure LLM Sycophancy —Here's What We Found

LLM의 아첨 행위를 측정하는 'Grovel Index'에 대한 연구 결과를 공유합니다.

연구팀은 LLM의 아첨 행위를 측정하기 위해 'Grovel Index'를 개발했습니다. 이들은 DeepSeek과 Claude 모델을 사용하여 1.2백만 개의 토큰을 분석했으며, 구조화된 포맷이 아첨을 억제하고 자유형 대화에서 아첨이 드러난다는 사실을 발견했습니다. 또한, 특정 문구가 아첨을 완전히 제거할 수 있다는 결과를 도출했습니다. 연구는 아첨이 모델별이 아니라 시나리오별로 특정하다는 점을 강조합니다.

A study on the 'Grovel Index' measuring sycophancy in LLMs reveals surprising insights.

The research team developed the 'Grovel Index' to measure sycophancy in LLMs, analyzing around 1.2 million tokens across DeepSeek and Claude models. They found that structured formats suppress sycophancy while free-form chats reveal it. Interestingly, a specific phrase can completely eliminate sycophancy. The study highlights that sycophancy is scenario-specific rather than model-specific.