프런티어 LLM의 불일치 현상이 실제 팩트체크에서 드러났다.
프런티어 LLM 5종이 실제 사용자 제출 클레임 1,000개를 분석한 결과, 67%에서 판정이 갈렸고 모든 모델이 일치한 경우는 33%에 불과했다. 다수 판정의 결과는 정답 라벨보다는 불일치 측정 기준으로, 일부 모델이 틀릴 수밖에 없는 상황을 드러낸다. 이 연구는 LLM의 신뢰성과 정확성에 대한 중요한 통찰을 제공한다.
Discrepancies among frontier LLMs revealed in real fact-checking.
An analysis of 1,000 user-submitted claims found that the five frontier LLMs disagreed 67% of the time, with all models agreeing only 33% of the time. The results highlight that the majority judgment reflects discrepancies rather than accuracy, indicating that at least one model must be incorrect in those cases. This study provides significant insights into the reliability and accuracy of LLMs.