Making LLMs tell you how confident they really are through probe-targeted fine tuning.[R]

LLM의 신뢰도를 조정하는 연구를 공유합니다.

이 연구는 probe-targeted fine-tuning(LoRa)을 통해 LLM의 신뢰도를 조정하는 방법에 대해 설명합니다. 모델은 내부적으로는 정답을 인식하지만, 이를 바탕으로 외부에 신뢰도를 표현하는 능력이 부족합니다. 본 연구에서는 8개의 모델을 대상으로 테스트를 진행하였으며, 결과적으로 모델이 신뢰도를 조정하는 방법을 배웠으나 텍스트 표현의 병목현상으로 99%의 신뢰도를 계속 주장하는 문제가 있다고 합니다.

The article shares research on calibrating LLM confidence through probe-targeted fine-tuning.

This research discusses how to calibrate the confidence of LLMs using probe-targeted fine-tuning (LoRa). The model recognizes correct answers internally but struggles to express this externally. Testing on eight models revealed that while the model learns to adjust its confidence, a text bottleneck prevents it from expressing anything other than 99% confidence. The study aims for rigorous and replicable results, with code available for further analysis.