툴 사용 LLM 에이전트의 안전 평가에 관한 연구 결과를 소개합니다.
최근 ACM CAIS 2026에서 발표된 논문은 툴을 사용하는 LLM 에이전트의 안전 평가에 대해 다루고 있습니다. 이 연구에서는 안전이나 정책 제약을 위반하면서도 작업을 완료할 수 있는 경우를 분석하여, 성공을 '안전한 성공', '위험한 성공', 그리고 '실패'로 나누어 연구했습니다. 제안된 두 단계 검증 아키텍처는 첫 번째로 결정론적 정책/툴 검사를 수행하고, 이어서 LLM 기반 검증기가 컨텍스트 기반 안전성 사례를 다룹니다. 이 연구는 검증이 위험한 성공을 줄일 수 있으나 작업 지평선이 증가함에 따라 작업 완료 역시 감소시킬 수 있음을 발견하였으며, 이를 'Verifier Tax'라고 명명했습니다.
The paper discusses safety evaluations for tool-using LLM agents.
Recently presented at ACM CAIS 2026, the paper addresses safety evaluation for tool-using LLM agents. The study categorizes outcomes into 'safe success', 'unsafe success', and 'failure' to highlight the potential misleading nature of task completion. A proposed two-tier verification architecture first checks deterministic policies/tools, followed by an LLM-based verifier for contextual safety. The main finding reveals that while verification can reduce unsafe successes, it may also decrease task completion as the task horizon increases, coining the term 'Verifier Tax' to describe this tradeoff.