Structural retrieval shows promise over basic RAG for agent failure prediction on trajectory snapshots

구조적 검색 엔진이 기본 RAG보다 에이전트 실패 예측에서 더 나은 성능을 보인다.

구조적 검색 엔진과 KNN 투표 방식이 기본 RAG에 비해 더 우수한 AUC 성능을 보여주었다. 실험 결과, 기본 RAG는 구조적 신호를 잃는 반면, 새로운 접근 방식은 경로를 유형화된 요소의 시퀀스로 나타낸다. 이 연구는 에이전트 인프라의 평가 및 필터링에 중요한 통찰력을 제공하며, episodiq라는 오픈소스 파이썬 패키지로 구현되었다.

A structural retrieval engine outperforms basic RAG in predicting agent failures.

The structural retrieval engine with KNN voting exhibits superior AUC performance compared to basic RAG. The results indicate that basic RAG loses essential structural signals, while the proposed approach represents trajectories as sequences of typed elements. This research offers valuable insights for evaluation and filtering in agent infrastructure and has been implemented in the open-source Python package, episodiq.