Non-deterministic Vulnerability Detection Benchmark System [P]

비결정적 취약점 탐지 벤치마크 시스템에 대한 논의.

이 글은 비결정적 취약점 탐지 벤치마크 시스템에 대한 논의로, 제목의 저자가 AI 관련 작업에서 영감을 받아 만든 벤치마크에 대한 피드백을 요청하고 있습니다. 코드베이스는 잘 알려진 취약점 CWE를 숨기기 위해 수정되었으며, LLM이 코드 주석의 감정적 맥락에 따라 어떻게 반응하는지를 검토할 수 있는 기능을 포함합니다. 최종적인 발표와 출판 LLM의 실제 벤치마크를 위한 작업이 남아 있다고 언급하며, 조언과 도움을 구하고 있습니다.

Discussion on a non-deterministic vulnerability detection benchmark system.

This article discusses a non-deterministic vulnerability detection benchmark system, with the author seeking feedback on their created benchmark inspired by AI-related work. The codebase modifies known vulnerabilities (CWEs) to test the LLM's responses to contextually manipulated comments. The author notes they still need to finalize the presentation and benchmark published LLMs, and they're open to advice and assistance.