Best models for generating red-team attacks? Also looking for public datasets [R]

LLM 애플리케이션의 보안 평가를 위한 적합한 모델과 데이터셋을 찾는 질문 시리즈입니다.

LLM 애플리케이션의 보안을 평가하기 위한 프레임워크를 구축하고 있는 작성자가 적합한 모델과 데이터셋에 대한 질문을 제기했습니다. 주로 적대적인 프롬프트 생성을 위해 어떤 클로즈드 소스와 오픈 소스 모델이 효과적인지 질문하고 있으며, 더욱 현실적이고 도전적인 공격을 생성하는 모델에 대한 의견을 구하고 있습니다. 또한, AI 에이전트의 보안을 검증할 수 있는 공공 데이터셋에 대한 추천도 요청하고 있습니다.

A query about suitable models and datasets for evaluating LLM application security.

The author is working on a framework to assess the security of LLM applications and has questions about suitable models for generating adversarial prompts. They inquire about both closed-source and open-source models that effectively produce realistic attacks. Additionally, they seek recommendations for public datasets to benchmark security in AI agents, preferring high-quality predefined attacks. The post invites insights and advice from those with experience in LLM security and red teaming.