Pyrecall open source tool for detecting catastrophic forgetting during LLM fine-tuning[P]

LLM 파인튜닝 중 재난 망각을 검출하는 오픈 소스 도구 Pyrecall 출시.

Pyrecall은 LLM 파인튜닝 과정에서 발생할 수 있는 재난 망각을 감지하기 위한 도구로 개발되었습니다. 이 도구는 파인튜닝 전후의 기술 점수를 스냅샷으로 저장하고, 퇴화를 플래그 표시하며 이름별로 LoRA 어댑터를 롤백할 수 있습니다. 외부 API 없이 완전 로컬에서 작동하며, v0.1.0 버전이 MIT 라이선스로 제공됩니다.

Pyrecall is an open-source tool for detecting catastrophic forgetting during LLM fine-tuning.

Pyrecall is designed to detect catastrophic forgetting that may occur during LLM fine-tuning. It snapshots skill scores before and after fine-tuning, flags regressions, and rolls back LoRA adapters by name. The tool operates fully locally without external APIs, and it is available as v0.1.0 under the MIT license.