Presentation: Building Evals for AI Adoption: From Principles to Practice

Mallika Rao가 AI 시스템의 평가 부채 위험과 현대 아키텍처에 대한 전통적 메트릭의 한계를 설명합니다.

Mallika Rao는 Twitter, Walmart, Netflix에서의 경험을 바탕으로 생산 AI 시스템에서 평가 부채의 숨겨진 위험을 논의합니다. 그는 전통적인 메트릭이 현대 아키텍처에 실패하는 이유를 설명하며, 인프라 및 사용자 경험을 아우르는 다섯 개의 평가 스택을 분해합니다. 또한, 엔지니어링 리더가 무언의 의미적 실패를 제거하는 데 도움을 줄 수 있는 진단 성숙도 모델을 공유합니다.

Mallika Rao discusses the risks of evaluation debt in production AI and the failures of traditional metrics in modern architectures.

Mallika Rao draws on her experiences from Twitter, Walmart, and Netflix to discuss the hidden risks of evaluation debt in production AI systems. She explains why traditional metrics fail to meet the needs of modern architectures and breaks down a five-layer evaluation stack that includes infrastructure and UX. Additionally, she introduces a diagnostic maturity model designed to help engineering leaders mitigate silent semantic failures.