METR AI 그래프에 심각한 오류가 있다고 비판하는 글이다.
Nathan Witkin은 METR AI 시간 지평선 그래프의 여러 심각한 결함을 지적하며, 이 데이터의 신뢰성을 문제삼고 있다. 그는 METR 그래프의 오류가 다양한 방식으로 누적되고 있으며, 이를 개선하기보다는 더 높은 품질의 정보를 찾는 것이 중요하다고 주장한다. 특히 인간 벤치마크 데이터의 신뢰성 부족과 유도된 측정 방식이 문제라고 강조한다.
A critique highlights serious errors in the METR AI graph's data reliability.
Nathan Witkin critiques the METR AI time horizons graph, pointing out numerous serious flaws that undermine its reliability. He argues that the errors in the METR graph compound in various ways, suggesting that instead of attempting to adjust it, researchers should seek higher-quality information. Specifically, he emphasizes the lack of empirical data in human benchmarks and the problematic incentivization of benchmarkers.