인간 LLM 주석이 비싼 이유와 해결책에 대한 논의.
Scale AI와 같은 서비스의 주석 비용이 비싼 이유에 대해 설명하고 있습니다. MTurk는 저렴하지만 도메인 이해가 필요한 작업에는 품질이 떨어진다는 점도 언급되고 있습니다. 소규모 팀이 필요한 주석을 수집하는데 있어 적절한 방법을 찾는 것이 어려움을 겪고 있다는 질문이 포함되어 있습니다.
Discussion on why human LLM annotation is expensive and possible solutions.
The article explains the high costs of annotation services like Scale AI. It mentions that while MTurk is inexpensive, its quality suffers for tasks requiring real domain understanding. There is also a query on how small teams are managing to gather the necessary annotations and if any effective methods exist.