고성능 컴퓨팅(HPC) 없이도 기초 AI 연구가 가능한지에 대한 질문.
저자는 머신러닝(ML)에 대한 지식이 부족하지만, 'Attention is all you need'의 연구가 당시 높은 성능의 게임 GPU로 수행되었다고 언급하고 있습니다. 그가 ML에 대한 이해도를 높인 후, 기초적 수준의 기여를 하려면 여전히 대규모 하드웨어 인프라에 접근할 필요가 있는지 의문을 제기합니다.
A question about the possibility of foundational AI research without access to HPC.
The author expresses a lack of deep knowledge in ML but mentions that the landmark paper 'Attention is all you need' was based on high-end gaming GPUs. After improving their competence in ML, the author wonders if significant hardware infrastructure is still necessary to contribute at a foundational level in AI research.