AI 가속기를 구축하고 오픈소싱한 내용입니다.
최근 AI 가속기에 대한 오픈 소스의 부족을 해결하기 위해 새로운 가속기를 구축했습니다. 이 가속기는 현대적인 기능인 Attention 메커니즘을 실리콘에 직접 구현하여 성능을 극대화했습니다. FPGA를 사용하여 엔드 투 엔드 프로토타입을 제작하였으며, PyTorch 기반의 워크로드와 비교하여 최대 225배의 속도를 향상시켰습니다.
An AI accelerator has been built and open-sourced.
To address the lack of open source AI accelerators, a new accelerator has been built featuring a contemporary Attention mechanism directly implemented in silicon. Prototyped end-to-end on FPGA, this accelerator has shown impressive benchmarks against PyTorch workloads, achieving up to 225× speedups for vanilla attention. The project is available on GitHub for feedback.