OpenAI Jalapeño: Nvidia Blackwell을 앞선 LLM 추론 칩

OpenAI Jalapeño가 Nvidia Blackwell을 초월한 성능을 기록했다.

OpenAI와 Broadcom이 공동으로 설계한 Jalapeño는 A0 실리콘로 여러 오픈 모델에서 Nvidia Blackwell을 초월하는 전력당 처리량을 달성했다. 또한 HBM4와 간소화된 메모리·네트워크 구조를 갖추어 효율적인 성능을 자랑한다. 이 결과는 LLM 추론의 미래에 많은 기대를 모은다.

OpenAI's Jalapeño outperforms Nvidia Blackwell in performance.

OpenAI, in collaboration with Broadcom, has designed the Jalapeño, which achieved superior power efficiency compared to Nvidia's Blackwell using A0 silicon across various open models. The chip incorporates HBM4 and a simplified memory and network structure, demonstrating impressive efficiency. This development raises significant expectations for the future of LLM inference.