OpenAI와 Broadcom이 LLM 최적화 칩을 발표하며 AI 추론 하드웨어에 변화를 가져왔다.
OpenAI가 Broadcom과 협력하여 최초의 LLM 최적화 칩을 발표했다. 이는 OpenAI가 자사 하드웨어 설계에 진출한 첫 사례로, AI 추론 시장에서의 주도권을 확보하려는 노력을 보여준다. 그러나, Nvidia의 H 시리즈 칩은 여전히 시장에서 중요한 위치를 차지하고 있으며, 단기간에는 대체할 기술이 없다는 신호를 보내고 있다. 이는 엔지니어들에게는 자사 워크로드에 맞는 맞춤형 하드웨어 선택을 고려할 필요성을 강조한다.
OpenAI and Broadcom announced an LLM-optimized chip, signaling a shift in AI inference hardware.
OpenAI, in collaboration with Broadcom, has announced its first LLM-optimized chip for AI inference. This marks OpenAI's entry into custom hardware design and highlights its efforts to gain control over the AI inference market. Meanwhile, Nvidia's H series chips remain dominant, indicating that there is no immediate substitute. This news suggests that engineers should consider tailored hardware options for their workloads.