최신 수준 LLM 로컬 실행 가이드

최신 LLM을 로컬에서 실행하기 위한 하드웨어 및 소프트웨어 구성 가이드.

이 글은 로컬에서 최신 수준의 LLM과 음성-텍스트 변환을 실행하기 위한 하드웨어와 소프트웨어 구성 방법을 설명합니다. 하드웨어는 PCIe 스위치 설정을 포함하여, 약 $2k의 예산으로 2× RTX 3090을 활용한 48GB VRAM 확보를 추천합니다. Docker 실행 구성 또한 상세히 안내되어 있습니다.

Guide on hardware and software setup for running state-of-the-art LLM locally.

This article provides a guide for setting up hardware and software to run state-of-the-art LLM and speech-to-text conversion locally. It recommends using two RTX 3090s for a total of 48GB VRAM within a budget of about $2k, along with PCIe switch configurations. Docker execution setups are also detailed.