We'll benchmark an Open weights LLM on any GPU you choose — drop your model + hardware and we'll run it. [D]

HexGrid Cloud가 사용자의 요청에 따라 GPU에서 오픈 소스 LLM을 벤치마킹합니다.

HexGrid Cloud는 오픈 소스 모델을 GPU에서 배포하는 플랫폼으로, 사용자 요청에 따라 특정 모델을 벤치마킹할 수 있습니다. 현재는 주로 chat/instruct 모델에 집중하며, 사용자가 원하는 모델 및 하드웨어를 선택할 수 있습니다. 벤치마킹 과정에서는 최대 처리량, 단일 스트림 속도, 긴 컨텍스트 프리필 등을 측정하여 결과를 공유할 예정입니다.

HexGrid Cloud benchmarks open-source LLMs on user-specified GPUs.

HexGrid Cloud is a platform for deploying open-source models on GPUs, offering benchmarking based on user requests. They focus on chat/instruct models and allow users to suggest models and choose hardware for testing. The benchmarking will measure max throughput, single-stream speed, and long-context prefill, with full results shared publicly.