Benchmark: ONNX Runtime vs HF Transformers vs GGUF for Parakeet TDT 0.6B on CPU-only hardware [D]

ONNX Runtime가 CPU-only 환경에서 HF Transformers보다 37% 빠름.

이 기사는 nvidia/parakeet-tdt-0.6b-v3에 대한 CPU 추론 벤치마크 결과를 공유합니다. ONNX Runtime은 HF Transformers bfloat16보다 37% 빠르며, 이는 연산자 융합 및 AVX2 최적화에 기인합니다. GGUF Q6_K는 메모리 효율성을 위해 처리량을 희생하지만 경량화된 환경에서 유리합니다. 테스트 데이터 및 코드가 GitHub에 제공됩니다.

ONNX Runtime is 37% faster than HF Transformers in CPU-only environments.

This article shares CPU inference benchmark results for nvidia/parakeet-tdt-0.6b-v3. ONNX Runtime is 37% faster than HF Transformers bfloat16 due to operator fusion and AVX2 optimization. GGUF Q6_K sacrifices throughput for memory efficiency, making it favorable in memory-constrained settings. Test data and code are available on GitHub.