Jetson Nano: Ollama & Optimal Quantization
Jetson Nano와 Ollama의 최적화된 양자화에 대한 연구 발표.
Research announcement on optimized quantization with Jetson Nano and Ollama.
AI가 선별한 아티클
Jetson Nano와 Ollama의 최적화된 양자화에 대한 연구 발표.
Research announcement on optimized quantization with Jetson Nano and Ollama.
Gemma-4-12B 모델의 실제 성능 개선을 검토한 기사입니다.
This article reviews the real-world performance improvements of the Gemma-4-12B model.
로컬에서 LLM을 실행하는데 필요한 RAM 계산 방법과 예상 속도에 대한 안내.
This article explains how to calculate RAM needed to run LLMs locally and what to expect in terms of speed.
VRAM 예산에 맞는 GGUF 양자화 레벨 선택 방법에 대한 가이드.
A guide on how to choose a GGUF quantization level based on your VRAM budget.
QAT 모델의 대체 양자화 방법 사용의 타당성에 대한 논의.
Discussion on the validity of using alternative quantization methods for QAT models.
KVarN은 높은 압축 비율을 자랑하는 KV-Cache 양자화 방법입니다.
KVarN is a KV-Cache quantization method with high compression rates.
사적인 LLM 추론이 클라우드보다 비용이 더 많이 드는 이유를 설명합니다.
Explains why local LLM inference can be more expensive than using the cloud.
Parameter Golf가 AI 지원 연구에 대해 배운 내용을 다룹니다.
Parameter Golf taught important lessons about AI-assisted research.