RTX 4070 Super

Gemma 4 12B 模型在 12GB VRAM 下达到 120 tokens/sec

Reddit r/LocalLLaMA 子版块的一位用户使用 Google 的 Gemma 4 12B 模型实现了每秒 120 token 的推理速度。这是通过使用该模型的量化感知训练 (QAT) 变体实现的，具体为 GGUF 格式，运行在具有 12GB VRAM 的系统上。该设置涉及 llama.cpp 的补丁版本和特定的模型文件，展示了在消费级硬件上高效地本地运行大型语言模型。