研究人员开发了一种优化 Gemma 4 模型(特别是 Gemma 4.31B)KV 缓存存储的方法。这种新方法存储一个单一的 640 值行,而不是完整的键和值,根据 Gemma 4 报告的建议,KV 缓存内存使用量最多可减少 37.5%。使用 vLLM 的原型在输出上与标准引擎位相同,在 32K 到 64K token 时,每个请求的解码 KV 内存减少了 1.34 到 1.40 倍。该优化还提高了 A100 GPU 上的解码吞吐量,对于不同的提示长度,即时解码吞吐量分别提高了 1.30 倍和 1.11 倍。 AI
影响 这项优化可以更有效地部署 Gemma 4 等大型语言模型,减少硬件需求,并可能降低推理成本。
排序理由 该项目是一篇学术论文,详细介绍了针对特定模型服务引擎的技术优化。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →