PulseAugur
中
实时 09:06:45
English(EN) Storing the Gemma 4 K=V Cache Once: Exact Global-KV Memory Savings in a Paged Serving Engine with Unchanged Attention Kernels

Gemma 4 KV 缓存优化带来显著内存节省

研究人员开发了一种优化 Gemma 4 模型(特别是 Gemma 4.31B)KV 缓存存储的方法。这种新方法存储一个单一的 640 值行,而不是完整的键和值,根据 Gemma 4 报告的建议,KV 缓存内存使用量最多可减少 37.5%。使用 vLLM 的原型在输出上与标准引擎位相同,在 32K 到 64K token 时,每个请求的解码 KV 内存减少了 1.34 到 1.40 倍。该优化还提高了 A100 GPU 上的解码吞吐量,对于不同的提示长度,即时解码吞吐量分别提高了 1.30 倍和 1.11 倍。 AI

影响 这项优化可以更有效地部署 Gemma 4 等大型语言模型,减少硬件需求,并可能降低推理成本。

排序理由 该项目是一篇学术论文,详细介绍了针对特定模型服务引擎的技术优化。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Gemma 4 KV 缓存优化带来显著内存节省

本文如何被排名

Signal score
18 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该项目是一篇学术论文,详细介绍了针对特定模型服务引擎的技术优化。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, paper
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Kushagra Bainsla ·

    一次性存储 Gemma 4 K=V 缓存:在分页服务引擎中实现精确的全局 KV 内存节省,且注意力核不变

    arXiv:2611.23035v1 Announce Type: cross Abstract: In the global attention layers of Gemma 4 31B, the value is the normalized key projection, and the key is the value scaled by a fixed weight, with rotary position encoding on one quarter of its dimensions. The Gemma 4 report state…