无键注意力机制将 Transformer KV 缓存内存减少 50%

研究人员推出了一种名为 Keyless Attention 的新颖机制，旨在提高 Transformer 架构的效率。该方法用专用的值空间路由投影取代了传统的键投影，消除了注意力计算中对键表示的需求。由此产生的仅值缓存可以将 KV 缓存内存和访问开销减少多达 50%，从而提高解码吞吐量。在各种模型和架构上的实验表明，Keyless Attention 在困惑度方面可媲美或超越标准的 QKV 注意力，并在下游任务上取得了有竞争力的性能。 AI

影响 这种新颖的注意力机制可以显著降低大型语言模型中长上下文推理相关的计算和内存成本。

排序理由 这是一篇详细介绍改进 Transformer 效率的新颖技术方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• arXiv
• Hugging Face
• Keyless Attention
• KV cache
• QKV attention
• Transformer
• Value-Only Cache
• Value-Space Routing
• Xin Gao

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →