新的ReTopK方法加速了LLM的长上下文注意力

研究人员开发了ReTopK，一种提高Transformer模型长上下文注意力效率的新颖方法。该技术通过重用过去的注意力决策来加速识别相关键值对的过程，从而降低计算成本。ReTopK在128K上下文长度下实现了超过3倍的注意力计算加速，同时仅带来极小的困惑度增加。该方法在PG19和LongBench等基准测试中表现强劲，优于其他近似注意力方法。 AI

影响 加速了LLM在长上下文中的推理，可能降低计算成本，并支持具有更大上下文窗口的模型得到更广泛的应用。

排序理由 该条目是一篇研究论文，详细介绍了一种提高LLM效率的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• LongBench
• PG19
• ReTopK
• ScienceCast

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →