PulseAugur
中
实时 10:35:04
English(EN) Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context

Windowed-MTP 优化百万级上下文的投机解码

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了 Windowed-MTP，一种优化自回归模型中大上下文窗口投机解码的新技术。通过在草稿模型的注意力机制中应用滑动窗口和注意力沉锚，Windowed-MTP 显著降低了在百万级上下文生成 token 的计算成本。该方法无需训练、无损，并在各种模型架构上展示了 28% 至 44% 的性能提升，同时还回收了 KV 缓存内存。 AI

影响 这项技术可以显著加快大上下文模型的推理速度，使其在实际应用中更加实用。

排序理由 该条目是一篇研究论文，详细介绍了一种改进 LLM 推理的新技术方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Windowed-MTP 优化百万级上下文的投机解码

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Alagappan Valliappan ·

    Windowed-MTP：消除百万级上下文的全文草稿KV成本

    arXiv:2607.21535v1 Announce Type: cross Abstract: Speculative decoding accelerates autoregressive generation by having a cheap draft propose tokens that a target verifies in parallel. Frontier models increasingly ship a built-in Multi-Token-Prediction (MTP/NEXTN) draft head under…

相关实体

相关话题