Alagappan Valliappan

Windowed-MTP 优化百万token上下文的投机解码

研究人员开发了 Windowed-MTP，一种优化语言模型大上下文窗口投机解码的新技术。该方法通过应用滑动窗口和注意力汇聚点，解决了在百万token上下文下草稿头注意力机制成为瓶颈的问题。Windowed-MTP 无需训练且无损，确保目标模型的输出分布不变。在 Qwen GDN-MoE 和 Mamba2-hybrid 模型上的测试表明，每解码步成本和端到端延迟均显著降低。