研究人员推出了一种名为DeLS-Spec的新方法，通过解耦长短上下文推测解码来加速大型语言模型推理。该方法使用一个固定的长上下文专家DFlash和一个轻量级的、可独立训练的短上下文专家。与需要从头开始训练的Domino和DSpark等先前方法相比，DeLS-Spec提供了显著更低的训练成本和更高的模块化。在Qwen3模型上的实验表明，DeLS-Spec在各种基准测试中提高了加速效果和平均接受长度。 AI
影响 该方法可能带来更快、更高效的LLM推理，降低计算成本并改善用户体验。
排序理由 这是一篇详细介绍LLM推理加速新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.07409v1 Announce Type: new Abstract: Speculative decoding accelerates LLM inference by drafting multiple tokens and verifying them in parallel. Block-parallel drafters such as DFlash further improve drafting efficiency by predicting an entire block in one pass, but the…
Speculative decoding accelerates LLM inference by drafting multiple tokens and verifying them in parallel. Block-parallel drafters such as DFlash further improve drafting efficiency by predicting an entire block in one pass, but their position-wise predictions lack explicit intra…