研究人员开发了DeLS-Spec，一种用于大型语言模型推测解码的新方法，它解耦了长上下文和短上下文专家。这种方法允许一个轻量级的本地头（短上下文专家）独立训练，与需要从头开始训练草稿模型的方法相比，显著降低了训练成本。DeLS-Spec将固定长上下文模型的logits与独立训练的本地头相结合。在Qwen3模型上的实验表明，DeLS-Spec在数学、代码和对话等各种基准测试中提高了加速比和平均接受长度。 AI
影响 降低LLM推理成本并提高各种任务的速度。
排序理由 详细介绍LLM推理新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
