研究人员开发了 SpecFit，一种优化专家混合（MoE）模型推理速度的新颖方法，特别是在其专家权重被卸载到主机内存时。SpecFit 专注于通过选择最小化专家在主机和设备之间传输成本的草稿令牌来最大化预测吞吐量。该方法估计预期的已提交令牌，并根据激活的专家预测周期时间，确保每个令牌仅贡献新激活专家的成本。在 CNN/DailyMail 摘要和 GSM8K 上使用 Qwen3-30B-A3B 模型进行的实验表明，SpecFit 在解码速度上显著优于 EAGLE-3 等现有方法。 AI
影响 提高了专家混合模型的推理效率，可能带来更快、更具成本效益的 AI 部署。
排序理由 该集群包含一篇详细介绍优化 AI 模型推理新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
