FlexDraft

Graft 和 FlexDraft 通过新的推测性解码方法提升 LLM 速度

两篇新研究论文 Graft 和 FlexDraft 引入了先进的推测性解码技术，以加速大型语言模型推理。Graft 结合了剪枝和检索，以填补剪枝分支留下的空白，在无需训练的情况下实现了显著的加速。FlexDraft 采用注意力调整和奖励引导校准，以灵活适应不同的批处理大小，缓解草稿验证不匹配问题并提高吞吐量。这些方法旨在通过允许以接近小型模型的速度提供高质量响应，来克服 LLM 部署中的延迟-成本陷阱。