研究人员对推测性解码(一种可以提高语言模型吞吐量的技术)进行了一项对照研究。研究发现,推测性解码的益处高度依赖于接受长度和执行延迟之间的权衡。通过标准化训练和推理条件,研究人员观察到不同方法之间的性能差距显著缩小。他们还发现,可以通过低成本的目标和上下文更改,或成本更高的逐令牌条件设置来改进接受度,最佳方法取决于任务不确定性和服务条件。 AI
影响 为语言模型推理效率的未来设计和部署选择提供信息。
排序理由 关于人工智能技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →