实体 Draft-OPD

Draft-OPD

PulseAugur coverage of Draft-OPD — every cluster mentioning Draft-OPD across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_64771 · May 28 · 00:00

新方法通过策略内蒸馏提升LLM推理速度

研究人员开发了Draft-OPD，一种提高大型语言模型推测解码效率的新方法。该技术通过使用策略内蒸馏来解决离线训练与实时推理之间的不匹配问题。Draft-OPD结合了目标辅助回放和错误重放，使草稿模型能够从接受和拒绝的提议中学习，并专注于阻碍推测性接受的错误。实验表明，该方法可以实现语言模型超过五倍的无损加速。