实体 OnlineSPEC

OnlineSPEC

PulseAugur coverage of OnlineSPEC — every cluster mentioning OnlineSPEC across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_187343 · Aug 7 · 04:00

OnlineSPEC框架通过自适应学习将LLM推理速度提升24%

研究人员推出了一种新颖的框架OnlineSPEC，它提高了大型语言模型中投机解码的效率。该方法利用解码过程中产生的反馈来持续更新和改进一个轻量级的草稿模型。通过根据验证反馈调整草稿模型，OnlineSPEC旨在增加接受长度和整体加速，在各种基准测试和基础模型上实现了高达24%的改进。