PulseAugur
中
实时 01:58:24
实体 Training-Free Loosely Speculative Decoding: Accepting Semantically Correct Drafts Beyond Exact Match

Training-Free Loosely Speculative Decoding: Accepting Semantically Correct Drafts Beyond Exact Match

PulseAugur coverage of Training-Free Loosely Speculative Decoding: Accepting Semantically Correct Drafts Beyond Exact Match — every cluster mentioning Training-Free Loosely Speculative Decoding: Accepting Semantically Correct Drafts Beyond Exact Match across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_343070 ·

    vLLM 0.33.0 引入推测解码验证器以加快推理速度

    vLLM 发布了 0.33.0 版本，引入了 FLy，一个可选的推测解码验证器。这种新方法允许接受目标模型可能拒绝的一些草稿 token，可能导致输出质量略有下降，但能提供速度提升。该实现细节在一篇最近的 arXiv 论文中有详细介绍，旨在通过接受语义正确的、超出精确匹配的草稿来提高解码吞吐量，尽管其评估指标和默认配置需要仔细考虑。