PulseAugur
中
实时 18:48:53
实体 Speedbump-P

Speedbump-P

PulseAugur coverage of Speedbump-P — every cluster mentioning Speedbump-P across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_283190 ·

    新方法通过推测性解码加速大语言模型推理 · 跟踪10个来源

    研究人员正在开发新的方法,通过推测性解码来加速大语言模型(LLM)的推理。这些技术包括使用一个轻量级的“草稿”模型并行生成多个标记,然后由一个更大的“目标”模型进行验证。S$^3$R、DCOCO 和 Nucleus Speculative Decoding 等新方法旨在通过优化验证过程、恢复上下文依赖关系或允许更灵活的接受规则来提高效率。一些方法还探索分析 LLM 的隐藏状态以更好地选择用于验证的层,而另一些方法则侧重于防御会降低推测…