PulseAugur
中
实时 10:18:50
English(EN) Unlocking Parallelism in Autoregressive Language Models via Speculative Decoding with Progressive Tree Drafting

新的推测性解码方法提高了 LLM 推理速度

作者 PulseAugur 编辑部 · [3 个来源] ·

研究人员开发了使用推测性解码加速语言模型推理的新方法。一种方法 SpecVocab 专注于优化较小草稿模型用于预测目标模型输出的词汇表，与 EAGLE-3 等现有方法相比，可实现更高的接受长度，吞吐量提高高达 8.1%。另一种方法渐进式树草稿 (PTD) 在目标模型本身内利用结构化的并行草稿策略，采用树结构和剪枝机制来探索多个语义路径。PTD 在各种基准测试中展示了高达 2 倍的解码加速，而无需额外的训练或模型修改。 AI

影响 推测性解码的这些进步可以显著降低大型语言模型的延迟和计算成本，从而实现更快的实时应用程序和更高效的部署。

排序理由 该集群包含两篇详细介绍加速语言模型推理的新方法的论文。

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →

新的推测性解码方法提高了 LLM 推理速度

报道来源 [3]

  1. arXiv cs.CL TIER_1 English(EN) · Zhibin Wang, Xuying Han, Zhaohua Yang, Fuliang Liu, Xue Li, Rong Gu, Sheng Zhong, Chen Tian ·

    SpecLA：面向线性注意力模型的 eficient 投机解码

    arXiv:2607.16673v1 Announce Type: new Abstract: Linear-attention models replace the growing KV cache with recurrent states, but autoregressive decoding still reads, updates, and writes these states one token at a time. Speculative decoding can reduce this cost by verifying severa…

  2. arXiv cs.CL TIER_1 English(EN) · Miles Williams, Young D. Kwon, Rui Li, Alexandros Kouris, Stylianos I. Venieris ·

    具有推测性词汇的推测性解码

    arXiv:2602.13836v2 Announce Type: replace Abstract: Speculative decoding has rapidly emerged as a leading approach for accelerating language model (LM) inference, as it offers substantial speedups while yielding identical outputs. This relies upon a small draft model, tasked with…

  3. Hugging Face Daily Papers TIER_1 English(EN) ·

    通过渐进式树草稿的推测解码解锁自回归语言模型的并行性

    Speculative decoding has significantly accelerated Large Language Model (LLM) inference by alleviating memory-bound bottlenecks. However, traditional speculative decoding typically relies on auxiliary draft modules, incurring significant training and communication overhead. Altho…

相关实体

相关话题