PulseAugur
中
实时 06:57:45
English(EN) GRAFT: Adaptive DLM-Based Draft Tree Construction with Target-Distilled Edge Scoring

GRAFT 框架通过新的评分和预算分配提升 DLM 预测解码

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出 GRAFT，一个旨在增强扩散语言模型（DLM）中预测解码的新框架。GRAFT 采用目标蒸馏边评分（TDES）从目标模型轨迹中学习父子兼容性偏好，确保草稿树中更准确的边选择。此外，它利用状态感知预算分配（SABA）根据解码状态动态调整树预算，平衡草稿增益与验证成本。该方法已证明能显著提速，比自回归方法快 2.13 倍至 6.36 倍，且开销极小。 AI

影响 GRAFT 在预测解码方面的进步可能带来更快、更高效的语言模型推理，从而加速实时人工智能应用。

排序理由 该集群包含一篇详细介绍语言模型解码新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

GRAFT 框架通过新的评分和预算分配提升 DLM 预测解码

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Xuming Ye, Zeming Ma, Runjie Yu, Yuan Liu, Tianle Li, Shuhan Bai, Jian Zhou, Fei Wu ·

    GRAFT：基于自适应DLM的草稿树构建与目标蒸馏边评分

    arXiv:2608.20375v1 Announce Type: new Abstract: Tree-based speculative decoding raises the mean accepted tokens of standard speculative decoding by verifying multiple draft paths, and existing tree builders typically construct these paths through parent-conditioned expansion, whe…

相关实体

相关话题