研究人员推出了一种新颖的自回归适配器 Weaver，旨在提高语言模型中推测性解码的效率。Weaver 从因子化起草器的 top-K 边际量构建提议树，在无需进行全词汇量投影的情况下恢复了 token 之间的条件依赖性。这种方法结合 SGLang 中针对具有 Gated Delta Net 层的模型的优化 CUDA 核，实现了比标准自回归解码快 4.37 倍的速度，并比 DFlash 基线快 24.7%。该研究已发布在 arXiv 上。 AI
影响 提高了自回归语言模型的效率，可能带来更快、更具交互性的 AI 应用。
排序理由 该集群包含一篇在 arXiv 上发表的关于自回归语言模型新方法的学术论文。
- arXiv
- Gated Delta Net
- Hugging Face
- SGLang
- Weaver
- alphaXiv
- Connected Papers
- CORE Recommender
- DagsHub
- IArxiv Recommender
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
