Polestar 框架提升扩散式 LLM 推理效率和准确性

研究人员推出 Polestar，一个旨在提高扩散式大型语言模型 (dLLM) 推理效率的新颖框架。Polestar 解决了两个关键挑战：由于双向注意力而无法有效重用 KV 缓存，以及在静态置信度阈值下增加并行性时生成的质量受损。通过观察到 Token 表示漂移是这两个问题的共同原因，Polestar 采用了一种无需训练的方法。它包括 Polestar-Cache，用于基于漂移检测进行稀疏 KV 缓存刷新；以及 Polestar-Commit，用于通过急剧漂移事件识别已提交就绪的 Token。在数学和编码基准上的实验表明，Polestar 显著提高了准确性和吞吐量，准确率提升高达 10.73%，吞吐量提高 3.7 倍。 AI

影响 提高了 LLM 的推理速度和准确性，可能加速基于扩散式模型的开发和部署。

排序理由 研究论文，详细介绍了一种提高 LLM 推理效率的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• Akshat Ramachandran
• arXiv
• diffusion large language models
• Hugging Face
• KV cache
• Polestar
• Polestar-Cache
• Polestar-Commit
• Tokens

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →