新方法将线性注意力改造到扩散语言模型中以加速其运行

研究人员开发了一种将线性注意力改造到扩散语言模型（dLLMs）中的方法，以加速推理。这种名为块混合注意力（block-hybrid attention）的新方法将精确的softmax注意力与活动去噪块结合，并对之前的块应用线性注意力。当应用于LLaDA~2.1模型并生成LLaDA-Hybrid时，它实现了高达1.7倍的解码吞吐量提升，并提高了内存效率，同时在HumanEval和MBPP+等基准测试中性能没有明显下降。 AI

影响 加速扩散语言模型的推理，可能实现这些AI系统更快、更高效的部署。

排序理由 该集群包含一篇学术论文，详细介绍了一种提高AI模型推理速度的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• Hugging Face
• HumanEval
• LLaDA~2.1
• LLaDA-Hybrid
• MBPP+
• Triton

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →