Sangam 系统优化扩散式大语言模型的服务

研究人员开发了 Sangam，一个旨在高效处理扩散式大语言模型（dLLMs）的新服务系统。与传统的自回归模型不同，dLLMs 迭代生成文本并具有双向注意力机制，这使得标准的缓存技术变得复杂。Sangam 引入了一个赤字 token 预算调度器来管理进行中的解码和整个预填充，目标是实现摊销的无停滞调度。该系统还采用了一种混合服务策略来平衡预填充和解码的资源分配，在 LLaDA-8B 和 Dream-7B 等基准测试中显示出比现有方法更高的延迟改进。 AI

影响 优化扩散式大语言模型的推理，可能降低这些计算密集型系统的延迟并提高效率。

排序理由 该条目是一篇研究论文，详细介绍了一个用于服务扩散式大语言模型的新系统。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• dKV-Cache
• Dream-7B
• Fast-dLLM++
• Hugging Face
• LLaDA-8B
• Sangam
• ShareGPT

• 基础设施
• 论文

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →