实体
Sangam
Sangam
PulseAugur coverage of Sangam — every cluster mentioning Sangam across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Sangam 系统优化扩散式大语言模型的服务
研究人员开发了 Sangam，一个旨在高效处理扩散式大语言模型（dLLMs）的新服务系统。与传统的自回归模型不同，dLLMs 迭代生成文本并具有双向注意力机制，这使得标准的缓存技术变得复杂。Sangam 引入了一个赤字 token 预算调度器来管理进行中的解码和整个预填充，目标是实现摊销的无停滞调度。该系统还采用了一种混合服务策略来平衡预填充和解码的资源分配，在 LLaDA-8B 和 Dream-7B 等基准测试中显示出比现有方法更高的延迟改进。
-
新的Sangam系统可高效服务扩散式大语言模型
研究人员开发了Sangam，一个新颖的、旨在高效处理扩散式大语言模型（dLLMs）的服务系统。与传统的自回归模型不同，dLLMs通过迭代去噪生成文本，并且由于其双向注意力机制，无法直接应用标准的KV缓存。Sangam通过引入一个赤字令牌预算调度器来解决这个问题，该调度器优先处理正在进行的解码，并仅在令牌预算允许时才允许整个预填充，从而确保了摊销的无停滞调度。该系统还采用了一种混合服务策略来管理预填充-解码资源分区，从而优化了对解码密集…