研究人员推出 XM-Sparse,一个旨在提高稀疏注意力机制大语言模型 (LLM) 服务效率的新颖系统。该系统通过将 KV 缓存和 K-index 数据卸载到横向扩展内存池,解决了 GPU 高带宽内存 (HBM) 容量的瓶颈。XM-Sparse 为每种缓存类型采用了定制的 I/O 机制,包括基于 TMA 的 KV 条目检索和 SM 高效的 K-index 访问预取 DMA。实验表明,与现有的基于 PCIe 的系统相比,XM-Sparse 显著提高了解码吞吐量,在 DeepSeek V3.2 和 GLM 5.3 等模型上,在各种上下文长度下性能提高了 4.98 倍。 AI
影响 提高了 LLM 服务效率,可能为生产模型实现更高的并发性和更长的上下文处理能力。
排序理由 该集群描述了一篇关于 LLM 服务新颖系统的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →