PulseAugur
中
实时 07:50:05

XM-Sparse 系统通过新颖的内存卸载提升 LLM 服务吞吐量

研究人员推出 XM-Sparse,一个旨在提高稀疏注意力机制大语言模型 (LLM) 服务效率的新颖系统。该系统通过将 KV 缓存和 K-index 数据卸载到横向扩展内存池,解决了 GPU 高带宽内存 (HBM) 容量的瓶颈。XM-Sparse 为每种缓存类型采用了定制的 I/O 机制,包括基于 TMA 的 KV 条目检索和 SM 高效的 K-index 访问预取 DMA。实验表明,与现有的基于 PCIe 的系统相比,XM-Sparse 显著提高了解码吞吐量,在 DeepSeek V3.2 和 GLM 5.3 等模型上,在各种上下文长度下性能提高了 4.98 倍。 AI

影响 提高了 LLM 服务效率,可能为生产模型实现更高的并发性和更长的上下文处理能力。

排序理由 该集群描述了一篇关于 LLM 服务新颖系统的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

XM-Sparse 系统通过新颖的内存卸载提升 LLM 服务吞吐量

本文如何被排名

Signal score
27 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该集群描述了一篇关于 LLM 服务新颖系统的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, paper
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Yijun Sun, Xudong Liao, Zhuobin Huang, Kai Chen, Nikita Lazarev, Zhizhen Zhong ·

    XM-Sparse:高吞吐量稀疏注意力LLM在扩展内存池上的服务

    arXiv:2611.22280v1 Announce Type: cross Abstract: Sparse attention has been increasingly adopted by production LLMs for long-context inference, yet serving systems must still retain the full KV history, making GPU HBM capacity a key limit on serving concurrency. Existing systems …