PulseAugur
中
实时 07:56:35
实体 HiSparse

HiSparse

PulseAugur coverage of HiSparse — every cluster mentioning HiSparse across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 3 条
  1. TOOL · CL_364280 ·

    XM-Sparse 系统通过新颖的内存卸载提升 LLM 服务吞吐量

    研究人员推出 XM-Sparse,一个旨在提高稀疏注意力机制大语言模型 (LLM) 服务效率的新颖系统。该系统通过将 KV 缓存和 K-index 数据卸载到横向扩展内存池,解决了 GPU 高带宽内存 (HBM) 容量的瓶颈。XM-Sparse 为每种缓存类型采用了定制的 I/O 机制,包括基于 TMA 的 KV 条目检索和 SM 高效的 K-index 访问预取 DMA。实验表明,与现有的基于 PCIe 的系统相比,XM-Spars…

  2. TOOL · CL_296706 ·

    vLLM 发布 0.32.0rc0 版本,支持 HiSparse 和 KV 缓存日志记录

    vLLM 发布了 0.32.0rc0 版本,其中包含 "HiSparse" 功能。此版本还在 KV 缓存容量日志中记录了主机池信息。该版本由 Matthew Bonanni 标记,Claude Opus 5.5 共同撰写。

  3. TOOL · CL_270279 ·

    GLM5.3稀疏注意力机制影响HBM内存使用

    SemiAnalysis详细介绍了GLM5.3的稀疏注意力机制如何影响高带宽内存(HBM)的使用。该分析涵盖了KV缓存卸载和HiSparse等关键技术,这些技术对于优化性能至关重要。它还涉及AgentX TileRT和InferenceX,暗示了AI推理效率的进步。