实体
GPU HBM
GPU HBM
PulseAugur coverage of GPU HBM — every cluster mentioning GPU HBM across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新颖的 KV 缓存管理技术提升 LLM 服务效率 · 追踪 8 个来源
近期研究探索通过先进的 KV 缓存管理技术来优化大型语言模型 (LLM) 的服务。论文研究了更有效的 KV 缓存驱逐方法，例如使用模型的中间层作为驱逐决策的裁判，以及开发能够根据不同请求类型调整驱逐策略的感知工作负载的管理器。其他研究则侧重于新颖的存储架构，例如 FlatCake，它提出了一个统一的 DRAM 和 SSD 地址空间，以克服传统分层存储的局限性；以及 ARK，它通过协调 KV 缓存传输来解决分离式 LLM 推理中的路由冲突。
-
探索 KV 缓存放置策略以提高 LLM 内存效率
一篇新的研究论文探讨了跨不同内存层级（GPU HBM、CPU DRAM、SSD）的 KV 缓存的最佳放置策略，以管理稀缺的 GPU 内存。该研究使用离散事件模拟器进行，发现内存分层可以支持显著更多的并发会话并降低成本，尽管放置策略本身对吞吐量的影响很小。评估了不同的策略，如近期性、重用频率和 EWMA，其中重用频率在代理和文档问答工作负载方面表现最佳，而近期性在聊天方面表现更好。