实体
Proceedings of the 29th Symposium on Operating Systems Principles
Proceedings of the 29th Symposium on Operating Systems Principles
PulseAugur coverage of Proceedings of the 29th Symposium on Operating Systems Principles — every cluster mentioning Proceedings of the 29th Symposium on Operating Systems Principles across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
人工智能推理需要高效的 GPU 管理，以避免显存耗尽和碎片化
管理人工智能工作负载的 GPU 资源，特别是生成媒体和大型语言模型推理，由于其高内存和计算需求，带来了重大挑战。与传统的 Web 应用程序不同，这些任务很容易耗尽 GPU 显存，导致无法恢复的错误和作业失败。为了缓解这种情况，使用作业队列和消息代理（如 BullMQ 和 Redis）的异步架构模式对于将任务摄取与执行解耦至关重要。高效的内存管理，如 PagedAttention，以及将 KV 缓存卸载到外部存储，对于减少 GPU 空闲…
-
明玕 FX100 通过 KV Cache 复用提升 LLM 推理性能 · 追踪 2 个来源
明玕 FX100 在大型语言模型的多轮对话场景中展现了显著的性能提升。通过实施 KV Cache 复用策略（即将先前对话轮次的键值张量缓存起来，避免重新计算），该系统实现了 29-40% 的吞吐量提升和 26-32% 的首个 token 时间缩减。这些提升在冷启动或冷恢复情况下尤为显著，与重新计算整个历史记录的基线相比，系统可以将推理速度提高高达 20 倍。