PulseAugur
中
实时 14:08:55
实体 Proceedings of the 29th Symposium on Operating Systems Principles

Proceedings of the 29th Symposium on Operating Systems Principles

PulseAugur coverage of Proceedings of the 29th Symposium on Operating Systems Principles — every cluster mentioning Proceedings of the 29th Symposium on Operating Systems Principles across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_181549 ·

    KV 缓存复用将 LLM 对话性能提升 40%

    本文详细介绍了在大语言模型的多轮对话场景中，通过 KV 缓存复用实现的显著性能提升。通过缓存先前轮次的键值张量，消除了冗余计算，从而将首个 token 的延迟最多降低 32%，吞吐量最多提高 40%。这项研究基于使用 480B 参数模型在 Mingxin FX100 上进行的测量，强调了这种优化对于高效长上下文推理部署的重要性，尤其是在高并发情况下。