GraniKV 通过非对称KV缓存分页提升AI多智能体吞吐量

研究人员开发了GraniKV，一种新颖的KV缓存分页系统，旨在提高多智能体AI系统的效率，特别是那些具有长共享前缀的系统。GraniKV采用非对称粒度方法，将共享前缀连续分配，并将每个请求的后缀进行细粒度分配。该系统集成了调度器，根据工作负载特性选择最佳后端，从而在现有生产基线之上实现了显著的吞吐量提升。例如，GraniKV在Llama-3.1-8B上实现了高达2.16倍的输出令牌吞吐量，并在传统方法表现不佳的异构多智能体服务场景中展示了显著的收益。 AI

影响 提高了多智能体AI系统的效率和吞吐量，可能加速复杂AI应用的开发和部署。

排序理由 该集群包含一篇详细介绍AI系统新技术方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• GraniKV
• Hugging Face
• KV cache
• Llama-3.1:8b
• multi-agent systems

• 基础设施
• 论文

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →