研究人员开发了GraniKV，这是一种新颖的KV缓存层，旨在优化具有长共享前缀的多代理系统的服务引擎。该系统采用非对称分页粒度，将共享前缀连续分配，并将每个请求的后缀进行细粒度分配。GraniKV集成了级联注意力机制和一个根据工作负载需求选择最佳后端的调度器。该系统在Llama-3.1-8B和Qwen-2.5系列等模型上展示了显著的吞吐量提升，最高可达生产基线的2.16倍。 AI
影响 引入了一种新颖的KV缓存管理技术，显著提高了多代理LLM服务系统的吞吐量。
排序理由 关于LLM服务KV缓存管理新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
