一篇技术文章探讨了服务具有长上下文的大型语言模型的挑战,特别是关注 KV 缓存。当模型的 GPU 内存不足以容纳大量用户的 KV 缓存时,缓存必须被卸载到 CPU 内存或 SSD。由于 PCIe 带宽有限,这成为将缓存传输回 GPU 的瓶颈,从而显著影响响应时间。文章详细介绍了设置、缓存大小计算以及这种“溢出”效应的性能影响。 AI
影响 强调了长上下文 LLM 服务中的性能瓶颈,影响基础设施设计和成本。
排序理由 技术文章,详细介绍了 LLM 推理基础设施的特定方面。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →