arXiv 2609.11744

LLM 的 NVMe KV 缓存卸载：带宽计算与模型大小影响

将 LLM 的 KV 缓存卸载到 NVMe 驱动器仅在给定提示长度、模型大小和 GPU 的情况下，驱动器的持续带宽超过重新计算成本时才有利。一项对 Llama 3.2 3B 模型的研究表明，随着提示长度的增加，盈亏平衡带宽会显著降低，对于更长的上下文，更快的 NVMe 驱动器变得更具优势。由于其每 token 的 KV 字节增长速度慢于其预填充计算需求，因此更大的模型通常从卸载中受益更多。