研究人员开发了 Gandalf，一个新颖的系统，旨在延长用于大型语言模型 (LLM) 服务中 KV 缓存卸载的固态硬盘 (SSD) 的寿命。传统的 LLM 服务方法通常会超出可用的 GPU 和主机内存，因此需要使用 SSD 来扩展 KV 缓存。然而，生产工作负载中的频繁写入会大大缩短 SSD 的寿命。Gandalf 通过智能地优先允许全注意力 KV 缓存的进入，而不是其他类型的缓存，从而在不影响缓存命中率的情况下减少写入操作来解决这个问题。评估表明，Gandalf 可以将 SSD 寿命平均延长 7.3 倍，而对缓存命中率的影响可以忽略不计。 AI
影响 这项研究通过延长存储硬件的寿命，有望实现更具成本效益和可持续性的 LLM 服务基础设施。
排序理由 该集群包含一篇详细介绍改进 LLM 服务基础设施的新技术方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
