研究人员开发了 GateSight，一种优化混合大型语言模型 (LLM) 中 KV 缓存的新颖方法。GateSight 使用轻量级 MLP，根据 Gated DeltaNet 层的信号预测 KV 条目的未来效用，从而实现查询无关的逐出。该方法旨在在不影响准确性的情况下，减少注意力 KV 缓存的显著内存占用。使用 Qwen3.8-27B 和 Qwen3.8-Flash-Next 模型进行的实验表明，与其他的查询无关方法相比，GateSight 在使用显著更少 KV 缓存的情况下实现了高准确性。 AI
影响 该方法可以通过优化 KV 缓存使用来显著降低 LLM 的服务成本。
排序理由 研究论文，详细介绍了 LLM 内存管理优化的一种新颖方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
