IntentKV

IntentKV 剪枝 LLM 代理 KV 缓存，减少 77% 的 token 使用量

研究人员开发了 IntentKV，一种用于剪枝大型语言模型代理中 KV 缓存的新颖方法，以提高推理效率。该技术维护跨轮意图的会话级记忆，使其能够对 token 进行评分并选择性地删除，而不会显著损失准确性。IntentKV 已证明在减少峰值请求 token 和 KV 读取方面取得了显著成效，尤其是在长时程代理任务中，同时保持基础 LLM 不变。