A800-80GB

清华大学开源AKV，用于高效LLM Agent KV缓存管理

清华大学和香港中文大学的研究人员开源了AKV，一个专为大型语言模型（LLM）Agent设计的KV缓存工程服务系统。与传统的总结或截断文本历史的上下文工程不同，AKV允许Agent选择性地丢弃和重新定位KV缓存条目，在不重新计算的情况下重用保留的信息。这种方法在包括GPT-OSS-120B和MiniMax M2.7在内的各种模型和基准测试中，展示了显著的性能提升，平均成本降低了27.7%，平均任务得分提高了1.7分。