AgentLongBench

KVMem 在消费级GPU上虚拟化百万Token的AI Agent工作空间

研究人员开发了KVMem，一个用于管理AI Agent大上下文窗口的系统，使其能够在消费级GPU上运行高达一百万Token。这种虚拟化技术将溢出的上下文存储为分页KV状态，分布在GPU内存、主机内存和NVMe中，与传统的压缩方法相比，能够更有效地处理长历史记录。KVMem已证明了提高任务成功率和交互响应能力，使得长时运行的Agent能够维护广泛的工作空间。