MemPABench

新的基准测试 MemPABench 测试 AI 代理记忆用户偏好

引入了一个名为 MemPABench 的新基准测试，用于评估个人 AI 代理的记忆能力，特别是关注它们学习和执行用户交互偏好的能力。该基准测试模拟了长期任务和具有各种偏好的用户在长时间内的交互，测试代理如何处理澄清、确认和自主操作。对四种 LLM 主干的四种记忆系统的初步评估显示，当前的检索式记忆系统相比没有记忆的代理改进有限，即使是基于文件的记忆在处理上下文和适应偏好变化方面也存在困难。