对 AI 代理记忆系统的新评估突显了检索召回率与实际答案准确性之间存在显著差异。虽然 agentmemory 等系统报告了很高的检索分数（例如，95% recall@5），但基于该检索生成的答案的准确性可能要低得多，约为 80%。这种差距的出现是因为高召回率仅表明找到了相关的会话，而不一定表示提取了正确的信息或完全回答了多会话问题。作者的系统 Graph-MIND 在 LongMemEval 基准测试中实现了更高的答案准确性，这表明检索的单位（会话与单个回合）以及读取器在大型上下文中精确定位信息的能力是关键因素。 AI
影响 强调需要根据答案准确性而不是仅仅检索召回率来评估 AI 代理记忆系统，以更好地了解其性能。
排序理由 该项目详细介绍了 AI 代理记忆系统的新评估方法和结果，将检索指标与答案准确性进行了比较。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
