MemKB

新的基准测试ColaBench评估个人代理中的记忆引导知识获取

研究人员推出了ColaBench，这是一个新的合成基准测试，旨在评估个人代理如何根据用户交互历史获取和应用知识。该基准测试解决了利用过去条件识别所需知识并将其应用于用户特定情况的挑战。ColaBench包含10个配置文件中的349个任务和一个包含超过13,000份文档的知识库，其中包含一个将个人条件与披露和先前文档暴露联系起来的证据图。提出的系统MemKB利用状态摘要和记忆-文档链接来改进查询制定和知识检索，准确率达到86.25%。