ClauseGym

新基准测试揭示 RAG 系统在处理时间数据方面存在困难

一个名为 ClauseGym 的新基准测试已被开发出来，用于测试检索增强生成 (RAG) 系统处理时间数据的能力，特别是法律法规随时间的变化。该基准测试冻结了 2017 年至 2025 年联邦采购条例 (FAR) 的九个年度修订版，发现标准 RAG 系统在 80% 的情况下会根据错误的年份错误地回答问题。实施日期感知检索可显著提高准确性，但对于需要理解版本之间变化的问答，仍然存在故障模式。