WILDTRACE

新的WILDTRACE基准测试AI在自然证据上的长上下文推理能力

研究人员推出WILDTRACE，一个旨在评估AI模型长上下文推理能力的新基准。与现有基准通常不自然地嵌入证据不同，WILDTRACE利用了在214份真实世界的长篇文档（如事件报告和文学叙事）中自然分散的证据轨迹。该基准包含481个任务，按七种不同的“证据几何形状”进行分类，这些形状反映了分析性阅读的关系需求。这种方法旨在更好地评估模型如何整合跨越遥远段落的信息，这是高风险分析任务的关键技能。