SciDocDataset

新的基准测试SciDocBench揭示AI在科学文档理解方面存在不足

研究人员推出了一款名为SciDocBench的新基准测试，旨在评估AI模型理解科学文档的能力。该基准测试包含跨越五个科学领域的124个专家撰写的问题，评估证据定位和跨文档推理等任务。表现最佳的系统准确率仅为62.6%，凸显了当前模型存在的显著弱点。为解决这些局限性，该团队还开发了SciDocIR（一种类型化的证据图表示）和SciDocDataset（一个训练样本集），以促进更先进的科学文档助手的开发。