Shreyansh Padarha

新研究发现AI模型在科学文献综合方面存在困难

研究人员开发了AgentSLR，一个用于评估执行科学知识综合的AI模型的新评估框架，特别关注流行病学系统文献综述。该框架包含一个包含16,000多篇文章的数据集以及综述过程中每个阶段的指标。对五个领先的推理模型进行的测试显示，没有一个模型在所有任务上都表现出色，其中结构化数据提取被证明是一个重大挑战，因为在该领域没有模型的F1分数高于0.67。研究结果表明，目前的AI模型在流行病学等可能影响公共政策的领域中尚不足以进行无监督使用。