Nature Portfolio

新的MetaSyn基准揭示LLM代理在研究选择方面存在困难

研究人员开发了一个名为MetaSyn的新基准，用于评估大型语言模型（LLM）代理执行元分析这一复杂任务的能力。该基准包含来自Nature Portfolio期刊的442篇专家精心策划的元分析，其中包含详细的标准、大量的PubMed文章语料库以及经过验证的阳性和阴性研究。初步测试显示，当前的LLM代理在研究选择阶段面临显著困难，尽管检索能力很强，但仍无法可靠地从主题相似但不符合条件的干扰项中识别出符合条件的相关文献。