BioStudyBench

新的 BioStudyBench 基准测试 AI 代理在知识截止日期后的生物医学研究能力

研究人员推出 BioStudyBench，这是一个旨在评估 AI 代理复制知识截止日期后生物医学研究结果能力的新基准。该基准包含 25 项任务，这些任务源自知识截止日期之后发表的研究，数据来自 PubMed。评估内容包括代理是否能独立查找相关公共数据、使用仅返回截止日期前记录的工具搜索文献，以及执行数据分析以匹配报告的研究结果。结果表明，数据和工具的可用性显著提高了代理的表现，尽管开源模型通常落后于闭源模型。