一个名为 BioStudyBench 的新基准已被开发出来，用于评估 AI 代理在知识截止日期后复制生物医学研究结果的能力。该基准包含 25 项任务，源自 PubMed 记录，要求代理在无法访问截止日期后信息的情况下，查找和分析公共数据及搜索文献。结果表明，访问数据和工具可显著提高代理性能，平均将通过率提高了 47 个百分点。然而，开放权重模型普遍表现不如封闭权重模型，最好的开放权重模型通过率为 81.3%，而最好的封闭权重模型通过率为 94.7%。 AI
影响 该基准有望推动 AI 代理在执行复杂、长周期的研究任务方面的能力提升，尤其是在科学领域。
排序理由 该项目描述了一个用于评估 AI 代理在特定研究任务中的新基准，属于“研究”类别。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
