实体
BioStudyBench
BioStudyBench
PulseAugur coverage of BioStudyBench — every cluster mentioning BioStudyBench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的 BioStudyBench 基准测试 AI 代理在知识截止日期后的生物医学研究能力
研究人员推出 BioStudyBench,这是一个旨在评估 AI 代理复制知识截止日期后生物医学研究结果能力的新基准。该基准包含 25 项任务,这些任务源自知识截止日期之后发表的研究,数据来自 PubMed。评估内容包括代理是否能独立查找相关公共数据、使用仅返回截止日期前记录的工具搜索文献,以及执行数据分析以匹配报告的研究结果。结果表明,数据和工具的可用性显著提高了代理的表现,尽管开源模型通常落后于闭源模型。
-
新的 BioStudyBench 基准测试 AI 代理在知识截止日期后的生物医学研究能力
一个名为 BioStudyBench 的新基准已被开发出来,用于评估 AI 代理在知识截止日期后复制生物医学研究结果的能力。该基准包含 25 项任务,源自 PubMed 记录,要求代理在无法访问截止日期后信息的情况下,查找和分析公共数据及搜索文献。结果表明,访问数据和工具可显著提高代理性能,平均将通过率提高了 47 个百分点。然而,开放权重模型普遍表现不如封闭权重模型,最好的开放权重模型通过率为 81.3%,而最好的封闭权重模型通过率…