研究人员推出 OmicsBench，这是一个旨在评估 AI 代理在复杂、多轮生物信息学任务中能力的新基准测试。该基准测试包含 97 个任务，每个任务由一个有向无环图组成，包含多达 662 个依赖子任务，模拟研究规模的分析。对 12 个模型的初步评估显示，即使是最慢的代理平均每个任务需要 3.6 小时，平均得分在 0.43 到 0.67 之间，表明仍有很大的改进空间。该基准测试还包括一个故障模式发现管道，用于定性分析代理的不足之处，揭示了代理偏离指定指令或从记忆中生成答案等问题。 AI
影响 该基准测试有望推动更强大的 AI 代理在科学研究中的发展，特别是在生物信息学等复杂领域。
排序理由 该集群描述了一篇发表在 arXiv 上的新基准测试论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
