新基准FlyAOC评估AI代理的科学知识策展能力

研究人员推出了FlyAOC，这是一个旨在评估AI代理在复杂科学知识库策展任务中的新基准。该基准模拟了专家策展人的端到端工作流程，要求代理搜索科学文献、协调证据并生成结构化注释。FlyAOC使用来自FlyBase（果蝇知识库）的100个基因的16,898篇论文和7,397个专家策展注释的语料库，以评估代理恢复标准化功能术语、表达模式和历史同义词的能力。使用各种代理工具进行的初步评估显示，FlyAOC可以检测到在仅模型评估中不明显的系统级故障模式。 AI

影响 为AI代理在科学知识策展领域提供了一个新的评估框架，有望加速科学发现。

排序理由 该项目是一篇介绍AI代理新评估基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Drosophila
• FlyAOC
• FlyBase
• Gotit.pub
• Hugging Face
• ScienceCast
• Xingjian Zhang

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →