FlyAOC

新基准FlyAOC评估AI代理的科学知识策展能力

研究人员推出了FlyAOC，这是一个旨在评估AI代理在复杂科学知识库策展任务中的新基准。该基准模拟了专家策展人的端到端工作流程，要求代理搜索科学文献、协调证据并生成结构化注释。FlyAOC使用来自FlyBase（果蝇知识库）的100个基因的16,898篇论文和7,397个专家策展注释的语料库，以评估代理恢复标准化功能术语、表达模式和历史同义词的能力。使用各种代理工具进行的初步评估显示，FlyAOC可以检测到在仅模型评估中不明显的系统级故障模式。