AutoResearch Failure Taxonomy

新评估揭示 AI 智能体缺乏科学研究的元认知循环

开发了一个名为 AutoResearchEval 的新评估框架，用于评估 AI 智能体在进行端到端科学研究方面的能力。该框架包含跨越不同科学领域和完整研究生命周期的 100 项任务，涵盖从构思到评审的各个环节。对 8 种不同 AI 模型组合的分析揭示了反复出现的失败模式，这主要归因于缺乏元认知循环，导致智能体无法自我纠正和验证其过程。研究人员已发布评估框架和失败模式分类法，以鼓励在自主科学发现方面进行进一步发展。