新评估揭示 AI 智能体缺乏科学研究的元认知循环

开发了一个名为 AutoResearchEval 的新评估框架，用于评估 AI 智能体在进行端到端科学研究方面的能力。该框架包含跨越不同科学领域和完整研究生命周期的 100 项任务，涵盖从构思到评审的各个环节。对 8 种不同 AI 模型组合的分析揭示了反复出现的失败模式，这主要归因于缺乏元认知循环，导致智能体无法自我纠正和验证其过程。研究人员已发布评估框架和失败模式分类法，以鼓励在自主科学发现方面进行进一步发展。 AI

影响 突出了当前 AI 智能体在复杂研究任务中的关键局限性，表明需要提高其元认知能力。

排序理由 该集群包含一篇研究论文，该论文介绍了一个用于科学研究中 AI 智能体的新评估框架和分类法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• ARFT
• AutoResearchEval
• AutoResearch Failure Taxonomy
• CatalyzeX Code Finder for Papers
• Connected Papers
• DagsHub
• Gotit.pub
• Hugging Face
• Litmaps
• ScienceCast
• scite Smart Citations

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →