ARE-bench

新的ARE-bench基准测试在真实场景中测试AI研究智能体

引入了一个名为ARE-bench的新基准，用于评估AI智能体在真实场景中的研究能力。与以往侧重于孤立任务的基准不同，ARE-bench使用真实的研究者会话和工作空间，包括未完成的文件和过去的决策，来测试智能体推进现有项目的能力。该基准包含七个研究阶段的75项任务，共有1,173个清单项。对七个前沿模型的初步评估显示，即使是表现最好的智能体也只完成了66.2%的任务，凸显了在设计和执行阶段存在的重大挑战。