English(EN) ARE-bench: Benchmarking Agents' Research Ability in Real-World Researcher Sessions and Workspaces

新的ARE-bench基准测试在真实场景中测试AI研究智能体

作者 PulseAugur 编辑部 · [1 个来源] · 2026-11-11 05:00

引入了一个名为ARE-bench的新基准，用于评估AI智能体在真实场景中的研究能力。与以往侧重于孤立任务的基准不同，ARE-bench使用真实的研究者会话和工作空间，包括未完成的文件和过去的决策，来测试智能体推进现有项目的能力。该基准包含七个研究阶段的75项任务，共有1,173个清单项。对七个前沿模型的初步评估显示，即使是表现最好的智能体也只完成了66.2%的任务，凸显了在设计和执行阶段存在的重大挑战。 AI

影响凸显了当前AI研究智能体处理复杂、真实项目背景能力的局限性。

排序理由该集群包含一篇介绍用于评估AI智能体的新基准的研究论文。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 36 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇介绍用于评估AI智能体的新基准的研究论文。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Jiahang Lin, Wanying Ren, Wanghan Xu, Huayu Sha, Yang Shu, Zhonghang Lu, Chengjun Pan, Yi Dong, Shichun Liu, Yuyang Hu, Shihan Dou, Honglin Guo, Huijie Lv, Pujun Zheng, Zhe Sun, Yuankai Ying, Yiding Wang, Jiahao Chen, Zhixiong Yang, Dingbo Yuan, Yicheng … · 2026-11-11 05:00

ARE-bench：在真实研究员会话和工作空间中对代理的研究能力进行基准测试

arXiv:2611.14364v1 Announce Type: new Abstract: Research agents achieve increasingly strong benchmark scores, yet these scores do not necessarily translate into reliable delivery in ongoing research projects. Many research-agent benchmarks emphasize standalone tasks and relativel…

本文如何被排名

报道来源 [1]

ARE-bench：在真实研究员会话和工作空间中对代理的研究能力进行基准测试

相关实体

相关话题