PulseAugur
中
实时 17:28:52
English(EN) ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents

新的ClawMark基准测试动态环境中的多模态同事代理

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了ClawMark，这是一个旨在评估充当持久同事的AI代理能力的新基准。与通常是静态和以文本为中心的先前基准不同，ClawMark模拟了一个动态的、为期多天的工作环境，信息会独立于代理而变化。该基准包含13个专业场景中的100个任务，利用五个有状态服务和1500多个确定性检查器进行评估。初步测试表明，虽然表现最佳的代理获得了75.8的加权分数，但严格的任务成功率仅为20.0%，这表明在适应不断变化的环境状态方面存在重大挑战。 AI

影响 新基准挑战AI代理适应动态的、为期多天的工作环境，突出了适应性作为一个关键研究领域。

排序理由 引入了一个用于评估模拟工作环境中的AI代理的新基准。

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的ClawMark基准测试动态环境中的多模态同事代理

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Research
引入了一个用于评估模拟工作环境中的AI代理的新基准。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, other
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
185 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Fanqing Meng, Lingxiao Du, Zijian Wu, Guanzheng Chen, Xiangyan Liu, Jiaqi Liao, Chonghe Jiang, Zhenglin Wan, Jiawei Gu, Pengfei Zhou, Rui Huang, Ziqi Zhao, Shengyuan Ding, Ailing Yu, Bo Peng, Bowei Xia, Hao Sun, Haotian Liang, Ji Xie, Jiajun Chen, Jiajun ·

    ClawMark：一个用于多轮、多日、多模态协作者代理的动态世界基准

    arXiv:2604.23781v1 Announce Type: new Abstract: Language-model agents are increasingly used as persistent coworkers that assist users across multiple working days. During such workflows, the surrounding environment may change independently of the agent: new emails arrive, calenda…

相关实体

相关话题