PulseAugur
实时 09:28:42
English(EN) ChainWorld: Composing Long-Horizon Desktop Workloads from Atomic OSWorld Tasks

ChainWorld框架在复杂的、多步骤桌面任务上测试AI代理

一篇新的研究论文介绍了ChainWorld,一个旨在评估AI代理在复杂、长时桌面任务上的框架。与之前专注于单一、原子操作的评估不同,ChainWorld将这些原子任务组合成多步骤工作负载。研究发现,当前的AI代理在处理这些扩展任务时遇到困难,即使任务按顺序呈现,完成率也低于31%。研究突出了单轮和多轮评估之间不同的失败模式,表明AI代理在精确性和会话管理方面存在挑战。 AI

影响 强调了当前AI代理在复杂、长时任务方面的局限性,表明需要改进状态管理和会话处理能力。

排序理由 介绍AI代理新框架和评估方法的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

ChainWorld框架在复杂的、多步骤桌面任务上测试AI代理

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Vincent Siu, Manasi Sharma, Dawn Song, Daniel Yue Zhang, Chenguang Wang, Ying Liu ·

    ChainWorld:从原子OSWorld任务组合长视界桌面工作负载

    arXiv:2606.21654v2 Announce Type: replace Abstract: Computer use agents are evaluated almost exclusively on atomic desktop tasks, but realistic desktop work requires sustaining state across multiple objectives. We study this gap with ChainWorld, which composes atomic OSWorld task…