实体 OSWorld-Pro

OSWorld-Pro

PulseAugur coverage of OSWorld-Pro — every cluster mentioning OSWorld-Pro across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_268179 · Sep 21 · 16:55

新基准评估AI代理使用科学软件和执行软件工程任务的能力

研究人员为计算机使用代理（CUAs）引入了新的基准和评估框架，这些代理通过图形用户界面进行交互以完成任务。OSWorld-Science 专注于科学软件，包含跨越不同科学领域的 146 个任务，用于测试视觉语言模型（VLMs）。CUA-SWE 针对软件工程任务，要求代理将代码修改与视觉界面交互和验证相结合。此外，OSWorld-Pro 提供了一种基于过程的评估方法，包含超过 2800 个子目标和人工标注，以分析代理的失败模式并提高效率…