研究人员推出了OSReward，这是一个旨在评估视觉语言模型（VLM）作为计算机使用代理（CUA）裁判的可靠性的新基准。该基准包含跨多个平台的真实CUA轨迹，其地面真实判决来自多阶段的人工标注。初步评估显示，即使是最先进的VLM也表现出宽容偏差，将失败的任务错误地归类为成功，而最可靠的模型成本过高。为解决此问题，该团队开发了OS-Shepherd-100K，这是一个带标注判决的开放语料库，并训练了OS-Shepherd奖励模型，这些模型在成本显著降低的情况下提供了与商业裁判相当的性能。 AI
影响 该基准和OS-Shepherd模型可以提高评估AI代理的可靠性和成本效益，可能加速该领域的研究和开发。
排序理由 该集群描述了一篇介绍用于评估AI代理的基准和相关模型的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- Computer-Using Agents
- Hugging Face
- Microsoft Windows
- OSReward
- OSReward-Hard
- OSReward-Multi
- OS-Shepherd
- OS-Shepherd-100K
- Vision--Language Models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
