研究人员推出了AgentVQA，这是一个新的离线基准，旨在评估智能体任务中视觉语言模型（VLM）的视觉理解能力。该基准包含来自五个领域（Web智能体、机器人、自拍视频、游戏和空间规划）的1000个真实世界示例。对22个VLM的评估显示，即使是表现最好的模型，准确率也仅为58.5%，主要的失败模式被确定为视觉基础和状态跟踪问题，而非任务解释问题。 AI
影响 该基准将帮助研究人员识别和解决智能体任务中视觉语言模型的关键弱点。
排序理由 该集群描述了一个用于评估AI模型的新学术基准。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
AgentVQA is an offline benchmark assessing vision-language models on realistic agentic tasks across web, robotics, video, games, and spatial planning, revealing that visual grounding and state tracking errors are the primary failure modes.
arXiv:2610.31494v1 Announce Type: new Abstract: Vision-language models (VLMs) can perform a broad range of tasks across diverse settings, yet their performance in agentic contexts remains poorly understood. Although online evaluations in simulators and real-world environments are…