English(EN) What Does Your Short-Answer VQA Score Actually Measure? Evaluator-Dependent Instability in Multimodal Short-Answer Benchmarks

新研究揭示了简短回答 VQA 基准测试中的不稳定性

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-14 04:00

一篇新发布的 arXiv 论文强调了简短回答视觉问答 (VQA) 基准测试中存在显著的不稳定性。研究表明，当前的基准测试常常将模型答案的语义正确性与其对预期响应的表面形式匹配混淆。这种不稳定性在富文本基准测试中尤为突出，高达一半的报告错误是语义上可接受的答案，仅因格式不匹配而受到惩罚。研究还发现，提示或上下文的微小变化会显著改变基准测试结果，这表明官方 VQA 分数应包含语义审计和答案类型诊断，以提高可解释性。 AI

排序理由该条目是一篇发布在 arXiv 上的研究论文，详细介绍了基准测试不稳定的发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CV TIER_1 English(EN) · Guanhua Ye, Niu Jingbin, Yan Li, Meiyu Liang, Zhe Xue, Yingxia Shao, Yawen Li · 2026-07-14 04:00

What Does Your Short-Answer VQA Score Actually Measure? Evaluator-Dependent Instability in Multimodal Short-Answer Benchmarks

arXiv:2607.10240v1 Announce Type: new Abstract: Short-answer VQA benchmarks conflate two distinct quantities: whether a model's answer is semantically correct, and whether that answer matches the surface form expected by the automatic evaluator. We study this conflation across si…

报道来源 [1]

What Does Your Short-Answer VQA Score Actually Measure? Evaluator-Dependent Instability in Multimodal Short-Answer Benchmarks

相关实体

相关话题