semantic judge

新研究揭示了简短回答 VQA 基准测试中的不稳定性

一篇新发布的 arXiv 论文强调了简短回答视觉问答 (VQA) 基准测试中存在显著的不稳定性。研究表明，当前的基准测试常常将模型答案的语义正确性与其对预期响应的表面形式匹配混淆。这种不稳定性在富文本基准测试中尤为突出，高达一半的报告错误是语义上可接受的答案，仅因格式不匹配而受到惩罚。研究还发现，提示或上下文的微小变化会显著改变基准测试结果，这表明官方 VQA 分数应包含语义审计和答案类型诊断，以提高可解释性。