Layered-VQA

新研究发现，视觉语言模型在处理碎片化场景时遇到困难

一篇题为“组合，而非对话：视觉语言模型丢失场景，而非线索”的新研究论文探讨了视觉语言模型（VLMs）在面对碎片化视觉信息时的局限性。该研究引入了Layered-VQA，一个包含93个场景和300个问题的数据集，其中图像被分解为RGBA层。对十一个开源模型和两个专有模型的实验显示，在组合、定位和证据利用方面存在持续的失败。研究结果表明，虽然分解问题影响较小，但分解场景会显著降低VLM的准确性，这表明视觉证据的呈现方式对模型性能至关重要。