Min Wang

新的AMIGO基准测试代理式视觉语言模型的多图像关联能力

研究人员推出AMIGO，一个旨在评估代理式视觉语言模型（VLMs）在长时程、多图像场景下的新基准。与以往侧重单图像交互的评估不同，AMIGO通过提出一系列关注属性的“是/否”问题，来挑战模型从图库中识别隐藏目标图像的能力。该基准旨在评估模型选择信息性问题、跨轮次跟踪约束以及随着证据累积进行细粒度区分的能力。对开源VLMs的初步评估显示，仅成功率可能具有误导性，因为模型可能在没有充分证据验证或违反交互协议的情况下获得正确答案。