AtariBench

新的 AtariBench 基准揭示了视觉语言模型在动态环境中的局限性

一个名为 AtariBench 的新基准已被开发出来，用于评估视觉语言模型（VLMs）在动态环境中的时空推理能力。该基准利用了 20 款 Atari 2600 游戏，要求模型根据高时间分辨率的游戏流做出顺序决策。初步实验表明，当前最先进的 VLM 在推断物体运动方面存在困难，表现出脆弱的决策能力，并且经常忽略视觉反馈而偏向于文本历史。