Hyesoo Hong

视觉-语言模型显示出脆弱的路径跟随能力

一篇新发表在arXiv上的研究论文强调了当前视觉-语言模型（VLMs）在跟随连续视觉路径方面的显著弱点。研究发现，即使在受控条件下，VLMs也难以维持稳定的路径，尤其是在存在其他附近路径的情况下。这种脆弱性似乎源于视觉编码阶段，在该阶段，路径延续的信息会减弱。通过模型扩展、附加推理或显式跟踪指令来提高性能的尝试收效甚微，这表明现有的VLMs缺乏稳健的路径跟随机制。