Yuheng Zhang

新型WM-VLM模型使用视觉状态进行交错推理

研究人员开发了WM-VLM，这是一种新颖的方法，为视觉语言模型（VLM）配备了一个轻量级世界模型分支，以生成中间视觉状态。这使得VLM能够使用文本和视觉模拟进行推理，这与传统的以文本为中心的方法不同。两阶段的训练过程首先训练模型生成后续的视觉状态，然后利用这些状态进行推理。在心理旋转任务上的实验表明，WM-VLM的性能显著优于其监督微调的主干模型，性能提升高达39.25个百分点，并且这些改进依赖于生成的视觉状态。