English(EN) WM-VLM: Probing Internal World Models for Interleaved Visual-Textual Reasoning

新型WM-VLM模型使用视觉状态进行交错推理

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-27 04:00

研究人员开发了WM-VLM，这是一种新颖的方法，为视觉语言模型（VLM）配备了一个轻量级世界模型分支，以生成中间视觉状态。这使得VLM能够使用文本和视觉模拟进行推理，这与传统的以文本为中心的方法不同。两阶段的训练过程首先训练模型生成后续的视觉状态，然后利用这些状态进行推理。在心理旋转任务上的实验表明，WM-VLM的性能显著优于其监督微调的主干模型，性能提升高达39.25个百分点，并且这些改进依赖于生成的视觉状态。 AI

影响这项研究可能带来更强大的视觉语言模型，这些模型能够通过模拟视觉转换来执行复杂空间推理。

排序理由该集群包含一篇详细介绍新模型和方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 6 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇详细介绍新模型和方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CV TIER_1 English(EN) · Yuheng Zha, Yilei Wang, Qiyue Gao, Junrong Chen, Yujia Wu, Zhengfeng Lai, Zhengzhong Liu, Eric P. Xing · 2026-10-27 04:00

WM-VLM：探究内部世界模型以进行交错的视觉-文本推理

arXiv:2609.34826v2 Announce Type: replace Abstract: Humans often solve spatial problems by mentally simulating visual transformations. In contrast, conventional vision-language models (VLMs) reason primarily through language. We investigate whether VLMs can solve spatial problems…

本文如何被排名

报道来源 [1]

WM-VLM：探究内部世界模型以进行交错的视觉-文本推理

相关实体

相关话题