GenDSR

GenDSR框架通过利用视频生成模型增强VLM的空间推理能力

研究人员开发了GenDSR，一个旨在提高视觉语言模型（VLM）动态空间推理能力的新框架。该框架将视频生成模型（VGM）的中间表示迁移到VLM中，解决了在跟踪不断变化的空间关系时保持场景状态的挑战。GenDSR使用两个分支——一个用于整体生成上下文，另一个用于时间变化——然后将它们融合并注入VLM的视觉表示中。该方法在DSR-Bench上达到了67.2%的准确率，创造了新的最先进水平。