VSI-Bench
PulseAugur coverage of VSI-Bench — every cluster mentioning VSI-Bench across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新框架增强LLM从稀疏输入进行3D空间推理的能力
研究人员开发了SpaR3D-MoE，一个新颖的框架，旨在仅使用稀疏的RGB输入来增强多模态大语言模型（MLLMs）的3D空间推理能力。该系统采用自适应时空流形采样机制来创建一个几何感知的图，在减少冗余的同时保持场景连通性。此外，一个融合几何归纳的专家混合模型（Mixture-of-Experts）以及一个指令-姿态感知路由器，能够自适应地将多模态令牌导向专门的专家，从而解决跨模态冲突。在VSI-Bench、ScanQA和SQA3D等基…
-
新框架 DR-MV3D 通过密集奖励增强三维视觉问答能力
研究人员推出 DR-MV3D，一个旨在增强多视图三维视觉问答 (MV3D-VQA) 的新框架。该方法利用密集、可验证的奖励来监督推理过程，超越了当前多模态 LLM 中常见的稀疏、答案级别的监督。DR-MV3D 将任务分解为全局地图构建、视图轨迹规划和通过以自我为中心的定位进行答案预测，采用全局一致性和局部轨迹选择的奖励来提高在 MindCube 和 VSI-Bench 等数据集上的性能。
-
OneCanvas 通过全景重投影简化了视觉语言模型（VLMs）的三维场景理解
研究人员开发了 OneCanvas，一种用于视觉语言模型（VLMs）的三维场景理解的新方法。OneCanvas 不使用复杂的几何编码器或大量的训练，而是将图像块特征投影到单个全景画布上，并通过三维位置嵌入保留深度信息。这种方法允许预训练的 VLMs 将全景表示作为标准图像进行处理，从而实现从任何视角的定位推理，并支持空间预训练课程。OneCanvas 在 SQA3D 和 VSI-Bench 等基准测试中取得了最先进的成果，同时所需的训…
-
新框架AlloSpatial提升基础模型空间推理能力
研究人员推出AlloSpatial，一个旨在增强基础模型空间推理能力的新框架。该框架将自我中心的观察转换为结构化的外部参照表示，如空间树和路线图，可用于查询对象拓扑、几何和轨迹。AlloSpatial还包含一个空间推理约束器，用于管理工具使用和仲裁不同的感官输入。在VSI-Bench和MindCube等基准测试上的实验表明，现有模型在空间推理方面取得了显著进步，甚至超越了更大的通用模型。
-
新AlloSpatial框架提升AI空间推理能力
研究人员开发了AlloSpatial，一个旨在提升基础模型空间推理能力的新框架。该框架通过将以自我为中心的观测转换为结构化的以他为中心的表征，有效地创建环境的认知地图，从而解决了当前模型的局限性。AlloSpatial包含一个空间推理工具包，以确保这些地图的可靠使用，从而显著提高了各种领先模型在空间基准测试中的性能。
-
Cambrian-P 视频模型利用相机姿态改进空间推理
研究人员推出了一种新颖的视频多模态大语言模型 (MLLM) Cambrian-P，该模型整合了相机姿态信息。这种方法将视频帧视为连续空间场景的一部分，而非孤立图像，从而在空间推理基准测试中取得了显著的改进。该模型在 VSI-Bench 上取得了 4.5-6.5% 的提升，并在其他视频问答任务中展现了强大的泛化能力。
-
GeoThinker框架主动集成几何以实现高级空间推理
研究人员开发了GeoThinker，一个新颖的框架，通过主动集成几何信息来增强多模态大语言模型（MLLMs）的空间推理能力。与以往的被动融合方法不同，GeoThinker允许模型根据其内部推理需求选择性地检索和整合相关的几何数据。这种通过空间基础融合（Spatial-Grounded Fusion）和重要性门控（Importance Gating）实现的主动集成，在空间智能基准测试中取得了最先进的性能，包括在VSI-Bench上达到了…
-
VLMs应对视觉错觉、空间推理和评估基准
研究人员正在开发新方法来提高视觉语言模型（VLM）的鲁棒性和推理能力。一种方法是结构化定性推理（SQI），旨在通过增强视觉基础而不进行模型微调来减轻视觉错觉。另一个重点是改进VLM空间推理的评估，开发了ReVSI等新基准来解决当前评估中存在的系统性无效问题。此外，还在努力使VLM能够更有效地利用几何参考表示来推理3D空间，并探索绕过显式语言中介的潜在视觉推理。
-
新框架通过世界模型和多智能体系统增强VLM的空间推理能力
研究人员开发了World2VLM，一个新颖的训练框架，将生成式世界模型中的空间推理能力提炼到视觉语言模型（VLMs）中。该方法合成未来视图以提供结构化监督，使VLMs能够比依赖合成数据或推理时世界模型耦合的方法更有效地内化空间想象。World2VLM在各种空间推理基准测试中表现出持续的改进，优于现有方法。