VSI-Bench
PulseAugur coverage of VSI-Bench — every cluster mentioning VSI-Bench across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的OraRL方法提高了视频多模态大语言模型的效率和性能
研究人员推出了一种新颖的强化学习技术OraRL，旨在提高视频多模态大语言模型（MLLMs）的训练后效率和可扩展性。该方法利用标注作为“oracle rollouts”，直接将其整合到优化过程中，以提高性能，而无需昂贵的思维链生成。OraRL在样本效率方面表现出显著的改进，仅需要监督微调2.2倍的步长时间，并在VSI-Bench等基准测试中取得了最先进的成果，性能优于GPT-5和Gemini 3-Pro等模型。
-
新框架应对大型视觉语言模型中的视频推理挑战
研究人员开发了新的框架来应对大型视觉语言模型（LVLMs）在视频推理方面的挑战。一种方法是“证据链”（Chain of Evidence, CoE），它通过使用轻量级的接地模块和证据锚定协议，将接地与推理解耦，以提高效率并减少幻觉。另一种方法是GroundFormer，它通过在定位之前根据问题语义对视频特征进行条件化，将问题意图与时间证据相结合，旨在改进问题区分性接地。这两种方法在各种视频理解基准测试中都展示了最先进的性能。
-
新的Spa3R框架提升了视觉语言模型在3D空间推理能力
研究人员开发了Spa3R，一个新颖的自监督框架，旨在增强视觉语言模型中的3D空间推理能力。与依赖显式3D数据或部分几何先验的现有方法不同，Spa3R从无姿态的多视图RGB图像中学习统一的、视图不变的空间表示。该框架将上下文视图压缩为潜在表示，并在新的视点预测对齐的几何和语义特征场，从而实现对场景几何和布局更连贯的理解。当作为Spa3-VLM集成到视觉语言模型中时，它在VSI-Bench等基准测试中取得了最先进的性能，证明了其在3D视觉…
-
新框架GUIDE通过渐进式几何集成增强MLLMs
研究人员开发了GUIDE（Geometric Unrolling Inside MLLM Early-layers），一个旨在增强多模态大语言模型（MLLMs）理解物理空间和3D场景的新框架。与先前在单点融合几何信息的做法不同，GUIDE将编码器的多层次几何特征渐进式地集成到MLLM的早期层中。这使得模型能够持续访问和整合不同粒度的几何线索，从而提高其处理空间推理任务的能力。该框架还包含一个双重上下文感知门控机制，用于调节几何信息流，…
-
ConsiSpace框架提升了LLM的视频空间推理能力
研究人员推出ConsiSpace，一个旨在增强多模态大语言模型（MLLMs）视频空间推理能力的新框架。该框架通过关注几何一致性，解决了MLLMs当前以语义为中心的局限性。ConsiSpace包含一个几何一致性记忆，并利用统一的一致性自监督强化学习来改进空间证据聚合和跨视图稳定性。在VSI-Bench、OSI-Bench和MMSI-Video-Bench等基准测试上的实验表明，与现有基线相比，平均得分提高了12.6分，取得了显著的改进。
-
RynnBrain 1.1 具身模型在基准测试中超越现有系统
研究人员推出了 RynnBrain 1.1，这是一个新的具身基础模型系列，有 2B、9B 和 122B-A10B 等不同规模。该模型系列专为机器人设计，支持感知、空间推理、定位和规划，并专注于物理基础和操作。122B-A10B 版本在多个基准测试中表现出卓越的性能，超越了现有的专有和开源模型，实际机器人实验表明，基于 RynnBrain 的策略比基于 Qwen 或其他通用 VLA 的策略更有效。
-
新框架增强LLM从稀疏输入进行3D空间推理的能力
研究人员开发了SpaR3D-MoE，一个新颖的框架，旨在仅使用稀疏的RGB输入来增强多模态大语言模型（MLLMs）的3D空间推理能力。该系统采用自适应时空流形采样机制来创建一个几何感知的图，在减少冗余的同时保持场景连通性。此外，一个融合几何归纳的专家混合模型（Mixture-of-Experts）以及一个指令-姿态感知路由器，能够自适应地将多模态令牌导向专门的专家，从而解决跨模态冲突。在VSI-Bench、ScanQA和SQA3D等基…
-
新框架 DR-MV3D 通过密集奖励增强三维视觉问答能力
研究人员推出 DR-MV3D，一个旨在增强多视图三维视觉问答 (MV3D-VQA) 的新框架。该方法利用密集、可验证的奖励来监督推理过程，超越了当前多模态 LLM 中常见的稀疏、答案级别的监督。DR-MV3D 将任务分解为全局地图构建、视图轨迹规划和通过以自我为中心的定位进行答案预测，采用全局一致性和局部轨迹选择的奖励来提高在 MindCube 和 VSI-Bench 等数据集上的性能。
-
OneCanvas 通过全景重投影简化了视觉语言模型（VLMs）的三维场景理解
研究人员开发了 OneCanvas，一种用于视觉语言模型（VLMs）的三维场景理解的新方法。OneCanvas 不使用复杂的几何编码器或大量的训练，而是将图像块特征投影到单个全景画布上，并通过三维位置嵌入保留深度信息。这种方法允许预训练的 VLMs 将全景表示作为标准图像进行处理，从而实现从任何视角的定位推理，并支持空间预训练课程。OneCanvas 在 SQA3D 和 VSI-Bench 等基准测试中取得了最先进的成果，同时所需的训…
-
新框架AlloSpatial提升基础模型空间推理能力
研究人员推出AlloSpatial，一个旨在增强基础模型空间推理能力的新框架。该框架将自我中心的观察转换为结构化的外部参照表示，如空间树和路线图，可用于查询对象拓扑、几何和轨迹。AlloSpatial还包含一个空间推理约束器，用于管理工具使用和仲裁不同的感官输入。在VSI-Bench和MindCube等基准测试上的实验表明，现有模型在空间推理方面取得了显著进步，甚至超越了更大的通用模型。
-
新AlloSpatial框架提升AI空间推理能力
研究人员开发了AlloSpatial，一个旨在提升基础模型空间推理能力的新框架。该框架通过将以自我为中心的观测转换为结构化的以他为中心的表征，有效地创建环境的认知地图，从而解决了当前模型的局限性。AlloSpatial包含一个空间推理工具包，以确保这些地图的可靠使用，从而显著提高了各种领先模型在空间基准测试中的性能。
-
Cambrian-P 视频模型利用相机姿态改进空间推理
研究人员推出了一种新颖的视频多模态大语言模型 (MLLM) Cambrian-P，该模型整合了相机姿态信息。这种方法将视频帧视为连续空间场景的一部分，而非孤立图像，从而在空间推理基准测试中取得了显著的改进。该模型在 VSI-Bench 上取得了 4.5-6.5% 的提升，并在其他视频问答任务中展现了强大的泛化能力。
-
GeoThinker框架主动集成几何以实现高级空间推理
研究人员开发了GeoThinker，一个新颖的框架，通过主动集成几何信息来增强多模态大语言模型（MLLMs）的空间推理能力。与以往的被动融合方法不同，GeoThinker允许模型根据其内部推理需求选择性地检索和整合相关的几何数据。这种通过空间基础融合（Spatial-Grounded Fusion）和重要性门控（Importance Gating）实现的主动集成，在空间智能基准测试中取得了最先进的性能，包括在VSI-Bench上达到了…
-
VLMs应对视觉错觉、空间推理和评估基准
研究人员正在开发新方法来提高视觉语言模型（VLM）的鲁棒性和推理能力。一种方法是结构化定性推理（SQI），旨在通过增强视觉基础而不进行模型微调来减轻视觉错觉。另一个重点是改进VLM空间推理的评估，开发了ReVSI等新基准来解决当前评估中存在的系统性无效问题。此外，还在努力使VLM能够更有效地利用几何参考表示来推理3D空间，并探索绕过显式语言中介的潜在视觉推理。
-
新框架通过世界模型和多智能体系统增强VLM的空间推理能力
研究人员开发了World2VLM，一个新颖的训练框架，将生成式世界模型中的空间推理能力提炼到视觉语言模型（VLMs）中。该方法合成未来视图以提供结构化监督，使VLMs能够比依赖合成数据或推理时世界模型耦合的方法更有效地内化空间想象。World2VLM在各种空间推理基准测试中表现出持续的改进，优于现有方法。