VSI-Bench
PulseAugur coverage of VSI-Bench — every cluster mentioning VSI-Bench across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
TuringSpace 基准测试使用交互式验证码评估 MLLMs 的空间智能 · 跟踪 2 个来源
研究人员推出了 TuringSpace,这是一个包含 125 个交互式验证码的新型环境,旨在测试和训练多模态大型语言模型 (MLLMs) 的空间智能。与之前的基准测试不同,TuringSpace 要求模型在合成的 Web 环境中执行点击和拖动等操作,模仿人类与视觉和空间信息的交互。虽然人类解决了其中 94.1% 的任务,但领先的模型 GPT-6 Astra 仅达到 74.1%,这凸显了 MLLMs 在空间推理和纠正自身行为方面的困难。…
-
新框架SpatialMind提升LLM空间推理能力
研究人员推出SpatialMind,一个旨在增强多模态大语言模型(MLLMs)空间推理能力的新框架。与之前使用固定几何融合级别的旧方法不同,SpatialMind根据特定任务需求动态调整几何表示的粒度。这种自适应方法利用一个名为GeoFus的模块,在VSI-Bench基准测试上取得了72.3分的最新性能。该框架的源代码已公开,旨在推动MLLMs的能力超越2D视觉理解,进入复杂的3D空间任务。
-
港中文团队将AI空间推理速度提升3.6倍
香港中文大学梁晓丹教授带领的研究团队开发了GeoThinker和GeoThinker-F,这是视觉语言模型在空间推理方面的两项重要进展。GeoThinker改进了模型选择和利用外部几何信息的方式,减少了干扰,并在VSI-Bench等基准测试中提升了性能。GeoThinker-F通过使模型能够内部生成空间表征,进一步优化了这一过程,无需实时外部几何编码器,从而在很大程度上保持准确性的同时,将空间推理速度提高了3.6倍。
-
GeoLift框架通过3D地图增强LLM空间推理能力
研究人员开发了GeoLift,一个旨在增强多模态大语言模型(MLLM)空间推理能力的新框架。这种无需训练的方法利用前馈3D重建,将视频帧中检测到的对象映射到共享的3D场景中。通过使用超点(superpoints)在不同视图之间关联对象,并实现空间关系的显式计算,GeoLift显著提高了MLLM在复杂空间任务上的性能。例如,它将Qwen3-VL-4B在VSI-Bench上的准确率从55.4%提升到64.1%,尤其是在路线规划任务上。
-
LLM 微调用于 QFT 和视频 QA,发布新研究
研究人员探索了将大型语言模型 (LLM) 微调用于专业科学领域,特别是量子场论 (QFT)。一项研究比较了强化学习 (RL) 和监督微调 (SFT),发现 RL 在人类适应性问题上泛化能力更强,而 SFT 在分布内合成任务上表现更佳。这项研究还涉及创建一个数据生成管道并发布可验证的 QFT 训练数据。另一篇论文介绍了 SpatialMem,一个集成了 3D 几何、语义和语言用于视频基础和问答的系统,并在 VSI-Bench 和 Ope…
-
新方法揭示多模态大模型中的非视觉捷径
研究人员提出了一种名为测试集压力测试(TsT)的新方法,用于识别多模态大模型中可利用的非视觉捷径。该方法通过在测试集的问答选项上训练一个仅文本的模型来揭示偏差,而不是仅仅评估模型现有的性能。TsT方法成功地在VSI-Bench和CV-Bench等基准测试中发现了显著的偏差,模型可以在不处理图像的情况下获得高分。然而,在MMMU等基准测试中,该方法发现高分更多地反映了预训练知识,而不是可学习的测试集规律。
-
清华、腾讯、南洋理工大学发布用于AI空间记忆的Spatial-TTT
清华大学、腾讯混元和南洋理工大学的研究人员开发了Spatial-TTT,这是一种为AI模型赋予“流式空间记忆”的新颖方法。该方法通过使参数在推理过程中实时适应和更新,解决了传统Transformer模型在处理长而连续的视频输入方面的局限性。Spatial-TTT采用混合架构,结合了用于动态内存压缩的测试时训练(TTT)层和用于语义对齐的标准注意力层,在VSI-Bench等空间基准测试中表现优于GPT-5。
-
World Labs 发布 Atlas,一个用于空间智能的全能世界模型 · 跟踪 8 个来源
World Labs 推出了 Atlas,一个专为空间智能设计的新型 AI 模型,能够从图像、视频、文本和深度数据等各种输入生成、重建和模拟 3D 世界。与专用模型不同,Atlas 将所有输入整合到一个统一的空间上下文中,使其能够生成更一致、更详细的 3D 表示。该模型旨在通过提供对空间关系和场景动态的更深入理解来推动机器人技术、模拟和 3D 内容创作的发展。
-
新研究使用3D场景图和2D基准来探测LLM的空间推理能力
两篇新研究论文探讨了大语言模型(LLM)的空间推理能力。第一篇论文“GraFT”介绍了一个无需训练的框架,该框架使用3D场景图来增强多模态LLM的几何理解和空间意识,在ScanQA和VSI-Bench等基准测试中取得了显著的改进。第二篇论文“Autoregressive Mosaics”通过引入AM-Bench基准来探测纯文本LLM的2D空间推理能力。该基准区分了将空间描述转化为代码和真正的布局组合,揭示了虽然纯文本模型可以为图像生成…
-
OraRL 框架提升视频 MLLM 训练效率
研究人员推出 OraRL,一个旨在增强视频多模态大语言模型 (MLLM) 训练的新型强化学习框架。该方法通过将标注视为 Oracle Rollouts,直接优化模型而无需耗时的思维链生成,从而提高了样本效率和可扩展性。OraRL 通过采用解耦优势估计器和符号平衡剪枝来解决“优势反转”的挑战,从而加快了解码速度并在各种视频理解任务中取得了显著的性能提升,在 VSI-Bench 基准测试中超越了 GPT-5 和 Gemini 3-Pro 等模型。
-
新框架应对大型视觉语言模型中的视频推理挑战
研究人员开发了新的框架来应对大型视觉语言模型(LVLMs)在视频推理方面的挑战。一种方法是“证据链”(Chain of Evidence, CoE),它通过使用轻量级的接地模块和证据锚定协议,将接地与推理解耦,以提高效率并减少幻觉。另一种方法是GroundFormer,它通过在定位之前根据问题语义对视频特征进行条件化,将问题意图与时间证据相结合,旨在改进问题区分性接地。这两种方法在各种视频理解基准测试中都展示了最先进的性能。
-
新的Spa3R框架提升了视觉语言模型在3D空间推理能力
研究人员开发了Spa3R,一个新颖的自监督框架,旨在增强视觉语言模型中的3D空间推理能力。与依赖显式3D数据或部分几何先验的现有方法不同,Spa3R从无姿态的多视图RGB图像中学习统一的、视图不变的空间表示。该框架将上下文视图压缩为潜在表示,并在新的视点预测对齐的几何和语义特征场,从而实现对场景几何和布局更连贯的理解。当作为Spa3-VLM集成到视觉语言模型中时,它在VSI-Bench等基准测试中取得了最先进的性能,证明了其在3D视觉…
-
新框架GUIDE通过渐进式几何集成增强MLLMs
研究人员开发了GUIDE(Geometric Unrolling Inside MLLM Early-layers),一个旨在增强多模态大语言模型(MLLMs)理解物理空间和3D场景的新框架。与先前在单点融合几何信息的做法不同,GUIDE将编码器的多层次几何特征渐进式地集成到MLLM的早期层中。这使得模型能够持续访问和整合不同粒度的几何线索,从而提高其处理空间推理任务的能力。该框架还包含一个双重上下文感知门控机制,用于调节几何信息流,…
-
ConsiSpace框架提升了LLM的视频空间推理能力
研究人员推出ConsiSpace,一个旨在增强多模态大语言模型(MLLMs)视频空间推理能力的新框架。该框架通过关注几何一致性,解决了MLLMs当前以语义为中心的局限性。ConsiSpace包含一个几何一致性记忆,并利用统一的一致性自监督强化学习来改进空间证据聚合和跨视图稳定性。在VSI-Bench、OSI-Bench和MMSI-Video-Bench等基准测试上的实验表明,与现有基线相比,平均得分提高了12.6分,取得了显著的改进。
-
RynnBrain 1.1 具身模型在基准测试中超越现有系统
研究人员推出了 RynnBrain 1.1,这是一个新的具身基础模型系列,有 2B、9B 和 122B-A10B 等不同规模。该模型系列专为机器人设计,支持感知、空间推理、定位和规划,并专注于物理基础和操作。122B-A10B 版本在多个基准测试中表现出卓越的性能,超越了现有的专有和开源模型,实际机器人实验表明,基于 RynnBrain 的策略比基于 Qwen 或其他通用 VLA 的策略更有效。
-
新框架增强LLM从稀疏输入进行3D空间推理的能力
研究人员开发了SpaR3D-MoE,一个新颖的框架,旨在仅使用稀疏的RGB输入来增强多模态大语言模型(MLLMs)的3D空间推理能力。该系统采用自适应时空流形采样机制来创建一个几何感知的图,在减少冗余的同时保持场景连通性。此外,一个融合几何归纳的专家混合模型(Mixture-of-Experts)以及一个指令-姿态感知路由器,能够自适应地将多模态令牌导向专门的专家,从而解决跨模态冲突。在VSI-Bench、ScanQA和SQA3D等基…
-
新框架 DR-MV3D 通过密集奖励增强三维视觉问答能力
研究人员推出 DR-MV3D,一个旨在增强多视图三维视觉问答 (MV3D-VQA) 的新框架。该方法利用密集、可验证的奖励来监督推理过程,超越了当前多模态 LLM 中常见的稀疏、答案级别的监督。DR-MV3D 将任务分解为全局地图构建、视图轨迹规划和通过以自我为中心的定位进行答案预测,采用全局一致性和局部轨迹选择的奖励来提高在 MindCube 和 VSI-Bench 等数据集上的性能。
-
OneCanvas 通过全景重投影简化了视觉语言模型(VLMs)的三维场景理解
研究人员开发了 OneCanvas,一种用于视觉语言模型(VLMs)的三维场景理解的新方法。OneCanvas 不使用复杂的几何编码器或大量的训练,而是将图像块特征投影到单个全景画布上,并通过三维位置嵌入保留深度信息。这种方法允许预训练的 VLMs 将全景表示作为标准图像进行处理,从而实现从任何视角的定位推理,并支持空间预训练课程。OneCanvas 在 SQA3D 和 VSI-Bench 等基准测试中取得了最先进的成果,同时所需的训…
-
新框架AlloSpatial提升基础模型空间推理能力
研究人员推出AlloSpatial,一个旨在增强基础模型空间推理能力的新框架。该框架将自我中心的观察转换为结构化的外部参照表示,如空间树和路线图,可用于查询对象拓扑、几何和轨迹。AlloSpatial还包含一个空间推理约束器,用于管理工具使用和仲裁不同的感官输入。在VSI-Bench和MindCube等基准测试上的实验表明,现有模型在空间推理方面取得了显著进步,甚至超越了更大的通用模型。
-
新AlloSpatial框架提升AI空间推理能力
研究人员开发了AlloSpatial,一个旨在提升基础模型空间推理能力的新框架。该框架通过将以自我为中心的观测转换为结构化的以他为中心的表征,有效地创建环境的认知地图,从而解决了当前模型的局限性。AlloSpatial包含一个空间推理工具包,以确保这些地图的可靠使用,从而显著提高了各种领先模型在空间基准测试中的性能。