SQA3D
PulseAugur coverage of SQA3D — every cluster mentioning SQA3D across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新框架增强LLM从稀疏输入进行3D空间推理的能力
研究人员开发了SpaR3D-MoE，一个新颖的框架，旨在仅使用稀疏的RGB输入来增强多模态大语言模型（MLLMs）的3D空间推理能力。该系统采用自适应时空流形采样机制来创建一个几何感知的图，在减少冗余的同时保持场景连通性。此外，一个融合几何归纳的专家混合模型（Mixture-of-Experts）以及一个指令-姿态感知路由器，能够自适应地将多模态令牌导向专门的专家，从而解决跨模态冲突。在VSI-Bench、ScanQA和SQA3D等基…
-
新方法剪枝Token以实现高效3D问答
研究人员开发了一种新颖的在线Token剪枝方法，旨在提高多模态大语言模型（MLLMs）在3D问答任务中的效率。该方法将输入帧投影到共享的体素空间，识别并剪枝空间重叠的区域，以在图像Token进入语言模型之前减少冗余。该方法无需额外训练，可将Token使用量减少高达50%，并在应用于Qwen2.5-VL-7B和Qwen3-VL-8B等模型后，在ScanQA、SQA3D和OpenEQA-HM3D等基准测试中表现出性能提升。
-
新的多智能体框架提升了零样本3D理解能力 · 跟踪2个来源
研究人员引入了一种新颖的协作式多智能体框架，用于零样本3D理解，解决了现有基于视频方法的一些局限性。该系统采用一个规划智能体来战略性地选择和补充视角，以及一个感知智能体来构建3D场景的结构化认知图。这个迭代过程，其中智能体之间相互提供反馈，显著提高了在ScanRefer、3D辅助对话和SQA3D等基准测试上的性能，取得了最先进的成果。
-
OneCanvas 通过全景重投影简化了视觉语言模型（VLMs）的三维场景理解
研究人员开发了 OneCanvas，一种用于视觉语言模型（VLMs）的三维场景理解的新方法。OneCanvas 不使用复杂的几何编码器或大量的训练，而是将图像块特征投影到单个全景画布上，并通过三维位置嵌入保留深度信息。这种方法允许预训练的 VLMs 将全景表示作为标准图像进行处理，从而实现从任何视角的定位推理，并支持空间预训练课程。OneCanvas 在 SQA3D 和 VSI-Bench 等基准测试中取得了最先进的成果，同时所需的训…
-
SpatioRoute 通过动态提示路由提升视觉语言模型空间推理能力
研究人员开发了 SpatioRoute，这是一种增强视觉语言模型（VLMs）零样本空间推理能力的新方法。该方法能够动态地将输入问题路由到定制的提示模板，而无需额外的训练或 3D 传感器数据。SpatioRoute 在 SQA3D 基准测试上展示了高达 5% 的一致准确率提升，为仅视频的空间视觉问答（VQA）树立了新的最先进水平。
-
Chat-Scene++ 通过富含上下文的对象识别推进了 3D LLM 的场景理解
研究人员推出 Chat-Scene++，一个旨在增强多模态大语言模型 (MLLMs) 进行 3D 场景理解的新框架。该方法将 3D 场景构建为对象序列，并融入上下文语义以改进对象识别和推理。Chat-Scene++ 使用 3D 和 2D 编码器提取丰富的对象特征，从而实现有依据的链式思考推理。该框架在五个主要的 3D 视觉-语言基准测试中取得了最先进的成果，并且仅使用 2D 输入即可运行。