研究人员开发了 JAEGER，一个增强音视频大语言模型（AV-LLMs）的新框架，使其能够在 3D 物理环境中感知和推理。与之前仅限于 2D 感知的模型不同，JAEGER 集成了 RGB-D 观测和多通道音频，以实现联合空间地面定位。一项关键创新是“Neural IV”表示，即使在声音源重叠的情况下也能提高到达角估计。该团队还推出了 SpatialSceneQA，一个包含超过 61,000 个指令调优样本的基准数据集，以促进训练和评估。 AI
影响 通过 3D 音视频感知增强了 AI 理解和与物理世界交互的能力。
排序理由 该集群包含一篇详细介绍新 AI 框架和基准的研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
