SpatialSceneQA

新的 JAEGER 框架支持 3D 音视频 AI 推理

研究人员开发了 JAEGER，一个增强音视频大语言模型（AV-LLMs）的新框架，使其能够在 3D 物理环境中感知和推理。与之前仅限于 2D 感知的模型不同，JAEGER 集成了 RGB-D 观测和多通道音频，以实现联合空间地面定位。一项关键创新是“Neural IV”表示，即使在声音源重叠的情况下也能提高到达角估计。该团队还推出了 SpatialSceneQA，一个包含超过 61,000 个指令调优样本的基准数据集，以促进训练和评估。