José Rosas Aispuro

New LAIP framework unlocks spatial grounding in audio-visual models

研究人员开发了一个名为LAIP的新框架，以改善大型视听检索模型中的空间定位。该框架利用音频线索为空间池化模块提供信息，使模型能够从中间视觉标记中提取局部声源信息，而这些信息否则将丢失。LAIP在AVSBench和AVATAR基准测试中取得了最先进的性能，证明了可以从现有的检索表示中解锁精确的定位。