HLR-AVSceneQA

新基准和模型推动视听大模型空间推理能力发展

研究人员推出 HLR-AVSceneQA，这是一个旨在评估视听大模型（AV-LLMs）理解空间音频线索能力的新基准。该基准评估模型识别声音、定位声源以及推理其与视觉场景关系的能力。为解决当前 AV-LLMs 的局限性，该团队还开发了 HLR-LLM，一个增强模型，在其现有的语义音频通路之外，增加了一个双耳空间音频通路。通过包含空间推理的思维链监督的课程来训练 HLR-LLM，在空间视听场景理解方面取得了显著的改进。