Query Context Reasoning (QCR)

新的QSTar方法增强了音乐视听问答能力

研究人员开发了一种名为查询引导时空频（QSTar）交互的新方法，以改进视听问答（AVQA）。该方法通过整合问题引导线索，并结合频率域的音频信号分析以及空间和时间信息，特别增强了对视频中音乐的理解。一个补充的查询上下文推理（QCR）模块进一步优化了模型对相关音频和视觉特征的关注。在AVQA基准上的实验表明，QSTar在音频问答、视觉问答、视频问答和AVQA方面显著优于现有方法。