Qwen-MusicAVQA-7B模型以高效设计增强音乐视听问答能力

研究人员开发了Qwen-MusicAVQA-7B，一个专为音乐视听问答设计的​​多模态模型。该模型使用学习到的线性投影，有效地将一个冻结的Whisper音频编码器与Qwen2-VL-7B-Instruct语言模型连接起来。该系统在MUSIC-AVQA基准测试中表现强劲，准确率达到96.0%，并强调了在有效的视听问答中保留音频表示中细粒度时间信息的重要性。 AI

影响 该模型的高效设计可能会影响视听任务多模态系统的构建方式，从而可能降低计算成本。

排序理由 这是一篇研究论文，详细介绍了一个用于特定任务的新多模态模型。 [lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• A100 80GB
• MUSIC-AVQA
• MUSIC-AVQA-R
• Qwen2.5-Omni-7B
• Qwen2-VL-7B-Instruct
• Qwen-MusicAVQA-7B
• Whisper

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →