研究人员推出了ReasonAudio,这是一个旨在评估文本-音频检索模型推理能力的新基准。该基准通过引入需要高级推理的任务,如理解否定、时间顺序和持续时间,来解决现有系统主要关注语义匹配的局限性。对十个最先进模型的评估显示,这些模型在这些侧重推理的任务上普遍存在困难,尤其是在否定和持续时间方面,表明当前的训练方法不足以在检索模型中培养强大的推理能力。 AI
影响 强调了当前多模态模型的局限性,表明需要新的训练范式来提高检索任务中的推理能力。
排序理由 在arXiv上发表了关于评估文本-音频检索模型推理能力的新基准论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →