Yuting Chen

ReasonAudio基准揭示AI模型在复杂音频推理任务上存在困难

研究人员推出了ReasonAudio，这是一个旨在评估文本-音频检索模型推理能力的新基准。该基准通过引入需要高级推理的任务，如理解否定、时间顺序和持续时间，来解决现有系统主要关注语义匹配的局限性。对十个最先进模型的评估显示，这些模型在这些侧重推理的任务上普遍存在困难，尤其是在否定和持续时间方面，表明当前的训练方法不足以在检索模型中培养强大的推理能力。