English(EN) Do Audio LLMs Listen or Read? Analyzing and Mitigating Paralinguistic Failures with VoxParadox

新基准揭示音频LLM在副语言理解方面存在困难

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-28 04:00

研究人员开发了VoxParadox，一个旨在测试音频大型语言模型（Audio LLM）副语言理解能力的新基准。该基准包含2000个合成示例，故意将语音内容与说话风格进行不匹配，以评估这些模型在辨别语气和情感等细微差别方面的能力。评估显示，当前的音频LLM常常优先考虑文本信息而非声学线索，导致在理解副语言方面出现重大失误。为解决此问题，研究团队提出了提示条件层混合器（PCLM）和直接偏好优化（DPO），这些方法显著提高了在副语言任务上的性能。 AI

影响突显了当前音频LLM理解细微语音能力方面的局限性，可能指导未来模型开发，以实现更鲁棒的听觉理解。

排序理由该集群描述了一篇介绍基准和评估及改进音频LLM方法的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群描述了一篇介绍基准和评估及改进音频LLM方法的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, safety; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 94 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Jiacheng Pang, Ashutosh Chaubey, Mohammad Soleymani · 2026-05-28 04:00

音频大模型是听还是读？通过VoxParadox分析和缓解副语言失误

arXiv:2605.27772v1 Announce Type: cross Abstract: Audio large language models (Audio LLMs) demonstrate strong performance on speech understanding tasks, yet their ability to understand paralinguistic information remains limited. To systematically quantify this issue, we introduce…

本文如何被排名

报道来源 [1]

音频大模型是听还是读？通过VoxParadox分析和缓解副语言失误

相关实体

相关话题