MMAU-Pro
PulseAugur coverage of MMAU-Pro — every cluster mentioning MMAU-Pro across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新型LALM模型通过无指令对齐实现具有竞争力的多模态性能
研究人员开发了一种新颖的多模态大语言模型（MLLM）创建方法，该方法仅关注对齐，绕过了传统的多阶段流程。这种新方法称为LALM，仅训练一个轻量级投影仪，同时保持音频编码器和核心LLM的冻结状态。通过利用自生成数据和无指令训练，LALM在各种基准测试中取得了具有竞争力的性能，使用的数据量大大减少，却能媲美甚至超越经过大量后训练的模型。该技术保留了LLM固有的指令遵循能力，并允许快速适应新的LLM代和模态。
-
ParaBridge 方法改进了语音模型的副语言理解能力
研究人员开发了 ParaBridge，一种新颖的 on-policy 自蒸馏方法，旨在提高语音语言模型将副语言线索纳入对话的能力。该技术训练模型更好地利用非词汇信息，如语气或背景噪音，以生成更恰当的响应。ParaBridge 在 VoxSafeBench 和 EchoMind 等基准测试中显著提高了性能，同时保持了通用的语言能力。
-
HeadRouter 通过路由注意力头来修剪 LLM 中的音频令牌
研究人员推出了一种名为 HeadRouter 的新方法，通过动态修剪音频令牌来压缩大型音频语言模型。与先前假设头重要性均一的方法不同，HeadRouter 认识到这些模型中的不同注意力头根据音频任务具有不同的贡献。这种无需训练的技术可以识别并利用特定注意力头的重要性来保留关键令牌，从而在不牺牲性能的情况下实现显著压缩。实验表明，HeadRouter 实现了最先进的压缩效果，在保留大量令牌的情况下，甚至在 AudioMarathon 和…