研究人员开发了一种名为ICAP-Gate的新机制,用于控制音频对大型音频语言模型(LALM)的影响。该方法解决了任务无关音频会改变模型文本推理决策的问题,而这个问题可能会被聚合准确率指标所掩盖。与标准推理相比,ICAP-Gate选择性地控制模型内的音频通路,在各种LALM和基准测试中表现出较低的影响率和答案翻转率。值得注意的是,它在保持自动语音识别性能的同时,与自洽性等方法相比,以更低的延迟提供了有竞争力的稳定性。 AI
影响 通过减轻多模态AI系统中推理任务中不必要的音频干扰,增强了其鲁棒性。
排序理由 该集群包含一篇研究论文,详细介绍了控制大型音频语言模型中音频影响的新机制。[lever_c_demoted from research: ic=1 ai=1.0]
- Aggregate Accuracy
- Answer Flip
- arXiv
- Hugging Face
- ICAP-Gate
- Influence Rate
- Large Audio-Language Models
- Selective Listening: Mechanism-Guided Control of Audio Influence in Large Audio-Language Models
- Self-Consistency In Llms
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →