ICAP-Gate

新的ICAP-Gate机制控制大型音频语言模型中的音频影响

研究人员开发了一种名为ICAP-Gate的新机制，用于控制音频对大型音频语言模型（LALM）的影响。该方法解决了任务无关音频会改变模型文本推理决策的问题，而这个问题可能会被聚合准确率指标所掩盖。与标准推理相比，ICAP-Gate选择性地控制模型内的音频通路，在各种LALM和基准测试中表现出较低的影响率和答案翻转率。值得注意的是，它在保持自动语音识别性能的同时，与自洽性等方法相比，以更低的延迟提供了有竞争力的稳定性。