AnchorPrompt

新的AnchorPrompt方法提高了音频-语言模型的鲁棒性

研究人员开发了AnchorPrompt，一种用于提高大型音频-语言模型（LALMs）鲁棒性的新颖方法。该技术涉及训练一个插入到模型解码器中的单一提示向量块。AnchorPrompt利用跨各种音频和文本扰动的自蒸馏来增强答案一致性并减少幻觉，即使面对未见的失真也能做到。在多个LALMs和基准上的评估表明，AnchorPrompt在对干净音频性能影响最小的情况下提高了答案的一致性和准确性，同时有效处理损坏的输入。