Habibeh Naderi

新的贝叶斯PEFT方法增强了多模态AI的不确定性估计

研究人员开发了新的参数高效微调（PEFT）方法CoCo-LoRA和SPECTRA，旨在提高多模态AI模型的不确定性估计，特别是在音频-文本任务中。这些方法利用低秩适应层内的贝叶斯方法，将不确定性条件化于文本和音频特征，解决了现有确定性或单模态PEFT技术的局限性。通过将音频视为上下文可靠性信号，而非仅仅融合的特征，这些模型提供了更鲁棒且参数高效的适应性，在各种预测任务和压力测试中优于传统方法。