Attention-Spectrum Regularization

新的ASR方法可防止多模态大语言模型遗忘技能

研究人员推出了一种名为注意力谱正则化（ASR）的新框架，旨在防止多模态大语言模型（MLLMs）在适应新数据时遗忘先前学到的技能。ASR通过总结跨模态注意力图的光谱统计信息来实现这一点，将其存储为原型分布，而不是重放旧数据。该方法约束了适应过程中注意力模式的有害漂移，理论上在特定假设下确保技能保留。在VQA v2和CoIN等基准测试上的实验表明，与现有的持续学习方法相比，ASR显著减少了遗忘并提高了性能。