English(EN) Attention-Spectrum Regularization for Replay-Free Continual Multimodal LLMs

新的ASR方法可防止多模态大语言模型遗忘技能

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-22 09:13

研究人员推出了一种名为注意力谱正则化（ASR）的新框架，旨在防止多模态大语言模型（MLLMs）在适应新数据时遗忘先前学到的技能。ASR通过总结跨模态注意力图的光谱统计信息来实现这一点，将其存储为原型分布，而不是重放旧数据。该方法约束了适应过程中注意力模式的有害漂移，理论上在特定假设下确保技能保留。在VQA v2和CoIN等基准测试上的实验表明，与现有的持续学习方法相比，ASR显著减少了遗忘并提高了性能。 AI

影响这项研究可以使多模态大语言模型能够持续学习和适应新信息，而不会降低先前学到任务的性能。

排序理由该集群包含一篇学术论文，详细介绍了多模态大语言模型持续学习的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CV TIER_1 English(EN) · Yang Liu · 2026-06-22 09:13

Attention-Spectrum Regularization for Replay-Free Continual Multimodal LLMs

Multimodal large language models (MLLMs) are increasingly required to adapt to non-stationary streams of visual domains, question types, and user instructions, yet continual fine-tuning often causes severe forgetting of previously acquired multimodal skills. Existing continual vi…

报道来源 [1]

Attention-Spectrum Regularization for Replay-Free Continual Multimodal LLMs

相关实体

相关话题