两篇新研究论文解决了多模态大语言模型（MLLMs）联邦持续学习中的挑战。第一篇论文介绍了FedCMM，一个通过实现模态感知弹性权重巩固、用于重放的合成数据生成以及任务相似性感知梯度聚合来对抗MLLMs灾难性遗忘的框架。第二篇论文提出了HERO，一个通过分离任务分割、客户端数据分割和客户端任务顺序来标准化联邦持续学习评估的基准库，旨在提高不同FCL方法之间的可比性和可复现性。 AI
影响 这些进展旨在提高联邦学习系统的鲁棒性和可比性，特别是对于适应不断变化数据的多模态模型。
排序理由 两篇在arXiv上发表的学术论文，详细介绍了用于联邦持续学习的新框架和基准库。
- CIFAR-100
- HERO
- OGB-MolPCBA
- TinyImageNet
- cross-modal projector
- FedCMM
- Federated Continual Multimodal Learning
- Fisher information matrices
- gradient cosine similarity
- language backbone
- Multimodal Large Language Models
- vision encoder
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
