Lan Li

新的BOFA框架增强了基于CLIP的类增量学习

研究人员开发了一个名为BOFA（Bridge-layer Orthogonal Low-Rank Fusion for Adaptation）的新框架，以改进像CLIP这样的视觉语言模型的类增量学习（CIL）。BOFA仅修改CLIP现有的跨模态桥层，避免了额外的参数或增加推理成本。它使用正交低秩融合将参数更新约束在一个子空间内，以防止遗忘先前学习的任务，从而无需数据重放。该框架还包含一个跨模态混合原型以提高分类性能。