AlphaWiSE

AlphaWiSE 方法通过插值模型检查点改进多模态学习

研究人员推出了一种新颖的持续多模态表示学习方法 AlphaWiSE。这种事后权重空间插值技术通过为每个对齐的参数张量拟合单个标量插值系数来组合两个冻结的源检查点。AlphaWiSE 使用此系数物化插值检查点，该系数在小型示例内存上拟合。所得模型保持与原始检查点相同的架构和参数数量，无需额外的推理时间，并在音频-图像-文本检索任务中展示了优于现有持续学习基线的一致改进。