Alireza Abdollahpoorrostam

MonoSoup方法以单一检查点实现强大的ID-OOD平衡

研究人员开发了MonoSoup，一种新颖的后验方法，仅使用单一检查点即可增强大型预训练模型中分布内准确性与分布外鲁棒性之间的平衡。该方法利用奇异值分解（SVD）来分析层更新，将特定任务的适应性与有益于鲁棒性的残差信号分离开来。在CLIP和Qwen等模型上的实验表明，MonoSoup提供了一种实用且计算效率高的方法，可替代通常需要大量检查点的传统权重空间集成方法。