实体
model soups
model soups
PulseAugur coverage of model soups — every cluster mentioning model soups across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
MonoSoup方法以单一检查点实现强大的ID-OOD平衡
研究人员开发了MonoSoup，一种新颖的后验方法，仅使用单一检查点即可增强大型预训练模型中分布内准确性与分布外鲁棒性之间的平衡。该方法利用奇异值分解（SVD）来分析层更新，将特定任务的适应性与有益于鲁棒性的残差信号分离开来。在CLIP和Qwen等模型上的实验表明，MonoSoup提供了一种实用且计算效率高的方法，可替代通常需要大量检查点的传统权重空间集成方法。
-
Self-Soupervision 可从无标签数据中生成模型汤
研究人员开发了一种名为 Self-Soupervision 的新方法，该方法允许使用自监督学习 (SSL) 而非传统的监督学习来创建“模型汤”。这项技术能够组合来自多个模型的参数，即使是那些使用不同 SSL 算法或超参数训练的模型，也能提高预测准确性和鲁棒性。实验表明，Self-Souping 提高了在 ImageNet-C 和 LAION-C 等损坏数据集上的鲁棒性，并成功创建了性能优于单个模型的、由各种 SSL 成分组成的模型汤。