PulseAugur
中
实时 12:21:26
English(EN) Model soups need only one ingredient

MonoSoup方法以单一检查点实现强大的ID-OOD平衡

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了MonoSoup，一种新颖的后验方法，仅使用单一检查点即可增强大型预训练模型中分布内准确性与分布外鲁棒性之间的平衡。该方法利用奇异值分解（SVD）来分析层更新，将特定任务的适应性与有益于鲁棒性的残差信号分离开来。在CLIP和Qwen等模型上的实验表明，MonoSoup提供了一种实用且计算效率高的方法，可替代通常需要大量检查点的传统权重空间集成方法。 AI

影响 提供了一种计算效率高的方法来提高模型鲁棒性，而无需多个检查点。

排序理由 该集群包含一篇详细介绍改进模型鲁棒性新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

MonoSoup方法以单一检查点实现强大的ID-OOD平衡

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Alireza Abdollahpoorrostam, Nikolaos Dimitriadis, Adam Hazimeh, Pascal Frossard ·

    Model soups need only one ingredient

    arXiv:2602.09689v2 Announce Type: replace Abstract: Fine-tuning large pre-trained models on a target distribution often improves in-distribution (ID) accuracy, but at the cost of out-of-distribution (OOD) robustness as representations specialize to the fine-tuning data. Weight-sp…

相关实体

相关话题