研究人员引入了Sharp Mode Connectivity (SMC),一种用于优化深度神经网络权重空间中参数曲线的新方法。与仅确保沿轨迹低损失的标准模式连通性不同,SMC还强制要求邻近区域的低损失,从而使插值模型对分布变化更加鲁棒。该方法在ResNet-18和ViT-Tiny等模型以及CIFAR-10和ImageNet-100等数据集上得到了验证,显示出显著的准确性提升,尤其是在CIFAR-10-C等损坏情况下,甚至产生了负损失障碍。 AI
影响 增强了插值模型的鲁棒性,可能改进权重平均和模型合并等技术。
排序理由 介绍深度神经网络插值新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- CIFAR-10
- CIFAR-10-C
- ImageNet-100
- mode connectivity
- ResNet-18
- SAM-on-the-Curve
- Sharpness-Aware Mode Connectivity
- VGG16 BN
- ViT-Tiny
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →