研究人员开发了一种名为交错噪声注入的新型神经网络训练技术，该技术出人意料地提高了在干净、损坏和分布外数据上的性能。该方法在训练期间交替注入噪声和使用干净数据，这有助于优化器逃离局部最小值并增强探索，而不会造成显著的数据损失。该方法包括一种梯度范数稳定技术来管理快速的损失变化，并在 ResNet 和 ViT 架构的 CIFAR-100-C 和 ImageNet-C 等数据集上显示出显著的改进。 AI
影响 这种新颖的训练方法提供了一种经济高效的方式来增强模型在各种数据条件下的鲁棒性和性能。
排序理由 该集群包含一篇详细介绍神经网络训练新技术的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.14466v1 Announce Type: new Abstract: Noise injection is a well-known technique in stochastic optimization. We report its surprising effectiveness with an interleaved (on-off-on-off...) rather than the usual monotonic decay schedule. We present a theoretical analysis of…
Noise injection is a well-known technique in stochastic optimization. We report its surprising effectiveness with an interleaved (on-off-on-off...) rather than the usual monotonic decay schedule. We present a theoretical analysis of noise injection, which confirms that corruption…