OpenAI的研究人员在包括CNN、ResNet和Transformer在内的各种深度学习模型中发现了一种称为“深度双下降”的现象。当模型未经过仔细正则化时，会出现这种情况，导致模型性能在模型大小、数据量或训练时间增加时，先是改善，然后恶化，接着再次改善。研究表明，在某些情况下，更大的模型可能表现更差，更多训练数据可能适得其反，而延长训练时间可能适得其反地逆转过拟合。 AI
排序理由 该集群描述了OpenAI发布的一篇研究论文，详细介绍了在深度学习模型中观察到的现象。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
We show that the double descent phenomenon occurs in CNNs, ResNets, and transformers: performance first improves, then gets worse, and then improves again with increasing model size, data size, or training time. This effect is often avoided through careful regularization. While t…