新理论解释了对比学习中CNN的最佳表示

本文提出了一个理论框架，用于理解为什么使用自然图像进行对比学习对下游任务有效。研究人员分析计算了基本增强和静止图像数据集的最佳表示，发现具有正弦滤波器的卷积神经网络（CNN）在其第一层，然后是逐点非线性、全局平均池化和部分白化，可以达到这个最优值。他们还证明了这种CNN中更复杂增强的最佳权重保持正弦形，并且可以使用基于数据集功率谱的水填充算法来计算。实验结果证实，使用随机梯度下降（SGD）训练的CNN在其初始层学习正弦滤波器并执行部分白化。 AI

影响 为对比学习的有效性提供了理论基础，可能指导未来的模型开发。

排序理由 该集群包含一篇详细介绍计算机视觉理论发现和实验验证的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• arXiv
• CNN
• computer science
• Computer vision and pattern recognition
• SGD

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →