contrastive prior

研究确定了有效表征先验以实现人工智能模型泛化的关键因素

一篇新研究论文探讨了使表征先验在机器学习中有效的因素，特别是在模型从记忆转向泛化的“grokking”的背景下。这项涉及 188 次新运行的研究发现，将先验的特征族与任务对齐至关重要，因为错误的特征族会阻碍泛化。无标签不变性先验使用交换对作为正例，展示了可靠的加速，并且当与权重范数钳位结合时，实现了显著的提速。研究还表明，这些先验在训练过程早期应用时最有效，短暂的应用窗口可以捕获大部分好处。