研究人员开发了一种新的自监督预训练渐近理论，采用两阶段M估计。该方法利用黎曼几何的工具，解决了表示学习中固有的群对称性挑战。该理论精确地描述了下游测试风险的极限分布，在谱预训练和因子模型等特定应用中比现有方法有所改进。 AI
影响 提供了对自监督学习更精确的理论理解，可能导致更有效和更强大的模型预训练。
排序理由 详细介绍自监督学习新理论框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2603.27631v2 Announce Type: replace-cross Abstract: Self-supervised pre-training, where large corpora of unlabeled data are used to learn representations for downstream fine-tuning, has become a cornerstone of modern machine learning. While a growing body of theoretical wor…