English(EN) Why Does Train-Validation Separation Emerge? Update-Pressure Density Dynamics in Pretrained Backbones

新理论解释预训练模型中的训练-验证分离

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-03 04:00

研究人员提出了一个新的动态结构模型来解释预训练模型中训练-验证分离的出现。这种现象是指模型在训练数据上的表现与在验证数据上的表现出现分歧，其原因在于模型的适应性将其关注点从广泛可复用的特征转移到更具体的、对未见数据迁移性较差的特征上。该研究通过使用ResMLP、自然语言处理模型如RoBERTa、DeBERTa和Qwen，以及视觉模型如ResNet-18进行受控模拟，证明了可观察到的结构演变可以在无需直接访问验证示例的情况下预测这种分离。 AI

影响为理解和潜在缓解跨领域预训练模型中的过拟合提供了一个理论框架。

排序理由该集群包含一篇研究论文，详细介绍了对机器学习中一种现象的新理论解释。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 4 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇研究论文，详细介绍了对机器学习中一种现象的新理论解释。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Yuchen Li, Mingyu Du, Zongqi Fan, Ken-Tye Yong, Nguyen H. Tran · 2026-10-03 04:00

预训练骨干网络中的更新压力密度动力学：为何会出现训练-验证分离？

arXiv:2610.01425v1 Announce Type: new Abstract: Train-validation separation is the evolving difference between performance on observed training examples and a finite held-out validation set. We propose a dynamic structural account of how this gap develops during adaptation of pre…

本文如何被排名

报道来源 [1]

预训练骨干网络中的更新压力密度动力学：为何会出现训练-验证分离？

相关实体

相关话题