研究人员调查了最小 MLP 中的训练偏差如何导致神经元专门化并改进从学习到的权重重建训练数据。在一维数据集上的实验表明，覆盖正则化（鼓励原型分离）导致最低的重建误差并增加了专门化。相反，重叠惩罚被发现系统性地有害，导致优化器达到一个退化的平衡点，其中原型中心被推到训练输入凸包之外。该研究表明，训练中的排斥性结构损失必须与兼容的吸引子相平衡，以防止潜在几何的崩溃。 AI
影响 这项研究通过平衡结构损失为改进 MLP 中的原型可恢复性提供了一个设计原则。
排序理由 该集群包含一篇讨论机器学习研究课题的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.25939v1 Announce Type: cross Abstract: We here study whether training biases can make hidden neurons specialize in minimal one-hidden-layer MLPs, and whether such specialization improves prototype-based reconstruction of the training dataset from the learned weights. W…
We here study whether training biases can make hidden neurons specialize in minimal one-hidden-layer MLPs, and whether such specialization improves prototype-based reconstruction of the training dataset from the learned weights. We consider Gaussianactivation MLPs of width equal …