neural collapse
PulseAugur coverage of neural collapse — every cluster mentioning neural collapse across labs, papers, and developer communities, ranked by signal.
- 2026-05-22 research_milestone A new paper proposes NTCE and NONL losses to achieve Neural Collapse more efficiently in supervised learning. 来源
1 天有情绪数据
-
研究发现：AI模型在单热编码训练下仍能学习到语义结构
一篇题为“结构先于崩溃：下一词预测中的瞬态语义几何”的新研究论文探讨了语言模型如何在单热编码标签训练下学习语义结构。研究发现，尽管神经崩溃理论预测对称表示，但语言模型在训练早期就会发展出潜在的结构特征。这些新兴的语义几何会根据共享属性进行聚类，但它们是瞬态的，最终会导致预测的对称状态。该研究提出了一种修改现有模型的方法，以更好地捕捉这种新兴结构。
-
新理论解释模数算术中的神经网络几何
研究人员开发了一个新的框架来理解模数算术任务中的神经网络表征。他们的工作改进了对这些网络为何采用二维循环几何的解释，偏离了预测的神经坍塌现象。该研究详细介绍了一种逐层训练机制，其中分类器权重在嵌入对齐之前形成秩2配置，并解释了在某些条件下，这种循环解决方案优于标准的神经坍塌。
-
神经崩溃动力学与特征范数阈值相关
研究人员确定了一个关键的特征范数阈值 fn*，它在很大程度上决定了深度学习模型中神经崩溃发生的时间。该阈值特定于每个模型-数据集对，并且在很大程度上不受训练条件的影响，尽管训练速度可能会有所不同。研究发现，跨越该阈值始终是神经崩溃的前兆，可作为实际的预测指标。网络深度、激活函数、权重衰减和宽度等因素都会影响崩溃的速度和 fn* 的值。
-
新研究将神经崩溃与类别编码联系起来
研究人员探讨了标签编码如何影响神经崩溃，这是在神经网络分类模型中观察到的现象。他们的研究使用了具有均方误差训练的无约束特征模型，发现对于独热编码标签和平衡数据，随着偏置正则化的增加，类别特征从单纯形等角紧框架转变为正交框架。这种结构变化反映了独热编码标签的正交性质，表明编码与网络行为之间存在联系。
-
研究发现：神经网络中的深度会诱导隐式低秩偏差
研究人员探讨了神经网络中深度的隐式偏差，特别是在深度无约束特征模型（UFM）中。他们的分析侧重于梯度下降和无显式正则化的深度，揭示了深度本身会促进低秩偏差。这种偏差会促使解决方案偏离标准的神经坍塌，而是与先前在宽度瓶颈网络中观察到的最大间隔解决方案保持一致。该研究还确定了谱初始化如何影响奇异值，并描述了随着深度增加，神经坍塌吸引盆的收缩。
-
新的损失函数可加速监督学习中的神经坍塌
研究人员引入了新的方法NTCE和NONL，通过更有效地实现神经坍塌（NC）来改进监督分类。这些技术解决了现有范式（如交叉熵和监督对比学习）的局限性。通过将监督学习视为超球体上的原型学习，新的损失函数能够更快地收敛到NC，并在迁移学习和鲁棒性方面取得显著改进，尤其是在类别不平衡的情况下。
-
新的损失重加权方法通过神经坍塌解决不平衡学习问题
研究人员提出了一种新的不平衡分类问题损失重加权方法，该方法借鉴了神经坍塌理论。该方法将损失重加权视为一个逆问题，动态推断类别权重以实现每个类别平均损失相等的理想目标。实证结果表明，这种逆向视角重加权策略能有效减少损失不平衡，并更好地符合神经坍塌几何，其性能优于现有的长尾分类基线。
-
新框架揭示深度网络如何通过跟踪特征线性化来学习
研究人员引入了一个新的分析框架，用于研究深度神经网络如何通过关注特征演变和权重更新来学习表示。该框架利用权重Gram矩阵来理解这些动态，并提出梯度下降会隐式地指导特征发展。该研究引入了“目标线性度”来衡量特征与其目标之间的一致性，表明深度网络会逐步将表示转换为这种线性结构，从而提供对神经崩溃等现象的统一视图。
-
新的谱分析框架将神经折叠扩展到不平衡的多标签设置
研究人员开发了一个谱控制框架来分析多标签分类中的神经折叠，特别解决了标签不平衡和相关性问题。他们的工作解决了关于原型平均的一个猜想，表明类别频率决定了合成规则，而不是均匀平均。所提出的框架引入了标签协方差谱，该谱通过识别弱类间对比方向来量化终端几何的稳定性。