PulseAugur
实时 10:18:04
English(EN) The role of class encoding in neural collapse

新研究将神经崩溃与类别编码联系起来

研究人员探讨了标签编码如何影响神经崩溃,这是在神经网络分类模型中观察到的现象。他们的研究使用了具有均方误差训练的无约束特征模型,发现对于独热编码标签和平衡数据,随着偏置正则化的增加,类别特征从单纯形等角紧框架转变为正交框架。这种结构变化反映了独热编码标签的正交性质,表明编码与网络行为之间存在联系。 AI

影响 为神经网络行为提供了理论见解,可能为未来的模型设计和训练策略提供信息。

排序理由 这是一篇在arXiv上发表的研究论文,讨论了神经网络中的特定现象。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Bastien Massion, Roy Makhlouf, Estelle Massart ·

    The role of class encoding in neural collapse

    arXiv:2606.00344v1 Announce Type: new Abstract: Neural collapse is a structural property of the last-hidden-layer activations in neural network classification models, when trained beyond a zero classification error. In this work, we explore the role of label encoding in neural co…