一篇题为“结构先于崩溃：下一词预测中的瞬态语义几何”的新研究论文探讨了语言模型如何在单热编码标签训练下学习语义结构。研究发现，尽管神经崩溃理论预测对称表示，但语言模型在训练早期就会发展出潜在的结构特征。这些新兴的语义几何会根据共享属性进行聚类，但它们是瞬态的，最终会导致预测的对称状态。该研究提出了一种修改现有模型的方法，以更好地捕捉这种新兴结构。 AI
影响 这项研究为语言模型如何发展语义理解提供了见解，可能指导未来的模型架构和训练方法。
排序理由 该集群包含一篇详细介绍语言模型行为新研究发现的学术论文。
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2606.26749v1 Announce Type: cross Abstract: Neural Collapse predicts that balanced one-hot classification pushes model representations to be equally far from each other; a symmetric configuration that depends only on the output label and ignores any semantic similarity in t…
Neural Collapse predicts that balanced one-hot classification pushes model representations to be equally far from each other; a symmetric configuration that depends only on the output label and ignores any semantic similarity in the inputs. This creates a puzzle: next-token predi…
Neural Collapse predicts that balanced one-hot classification pushes model representations to be equally far from each other; a symmetric configuration that depends only on the output label and ignores any semantic similarity in the inputs. This creates a puzzle: next-token predi…