English(EN) Beyond Neural Collapse: Task-Intrinsic Geometry Governs Neural Representations in Modular Arithmetic

新理论解释模数算术中的神经网络几何

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-09 04:00

研究人员开发了一个新的框架来理解模数算术任务中的神经网络表征。他们的工作改进了对这些网络为何采用二维循环几何的解释，偏离了预测的神经坍塌现象。该研究详细介绍了一种逐层训练机制，其中分类器权重在嵌入对齐之前形成秩2配置，并解释了在某些条件下，这种循环解决方案优于标准的神经坍塌。 AI

影响为理解特定数学任务中的神经网络行为提供了理论框架，可能指导未来的模型设计。

排序理由该集群包含一篇详细介绍机器学习新理论发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Hu Tan, Kuo Gai, Shihua Zhang · 2026-06-09 04:00

超越神经崩溃：任务内在几何支配模块化算术中的神经表征

arXiv:2606.08985v1 Announce Type: new Abstract: While neural collapse (NC) predicts that a $K$-class-balanced classifier should organize terminal representations as a $(K-1)$-dimensional simplex equiangular tight frame (ETF), modular addition consistently enters a different regim…