PulseAugur
中
实时 12:13:16
English(EN) How to Tame Grokking: Representation Geometry as a Control Signal

新技术将神经网络泛化速度提高了 52 倍

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员推出了一种名为几何维度正则化（GeomDR）的新技术，用于影响神经网络中的“grokking”现象。Grokking 指的是模型在初始阶段记忆数据，然后才泛化，这一过程尚不明确。这篇 arXiv 论文详细介绍了这种新方法，它利用谱正则化在训练过程中改变隐藏表示的维度。实验表明，GeomDR 可以显著加速泛化，在某些情况下比标准的 AdamW 训练提高了 52 倍，并且在不同的网络架构和任务中都有效。 AI

影响 加速神经网络的泛化，有望在复杂任务上实现更快的训练和更好的性能。

排序理由 该集群包含一篇学术论文，详细介绍了一种研究和影响神经网络行为的新方法。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新技术将神经网络泛化速度提高了 52 倍

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Maksim A Kazanskii ·

    How to Tame Grokking: Representation Geometry as a Control Signal

    arXiv:2607.11666v1 Announce Type: new Abstract: Grokking is a phenomenon in which neural networks initially memorize training data and only later exhibit strong generalization after prolonged optimization. Despite extensive recent study, the factors influencing the emergence and …

  2. arXiv cs.LG TIER_1 English(EN) · Maksim A Kazanskii ·

    如何驯服“涌现”：表征几何作为控制信号

    Grokking is a phenomenon in which neural networks initially memorize training data and only later exhibit strong generalization after prolonged optimization. Despite extensive recent study, the factors influencing the emergence and timing of grokking remain incompletely understoo…

相关实体

相关话题