PulseAugur
实时 08:02:48
English(EN) Measuring Dead Directions: Decomposing and Classifying Singular Structure off Canonical Alignment

新方法测量神经网络中的奇异结构

研究人员开发了一种新方法,可以在不依赖下降或对齐的情况下测量和分类已训练神经网络中的奇异结构。该技术在新的arXiv论文中有所详述,可以恢复死方向的顺序,并将真正的奇点与规范对称性区分开来。该方法已在各种层类型上进行了演示,包括Transformer和MLP,并在构造和训练网络中成功恢复了架构预测的顺序。 AI

影响 引入了一个新的分析工具来理解神经网络内部,可能有助于模型的可解释性和优化。

排序理由 该集群包含一篇新的学术论文,详细介绍了机器学习中的一种新研究方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新方法测量神经网络中的奇异结构

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Tejas Pradeep Shirodkar ·

    Measuring Dead Directions: Decomposing and Classifying Singular Structure off Canonical Alignment

    arXiv:2607.00603v1 Announce Type: new Abstract: We give a descent-free, alignment-free measurement of singular structure on trained networks. At a single frozen checkpoint the read recovers the order $k$ of each dead direction from the directional-Fisher rate, the master invarian…

  2. arXiv cs.LG TIER_1 English(EN) · Tejas Pradeep Shirodkar ·

    测量死亡方向:分解和分类标准对齐的奇异结构

    We give a descent-free, alignment-free measurement of singular structure on trained networks. At a single frozen checkpoint the read recovers the order $k$ of each dead direction from the directional-Fisher rate, the master invariant from which the per-direction learning coeffici…